DOI QR코드

DOI QR Code

The Need for Updating the Survey Population of Traditional Market

전통시장 모집단 현행화의 필요성

  • Lee, Chul-Sung (Department of Research & Policy Study, Small Enterprise and Market Service) ;
  • Kim, Young-Ki (Audit Office, Small Enterprise and Market Service) ;
  • Kim, Seung-Hee (Kangwon National University)
  • Received : 2019.03.07
  • Accepted : 2019.04.05
  • Published : 2019.04.30

Abstract

Purpose - Statistics of Traditional Market is the only source of information on traditional markets, shopping street, and underground shopping street. The government conducts a survey of traditional market conditions every year to look at the current status of traditional markets and provide effective support. Therefore, this study examines the necessity and validity of updating about the Survey Population of Traditional Market Research design, data, and methodology - This study investigated the necessity of updating about the Survey Population of Traditional Market through literature review. Therefore this study examined the necessity of the current population based on the review of the population related to the sample design, methods, and the sampling frame. Next, we examined the change patterns of the population and the sample by dividing the population and sample of the current survey of the traditional market survey into the market unit, the store unit within the market, and finally the individual store unit. Results - As a result, the population of traditional market changes about 4~6%. Next, the analysis of the store unit in the market shows that the number of stores is very variable even though the market is continuously included in the survey target. Finally, as a result of examining the characteristics of individual stores, the stores with less than one year were more than 6% of the total surveyed stores based on the traditional market. These results are generally inconsistent with the idea that stores in traditional markets will operate for a long time in one place. Next, we proposed the establishment of a management system, applying Citizen Generated Data, and circulation survey. Additionally, this study proposes to change the stratification variables at the regional level rather than the market unit. Conclusions - Therefore, in this study, it is suggested that a current population of traditional market is needed updating, and that a population survey should be updated at least four years. In addition, a system for investigating traditional markets and districts was established and a circulation survey was proposed for efficient use of budgets. Based on these research results and policy suggestions, the future research directions are suggested.

Keywords

1. 서론

정부에서는 전통시장에 대한 현황을 살펴보고 이에 대한 효과적인 지원을 위하여 매년 전통시장·상점가 및 점포경영 실태 조사를 실시하고 있다. 이러한 전통시장 실태조사는 전통시장, 상점가 및 지하도 상점가에 대한 시장 현황과 점포 현황을 살펴볼 수 있는 유일한 자료이다. 일반적으로 특정 산업이나 사업체에 대한 조사는 통계청에서 제공하는 전국사업체조사를 모집단으로 하여 표본추출틀을 구축하고 이를 바탕으로 실태 조사를 실시한다. 그러나 전통시장은 일반적인 사업체와는 특성이 상이하여 통계청에서 제공하는 전국사업체조사를 활용하는데 한계가 있어 지난 2015년 자체적으로 모집단을 구축하여 조사에 활용하고 있다.

이러한 모집단이 중요한 이유는 올바른 표본조사를 위해서는 목표 모집단 설정과 이에 적합한 표본추출틀을 설정하는 것이 통계조사로 인한 오차를 줄이기 위해 필수적이기 때문이다. 이와 함께 Groves et al. (2011)가 지적한 바와 같이 모집단은 지속적으로 변화하게 되므로 이에 대한 지속적인 추적과 반영이 반드시 필요하다. 그러나 현재 전통시장 실태조사의 모집단은 지난 2015년 구축된 것으로 이미 4년이라는 시간동안 많은 변화를 겪었을 것으로 예상된다. 더불어 최초 모집단 조사 이후 예산 및 인력 등의 문제로 인하여 지속적인 모집단 조사 체계가 미흡한 실정이다.

지역경제와 서민경제의 주축이 되는 전통시장을 지원하기 위하여 이에 대한 정확한 자료가 필요하며, 이러한 관점에서 전통시장 실태조사는 전통시장의 현황을 파악할 수 있는 유일한 조사라는 중요한 의미를 갖는다. 이와 함께 통계청에서 제공하는 모집단을 활용할 수 없다는 점에서 전통시장 현황에 대한 올바른 기초 자료 제공을 위하여 전통시장 모집단의 현행화는 매우 중요한 문제이다. 그러나 이러한 중요성에도 불구하고 대규모 조사로 인한 예산문제, 필요성에 대한 인식이 부족하여 모집단의 현행화가 어려운 실정이다.

이에 본 연구에서는 기존 표본설계에 관한 문헌들을 살펴보고 현재 전통시장 실태조사의 표본 특성을 분석하여 전통시장 모집단이 실제 필요한지에 대한 타당성을 검토하려 한다. 이와 함께 만약 전통시장 모집단에 대한 현행화가 필요하다면, 이를 효율적으로 조사하기 위한 방안을 살펴보려 한다.

본 연구는 이러한 목적을 달성하기 위하여 표본 설계와 관련된 모집단, 표본추출틀, 표본조사 설계 방법 등에 대한 문헌 검토를 바탕으로 모집단 현행화에 대한 필요성을 살펴보려 한다. 다음으로 현재 조사된 전통시장 실태조사의 모집단과 표본을 시장 단위, 시장 내 점포 단위, 마지막으로 개별 점포 단위로 구분하여 모집단과 표본의 변화양상을 살펴보려 한다. 이를 바탕으로 향후 모집단을 현행화하기 위한 조사주기에 대한 검토, 현행화 방안 등을 살펴보고 가능한 정책방안을 제시하고자 한다.

연구결과, 전통시장 실태조사의 시장 단위에서는 연간 4~6%의 시장이 조사대상에서 추가되거나 제외되는 것으로 나타나, 모집단에 해당하는 시장이 매년 변동되고 있음을 알 수 있다. 다음으로 시장 내 점포 단위 분석결과, 지속적으로 조사 대상에 포함되는 시장이더라도 점포 수의 변동이 매우 큰 것으로 나타났다. 2015년부터 2017년까지 3년 연속 조사대상에 포함된 시장 중 점포 수가 변동된 시장은 80% 이상으로 높게 나타나 대다수의 시장에서 점포 수가 변동하는 것으로 나타났다. 마지막으로 개별 점포의 특성을 살펴본 결과 영업기간이 1 년 이내인 점포는 전통시장을 기준으로 전체 조사 점포 중 6% 이상으로 나타났으며, 5년 이내는 13% 수준으로 나타났다. 상점가는 이보다 높은 30% 이상으로 나타났다. 이러한 결과는 일반적으로 전통시장 내 점포는 한 장소에서 오랜 기간 영업할 것이라는 사람들의 기대와 일치하지 않는 것으로 나타났다.

따라서 본 연구에서는 전통시장 모집단에 대한 현행화가 정책적으로 필요하며, 이에 따라 최소 4년 단위의 모집단 조사가 필요함을 제시하려 한다. 더불어 이를 위하여 전통시장 및 구역을 조사하기 위한 시스템을 마련하고 예산의 효율적 사용을 위한 순환조사를 제안한다. 이러한 연구결과 및 정책제언을 바탕으로 연구의 시사점과 향후 연구방향을 제시하려 한다.

2. 전통시장·상점가 및 점포경영 실태조사

2.1. 개요

Small Enterprise and Market Service (2019)에 따르면 2005년 통계청으로부터 「재래시장 실태조사」, 2007년에는 「점포경영 실태조사」를 승인받았다. 이후 2008년에는 구분되어 조사하던, 전통시장 실태조사와 점포경영 실태조사를 통합하여 「전통시장 및 점포경영 실태조사」로 개편하였다. 통계청에서는 2012년 품질개선 컨설팅을 추진하여 모집단에 대한 구축, 층화방법의 개선 등을 제시하였다. 2014년에는 실태조사 작성 주기를 기존 2년에서 1년으로 단축하였으며, 2015년에는 실태조사의 품질 향상을 위하여 모집단 구축을 실시하였다.

이러한 전통시장·상점가 및 점포경영 실태조사는 「전통시장 및 상점가 육성을 위한 특별법(약칭: 전통시장법 )」의 제9조 (시장 및 상점가 실태조사)를 근거로 한다. 동법 제9조 ①에 따르면 중소기업부장관과 지방자치단체의 장이 매년 시장과 상점가를 대상으로 실태조사를 실시하여야 하며, 그 목적은 기본계획을 비롯하여 지원 및 지역추진계획의 수립 등에 활용하기 위함이다. 더불어 ②에서는 이러한 실태조사를 실시함에 있어 중소기업부장관과 지방자치단체의 장이 필요하다고 인정하면 상인조직을 포함한 관련 기관의 장 또는 대표자에게 이와 관련된 자료 제출 또는 협조를 요청할 수 있다. 또한 요청을 받는 사람은 특별한 이유가 없는 한 이에 협조해야 한다.

이에 따라 소상공인시장진흥공단(Small Enterprise and Market Service; SEMAS)에서는 「전통시장·상점가 및 점포경영 실태조사(이하 전통시장 실태조사)」를 실시하고 있으며, 조사의 목적은 “전국 전통시장 상점가의 소재 시설 영업 및 상인조직 등 실태 전반을 파악하여 지원시책 수립 및 활성화 지원 사업에 필요한 기초 자료 제공”이다(Small Enterprise and Market Service, 2019; p.3). 이와 함께 「전통시장 및 상점가 육성을 위한 특별법(약칭: 전통시장법)」의 제2조(정의) 4항에서 정의하고 있는 상권활성화구역과 관련하여 주요 상업활동이 위축 또는 위축될 우려가 있는 구역을 판단하기 위한 자료로 활용된다. 따라서 Small Enterprise and Market Service (2019; p.3)에서는 조사목적에 “전통시장별 활성화수준을 진단하여 향후 정부와 지방자치단체 등 전통시장의 특성과 활성화수준에 맞는 맞춤형 지원정책 수립에 활용함으로써 지원사업의 효과성 제고에 기여”를 명시하고 있다. 이러한 조사의 목적은 크게 전통시장을 비롯한 상점가 및 지하도 상점가에 대한 정책을 수립하고 지원함에 있어 정책목표집단의 현황에 대한 객관적인 자료를 제공하고 개별 시장에 대한 활성화 현황을 파악하기 위한 것이다.

전통시장 실태조사는 이러한 목적 외에도 전통시장에 대한 학술적, 실무적 활용을 위한 목적으로도 활용되고 있다 (Kim et al., 2011a; Kim et al., 2011b; Lim et al., 2011; Kim et al., 2012; Lee et al., 2018; Lee, 2019). 예를 들어, Kim et al. (2011a), Lim et al. (2011) 등의 연구에서는 전국 전통시장 및 상점가 수 등의 전통시장 현황자료로 활용하였다. 또는 Lee et al. (2018), Lee (2019) 등의 연구에서는 전통시장의 특성, 정부지원사업의 효과 등을 실증분석하기 위한 기초 자료로 활용하였다.

2.2. 실태조사 방법 및 표본 설계

Small Enterprise and Market Service (2019)에 따르면, 전통시장 실태조사는 크게 기초조사, 실태조사, 점포경영실태조 사의 3가지로 구성되어 있다. 먼저 기초조사는 전국의 지자체 공무원을 대상으로 실시되며, 온라인으로 전통시장 및 상점가에 대한 내용을 사전 조사 후 지자체 공무원을 대상으로 대면 조사를 실시한다. 다음으로 실태조사는 상인회장을 대상으로 하며, 2017년 조사는 전국 1,820개 전통시장 및 상점가의 상인회장을 대상으로 대인면접조사를 실시하였다(Small Enterprise and Market Service, 2019). 이를 바탕으로 시장 현황을 정리하여, 실태조사 대상으로 포함되는 시장에 대하여 시장 내 점포를 운영 중인 상인을 대상으로 면접조사를 실시한다. 통계청의 권고에 따라 층화표분추출로 표본을 선정하며, 영업 점포 수가 10개 미만인 시장을 포함하여 각종 개선 및 정비사업으로 인하여 영업이 중단된 시장은 조사대상에서 제외한다 (Small Enterprise and Market Service, 2019).

이러한 전통시장 실태조사에 활용되는 모집단은 「전통시장 및 상점가 육성을 위한 특별법(약칭: 전통시장법)」의 제2조(정의)에 따라 전통시장은 등록시장, 인정시장, 기타시장(무등록시장)을 대상으로 한다. 기존 모집단에 포함되어 있는 시장외 신규 조사대상 시장은 지자체 담당자들을 대상으로 시장현황을 파악하여 모집단을 일부 보완하여 사용한다. 현재 활용 중인 모집단은 2015년 2월에 구축된 것으로 시장과 업종을 기준으로 조사 시점에서 영업 중인 점포수를 기준으로 약 26.2만 개 점포이다(Table 1 참조).

Table 1 : Survey Population of Traditional Market

OTGHB7_2019_v17n4_77_t0001.png 이미지

* Source: Small Enterprise and Market Service (2019). Statistics of Traditional Market in 2017.

Small Enterprise and Market Service (2019)에 따르면, 표본 설계는 총 4단계로 이루어지며, 1단계에서 서울을 포함한 17개 지역과 표준산업분류체계에 따른 9개 업종에 대하여 표본을 할당하며 제곱근비례배정 방법을 고려한다. 다음으로 시장별로 5개 표본을 배정한 후, 업종별 분포를 고려하여 1개 표본을 배정한다(Small Enterprise and Market Service, 2019). 마지막으로 점포수와 업종분포를 고려하여 비례할당하며, 그 과정은 다음 Equation (1)과 같다.

\(n_{h i}=n \times \frac{\sqrt{N_{h i}}}{\sum_{h i} \sqrt{N_{h i}}}\)       Equation (1)

In this model,

n = the sum of all stratum sizes

L = count of strata

nhi = number of observations in stratum hi

Nhi = number of population in stratum hi

Market h = 1, 2, ···, L

Category i = 1, 2, ···, L

이를 바탕으로 표본의 가중치 (ω)를 계산하며, 다음 Equation (2)와 같다.

\(w_{h i}=\frac{N_{h i}}{n_{h i}}\)       Equation (2)

3. 전통시장 모집단

3.1. 모집단과 표본

Lee (1993)에 따르면 조사 표본과 통계분석방법에 따라 조사의 효율성이 결정되며, 표본설계에 있어 중요한 목적은 통계적 타당성의 확보와 조사의 효율성을 꼽을 수 있다. 적정 표본 수는 모집단을 타당성 있게 추정할 수 있는 최소 표본을 의미하며, 표본 크기가 커질수록 무작위 샘플링으로 인한 오류를 감소시킬 수 있다(Kalton, 1983; Marshall, 1996). 이러한 관점에서 표본 설계에 있어 타당성은 편향되지 않은 표본의 선택을, 효율성은 적은 비용으로 표준오차를 최소화하는 것을 의미한다(Deming, 1990). 따라서 표본을 선택하는 과정은 전체 조사 과정에 있어 매우 중요하며, 이는 모집단을 연구함에 있어 표본을 타당성 있고 효율적으로 설계하기 어렵기 때문이다 (Marshall, 1996). 일반적으로 알려진 모집단을 고려하는 연구에 있어 표본 설계는 개별 연구의 목적에 따라 설계되어야 하며, 특히 정량적 조사인 실태조사는 모집단을 실질적으로 추정하기 위하여 대표성 있는 표본을 사용해야 한다(Neyman, 1934; Faugier & Sargeant, 1997).

따라서 대표성 있는 표본을 추출하기 위하여 중요한 것이 모집단이며, 여기서 모집단은 관심의 대상에 대하여 관찰가능한 모든 개체들의 집단을 의미한다(Quinn & Keough, 2002). 특히 목표 모집단(Target Population)은 표본조사를 사용함에 있어 추론을 위한 개체들의 집합을 의미하는 것으로 규모, 특정 시간으로 한정하여 접근가능해야 한다(Groves et al., 2011).

이러한 모집단에 대하여 Groves et al. (2011)은 모집단이 시간의 흐름에 따라 변화하기 때문에 조사의 시간적 범위에 따라 목표 모집단을 정의해야 한다고 하였다. 예를 들어 인구 조사는 미국 내 개인의 이동에 따라 일자별로 가구에 편입되거나 제외될 수도 있기 때문에 시간을 제한하거나 또는 일정 범위로 한정하게 된다(Groves et al., 2011). 따라서 모집단의 정의는 매우 조심스럽게 접근해야 하며, 모집단이 정의되면 모집단으로부터 표본을 어떻게 식별할 것인가가 중요한 문제이다 (Kalton, 1983). 이러한 과정에서 표본 추출방법을 선택하는 문제는 비용과 관련되어 있으며, 이를 위하여 많은 경우 기존의 표본추출틀(Sampling Frame)을 활용한다(Groves et al., 2011; Pennell et al., 2014). 이러한 표본추출틀은 Neyman (1934)이개발한 확률표본의 기본적인 가정이 표본추출틀 내에 표본이 포함되는 것이기 때문이다(Brick, 2011). Groves et al. (2011) 에 따르면 표본추출틀은 표본을 추출하기 위하여 모집단에 해당하는 모든 목록을 의미하며, 일반적으로 추출기준은 지역, 시간과 같은 기준 외에 인구·사회학적 특성 기준인 구성원 여부나 병원, 학교와 같은 기관 유형으로도 구성할 수 있다.

이에 따라 국내에서는 통계청이 사업체 대상의 통계조사에서 활용할 수 있는 모집단을 파악하고 필요시 활용할 수 있도록 표본추출틀을 제공하기 위한 목적으로 전국사업체조사를 실시하고 있다. 따라서 국가에서 실시하는 사업체 대상의 실태 조사는 한국표준산업분류에 따라 전국사업체조사에서 분야별로 추출하는 방식을 활용한다.

3.2. 오차 (Error)

만약, 표본이 모집단과 완벽히 일치하는 특성을 나타낸다 하더라도 실제로 이를 바탕으로 완벽한 통계치를 작성하는 것이 불가능하므로 모든 자료를 수집함에 있어 오차는 발생한다 (Lohr, 2012). 여기서 오차란 모집단을 반영한 조사결과를 획득함에 따른 편차를 의미한다(Groves, 2004). 이러한 오차에 대하여 Groves and Lyberg (2010)는 4가지 오차로 제시하였 으며, 다음 Equation (3)과 같다.

Total Survey Error = Coverage Error + Sampling Error + Nonresponse Error + Measurement Error        Equation (3)

여기서 포함오차(Coverage Error)란 표본추출틀이 모집단의 특성을 모두 포함하지 못 하는 오차로(Lohr, 2012), 모집단의 구성원이 아닌 조사대상자가 포함됨으로써 발생하는 오차를 의미한다(Groves, 2004). 다음으로 표본 오차(Sampling Error)란 표본으로부터 획득한 자료를 통해 모집단의 특성을 추정함에 따라 발생하는 오차를 의미하며(Couper, 2000; Groves, 2004), 표본크기를 증가시킴으로써 통제할 수 있다(De Leeuw, et al., 2008). 세 번째, 무응답 오차(Nonresponse Error)는 표본으로부터 자료를 일부만 제공받거나 전혀 받지못 하여 발생하는 오차를 의미하며(Lohr, 2012), 이는 표본이 응답을 거부하는 단위 무응답(Unit Nonresponse)과 일부 항목에 대해 응답하지 않는 항목 무응답(Item Nonresponse)로 구분된다(Couper & De Leeuw, 2003; De Leeuw et al., 2008). 이러한 무응답 오차에 대하여 Dey (1997)는 응답률과 무응답 편향은 다를 수 있음을 깨닫는 것이 중요하다고 하였다. 이러한 맥락에서 Cook et al. (2000)은 응답자의 대표성이 응답률보다 중요하다고 하였다. 더불어 Groves et al. (1992)는 무응답 오차가 모집단 규모, 결측치에 대한 처리 방법 등에 따라 감소할 수 있다고 하였다. 마지막으로 측정 오차 (Measurement Error)는 측정 도구로 인한 오차를 의미한다 (Lohr, 2012). 따라서 완벽한 조사를 위해서는 이러한 네 가지 오차를 최소화해야 한다(Groves, 2004; De Leeuw et al., 2008; Lohr, 2012).

한편, Groves et al. (2011)에 따르면 표본추출틀이 목표 모집단을 부분적으로든, 전체적으로든 반영하지 못 한다면, 연구자들은 표본추출틀에 적합하도록 목표 모집단을 재수정하거나 포함오차의 가능성을 인정해야 한다. 따라서 포함(Coverage)은 표본추출틀이 모집단의 특성을 얼마나 포함하고 있는지를 의미한다(Lohr, 2012). 이때, 목표 모집단과 조사모집단을 구별할 수 있다면 표본추출틀과 목표 모집단의 실제 범위를 포함할 것인가를 의미한다(Brick, 2011; Groves et al., 2011).

이와 관련하여 De Leeuw et al. (2008)은 대표적인 포함 오차는 미포함 오차(Undercoverage Error)로 표본추출틀에 모든 목표모집단이 포함되지 않는 것을 의미하며, 또 다른 형태인 과포함 오차(Overcoverage Error)는 동일표본이 중복 적용되는 형태를 의미한다. 이에 대하여 Legg and Fuller (2009), Lohr (2012)는 미포함 혹은 과포함과 같이 표본추출틀이 불완전한 경우 표본조사 결과의 편향을 발생시키거나 결과를 왜곡시킬 수 있음을 지적하였다. 마지막으로 De Leeuw et al. (2008)은 세 번째 유형의 포함오차로 표본추출틀에 비대상자가 포함되어 발생하는 오차를 꼽았으며, 예를 들어 사업자 번호가 아닌 개인 연락처가 포함되는 경우가 이에 해당한다.

3.3. 전통시장 실태조사 모집단 현행화의 필요성

Small Enterprise and Market Service (2019)에 따르면, 전통시장 실태조사 대상인 시장은 2012년 1,347개에서 가장 최근 조사인 2017년에는 1,450개로 103개 시장, 약 7.6%가 증가하였다. 이에 따르면 2015년 이후 실태조사에서는 무등록 시장을 제외한 등록, 인정시장에 대한 정보만을 제공하고 있으며, 2014년까지는 무등록을 포함한 시장 정보를 제공하고 있다. 이와 함께 상점가와 지하도상점가 정보를 제공하고 있으며 전통시장에 비하여 규모가 작으므로 실태조사에 신규로 진입하는 비율이 상대적으로 높은 편이다. 2015년 이후 전통시장, 상점가, 지하도 상점가의 현황은 다음 Table 2와 같다(Small Enterprise and Market Service, 2019).

Table 2 : Summary

OTGHB7_2019_v17n4_77_t0002.png 이미지

* Source: Small Enterprise and Market Service (2019). Statistics of Traditional Market in 2017.

일반적으로 사업체를 포함하여 조직을 대상으로 하는 모집단의 유형은 매우 다양하며, 이러한 집단에 대한 표본추출틀은 각 사업체의 목록을 사용하게 된다(Groves et al., 2011). 따라서 국내에서는 이러한 사업체 목록을 제공하기 위하여 전국사업체 조사를 실시하고 있다. Groves et al. (2011)은 조사대상이 사업체인 경우 다음과 같은 세 가지 특성이 있다고 지적하였다. 첫째, 사업체 모집단은 동일 집단 내에서 편차가 매우 크며, 둘째, 신규 설립과 폐업이 매우 빠르게 나타나고, 마지막으로 법적으로 개별 개체와 물리적 위치에 따라 구분된다는 특징을 나타낸다. 그러므로 사업체 대상의 실태조사에 있어 사업자 등록 여부, 주소와 같은 기준 정보는 매우 중요하다. 이와 함께 Baruch and Holtom (2008)는 개인에 대한 조사와 달리 조직이 대상인 경우 설문에 참여하도록 하는 유인책이나 상기시키는 방안으로 응답률을 높이기 어렵다고 하였다.

이러한 특징으로 인하여 모집단의 현행화는 실태조사 결과의 신뢰성에 있어 매우 중요한 문제이므로 일반적으로는 통계청에서 제공하는 모집단을 활용하지만, 전통시장은 여러 가지 특성으로 인하여 통계청에서 제공하는 사업체 모집단을 사용하기 어렵다. 먼저, 경계의 문제로 전통시장은 다양한 행정적 구역에 걸쳐 위치하거나 시장 구역을 명확히 구분하기 어려운 경우가 존재한다. 둘째, 전통시장에 대한 조사는 통계청에서 별도로 제공하지 않는다. 더불어 지자체와 상인회를 대상으로 조사가 이루어지며, 상인회는 법적으로 조직화되지 않은 사례도 존재한다. 셋째, 전통시장 내 점포에는 사업자등록을 마친 사업체 외에 노점형 점포도 존재한다. 다시 말해, 자영업자와 사업자가 혼재되어 있다. 이러한 사유로 인하여 전통시장 실태 조사는 통계청의 조사가 아닌 자체적인 조사를 통하여 2015년 모집단을 새롭게 구축하였다.

한편, 통계청의 「표본설계 및 관리지침」 제6조(표본추출틀 보완)에서는 표본의 대표성 확보를 위해서는 모집단 변동을 적시에 반영하기 위하여 표본추출틀을 주기적으로 보완, 관리하도록 하고 있다. 이와 함께 제7조(표본개편)에서는 노후화된 표본추출틀을 교체하기 위하여 표본개편을 실시하여 조사단위의 생성, 소멸, 변화를 반영하도록 되어 있다. 그럼에도 불구하고 모집단 조사는 매우 많은 시간과 비용이 발생되는 과업으로 통계청을 제외하고 이러한 모집단 조사를 주기적으로 실시하는 것은 현실적으로 매우 어려운 문제이다.

정리하면, 전통시장 실태조사는 조사대상의 특수성으로 인하여 통계청의 전국사업체 조사가 아닌 자체적인 모집단을 구축하여 실태조사를 실시하고 있으며, 조사 대상인 시장은 개인 또는 사업체의 집합으로 일반적으로 상인회를 중심으로 시장 단위가 결정된다. 이러한 특성은 일반적인 사업체 조사의 대상이 되는 사업자등록을 마친 개인 또는 법인사업체보다 더 복잡하다는 것을 의미한다. 따라서 Groves et al. (2011)이 제시한 일반적인 사업체 조사가 갖는 조사대상 간 매우 큰 편차, 빠른 변화와 같은 특성을 갖는다. 이와 함께 전통시장 실태조사는 시장단위, 점포단위의 특성을 모두 갖고 있다.

따라서 이러한 단위별 변동을 살펴보기 위하여 본 연구에서는 소상공인시장진흥공단(Small Enterprise and Market Service)의 실태조사 원자료를 바탕으로 각 시장코드를 추출하여 3개 년도 전통시장 실태조사에서 조사대상으로 선정된 시장 및 상점가를 해당연도 해당시장 여부, 계속 조사 대상, 신규 대상, 제외의 4가지 대상으로 구분하였다. 2015년부터 2017년까지 조사대상으로 유지된 시장은 총 1,563개 시장으로 3년간 조사된 전체 시장의 88.6%를 차지한다. 보다 세부적으로 2015년, 2016년 모두 조사된 시장은 1,606개 시장(96.7%), 2016년, 2017년 모두 조사된 시장은 1,616개 시장(95.5%)이다. 다음으로 2016년 신규로 추가된 시장은 55개 시장(3.3%), 2017년에는 77개 시장(4.5%)이다. 마지막으로 2015년 조사대 상이었으나 2016년에는 제외된 시장은 28개 시장(1.7%)이며, 2016년 조사대상에서 2017년 제외된 시장은 45개 시장(2.7%)이다. 이러한 결과는 매년 5% 내외의 시장이 조사대상에서 추가되거나 제외된다(Table 3 참조).

Table 3 : Market Alternation

OTGHB7_2019_v17n4_77_t0003.png 이미지

* Source: Own

다음으로 시장 내 점포 수 변화를 살펴보면 2015년, 2016 년 모두 조사대상이었던 1,606개 시장 중 시장 내 점포수가 변동된 시장은 996개 시장으로 약 62.0%에서 점포 수가 변동된 것으로 나타났다. 다음으로 2016년, 2017년도 동일하게 분석한 결과 총 1,616개 시장 중 976개 시장 약 60.4%의 시장에서 점포 수가 변동된 것으로 나타났다. 3년 간 조사에서 모두 조사대상이었던 시장 1,563개 기준으로 변동된 시장은 1,295개로 전체의 82.9%의 시장에서 점포 수의 변동이 발생하였다(Table 4 참조).

Table 4 : Rate of markets in which the number of stores has changed

OTGHB7_2019_v17n4_77_t0004.png 이미지

* Source: Own

다음으로 점포단위로 살펴보면, 일반적으로 전통시장은 오래된 역사를 가지고 있으므로 전통시장 내 점포들 또한 오랜 기간 운영될 것으로 사람들은 생각한다. 그러나 Small Enterprise and Market Service (2019)를 살펴보면 전통시장 내 영업기간이 5년 미만인 점포의 비중은 2017년을 기준으로 약 13.5% 수준으로 나타난다. 보다 세부적으로 살펴보기 위하여 원자료를 분석해보면 당해 개업을 포함한 1년 미만의 영업점포 비중은 전체의 6.4%이다. 다음으로 상점가는 5년 미만 영업점포 비중은 전체의 29.3%, 지하도 상점가는 31.3%로 높게 나타난다. 전통시장과 동일하게 1년 미만의 영업점포 비중은 16.4% 와 15.1%로 이러한 결과는 일반적인 생각과 다르게 전통시장, 상점가, 지하도 상점가의 점포가 빠르게 변화하고 있음을 나타낸다(Table 5 참조).

Table 5 : Rate of Store by Operating Period(%, year)

OTGHB7_2019_v17n4_77_t0005.png 이미지

* Source: Small Enterprise and Market Service (2019). Statistics of Traditional Market in 2017.

이러한 결과를 바탕으로 전통시장 실태조사의 표본 변동 현황을 시장단위, 점포단위로 구분하여 분석한 결과는 다음과 같다. 시장 단위 분석 결과, 전통시장 실태조사의 대상으로 신규 진입하는 시장은 약 3~5% 정도이며, 이탈하는 시장 비율은 약 1~3% 수준으로 나타났다. 다음으로 시장별 점포 단위의 변화율을 살펴보면, 연속 조사대상 시장 내 점포 수의 변동이 발생하는 비중은 약 60% 이상이며, 2년 이상 조사대상인 시장은 전체의 약 83%가량의 시장에서 점포 수 변동이 발생하는 것으로 나타났다. 마지막으로 점포 단위로 살펴보면, 1년 미만의 점포는 전체의 약 15% 수준이며 전통시장에 비하여 상점가와 지하도 상점가는 이보다 높은 30% 이상인 개업 후 1년이 안 된 점포인 것으로 나타났다. 이러한 결과는 전통시장, 상점가 및 지하도 상점가의 모집단이 매우 빠르게 변화하고 있음을 시사한다. 이러한 결과는 전통시장 실태조사의 신뢰도 향상을 위하여 모집단에 대한 현행화가 필요함을 의미한다.

더불어 변화된 모집단 특성을 반영하지 못 하고 현재 실태 조사에 적용하게 되면, 이로 인한 통계적 오차가 발생할 가능성이 커지는 측면과 함께, 불완전한 모집단으로 인한 가중치 문제가 발생하여 올바르지 않은 추정이 될 가능성이 높다. 따라서 주기적인 모집단 현행화를 통해 이러한 문제를 해결해야할 것이다.

4. 정책제언

4.1. 개편주기

모집단은 끊임없이 변화하며 특히 모집단이 사업체인 경우, 인구통계에 비하여 변화폭이 더 크다는 특징을 나타낸다 (Groves et al., 2011). 이러한 특성을 고려하기 위하여 시장단위별 분석에서 도출한 바와 같이 매년 4~6% 가량 실태조사 대상 시장이 변화한다고 가정하여 분석을 실시하였다. 4% 가정시 2020년 이후, 6% 가정시 2019년 이후는 지속 유지되는 시장의 비율이 80% 이하로 감소하게 된다. 더불어 6% 가정시 2026년 이후 지속 유지 비율은 50% 이하로 감소하게 된다 (Table 6, Figure 1 참조). 이러한 수치는 2015년부터 3년 연속 유지시장 비율인 88.6%와 유사한 수준으로 실태조사의 시장 유지비율이 연간 6%에 가깝게 감소하고 있음을 나타낸다.

Table 6 : Retention of Target Population (%)

OTGHB7_2019_v17n4_77_t0006.png 이미지

* Source: Own

OTGHB7_2019_v17n4_77_f0001.png 이미지

Figure 1 : Retention of Target Population (%)

* Source: Own

따라서 모집단 유지비율을 80% 이상 유지하고 조사의 신뢰성을 향상시키기 위해서는 최소 4년 내에 모집단 현행화가 필요하다. 보다 적극적으로 모집단을 관리하기 위해서는 90% 수준인 3년을 주기로 모집단 현행화가 필요하며, 전국사업체조 사가 매년 실시한다는 점을 감안하면 2년을 주기로 모집단을 현행화하는 방안이 합리적이다. 그러나 전국사업체조사와 달리 전통시장 실태조사만을 위한 모집단을 구축하는 과업으로 행정적인 소요를 감안하는 경우 최소 4년을 기준으로 전통시장 실태조사에 대한 현행화가 필요하다.

4.2. 개편방안

전통시장 모집단 현행화를 위하여 전통시장 관리 시스템 구축, 전통시장 구역도 일치화, 순환조사 실시 등을 고려할 수 있다.

먼저, 전통시장은 227개 지자체에서 관리하고 있으므로 이에 대한 주기적이고 체계적으로 일치화하기 위한 시스템 및 관리체계가 필요하다. 현재의 조사방식은 전통시장 실태조사 시 기초조사 과정에서 지자체 담당자들에 온라인으로 확인 후 확정된 시장을 대상으로 실태조사를 실시한다. 이때 신규시장 현황은 지자체 담당자들의 응답에 따라 모집단에 포함하여 조사하게 된다. 이를 보다 체계적으로 관리하기 위한 전통시장 모집단 현행화 방안을 검토해야 한다.

다음으로 전통시장 구역도에 대한 일치화가 필요하다. 전통 시장 구역은 상인회를 중심으로 변동이 발생한다. 전통시장에 대한 최초 등록 시 구역도와 일정 기간이 지난 후 구역도는 상이한 경우가 다수 발견된다. 따라서 이러한 구역도를 상시적으로 일치화할 수 있는 온라인 시스템을 통해 전통시장 범위를 확정하는 방안을 고려할 수 있다. 보다 적극적으로는 시민 생성 데이터(Citizen Generated Data; CGD)의 활용을 고려할 수 있다. 이는 시민과학자 프로그램의 관점에서 시작되었으며, 전문가가 아닌 개인을 통해 대량의 자료를 수집하여 활용하는 것을 의미한다(Cox et al., 2012). 이러한 자료수집방법이 고려되는 이유는 자연과학연구에서도 많은 양의 시민생성 자료를 통해 보다 유용한 정보를 도출하기 위함이다(Tye et al., 2017). 이러한 맥락에서 시민생성 데이터는 정부에서 작성하는 행정자료가 아닌 시민들이 자발적으로 생성하는 자료를 활용하는 것을 의미한다. 이를 활용하는 방안으로는 전통시장 구역에 관한 시스템을 구축한 후, 이를 활용하여 지자체 담당자, 상인회, 개별 점포, 그리고 시장 방문 고객을 대상으로 이러한 전통시장 구역을 일치화시키는 방안으로 고려할 수 있다. 이러한 발전을 기술발전을 활용하여 시민의 참여를 보다 활성화하는데 기여할 수 있다(Cavallo et al., 2014). 그러나 이러한 자료를 효과적으로 활용하기 위해서는 자료의 품질에 대한 관리가 필요하다는 점 또한 고려해야 할 것이다(Burgess et al, 2017).

다음으로 Kish (1998)가 제안한 순환조사(Rolling Sample Survey)를 고려할 수 있다. 순환조사는 주기조사(Periodic Survey)의 관점에서 조사대상을 F등분하여 조사하는 방식으로 이러한 방법의 장점은 공간과 시간을 함께 고려할 수 있는 있다는 점이다(Alexander, 2002; Van Auken et al, 2006; Lohr, 2009). Lohr (2009)는 이러한 방법을 활용함에 있어 표본의 대표성이 중요함을 지적하였다. 순환조사는 조사대상을 지역별로 구분하여 매년 개별단위를 조사하는 방법으로 시간과 비용을 절약하면서 적시성을 향상시킬 수 있을 것이다.

추가적으로 이렇게 구축된 모집단을 이용하는 실태조사의 신뢰도 향상을 위하여 층화기준의 개선이 필요하다. 이와 관련하여 통계청에서는 지역별, 시장별, 업종별로 층화하게 되면 층의 수가 최대 13,653개로 실제 조사를 진행함에 있어 층화 와 표본배정에 한계가 있어 개선을 요구한 바 있다. 2017년 전통시장 실태조사를 기준으로 추정 시 층의 수는 15,237개이며 2017년 전체 표본 수가 3만개임을 감안하며 현재의 층화 기준이 전통시장 신뢰도 향상을 위하여 변경되어야 함을 의미한다. 현재 층화 기준은 전체 시장 수와 9개 업종으로 층화를 실시하고 있으며, 이를 지역별로 층화하게 되면 17개 시도, 9 개 업종으로 총 153개 층으로 층화가 가능하다. 그러나 이러한 층화 기준은 개별 시장에 대한 정보를 고려하지 않는 것으로 전통시장의 전반적인 현황을 살펴보는데 적합하다. 따라서 국가승인통계는 시장단위까지 제공하지 않기 때문에 현재 시장단위의 층화가 아닌 지역단위로 층화하는 방안이 필요하다.

5. 결론 및 제언

5.1. 연구결과 요약 및 시사점

본 연구는 소상공인시장진흥공단(Small Enterprise and Market Service)에서 매년 실시하는 전통시장·상점가 및 점포 경영 실태조사의 신뢰도 향상을 위한 모집단 현행화의 필요성 및 이에 대한 방안을 마련하기 위한 연구이다. 이를 위하여 모집단 및 표본조사에 관한 문헌들을 살펴보고, 최근 3개년의 전통시장·상점가 및 점포경영 실태조사 보고서 및 원자료를 바탕으로 현행 조사 현황을 살펴보았다.

연구결과는 다음과 같다.

먼저, 전통시장, 상점가 및 지하도 상점가 현황을 시장 단위, 시장별 점포 단위, 개별 점포 단위로 구분하여 살펴본 결과 조사대상 시장은 연간 4~6%가량 변동되는 것으로 나타났으며, 최근 3년간 유지율은 88.6%로 나타났다. 다음으로 시장별 점포 단위로 살펴본 결과, 실태조사 대상에 포함된 시장이라 할지라도 시장 내 점포 수가 지속적으로 변화하는 것으로 나타났다. 2015년부터 2017년 동안 조사대상에 포함된 시장 중 점포 수가 변동된 시장은 82.9%로 대다수의 시장에서 점포 수 변화가 있었다. 다음으로 개별 점포 단위 조사 결과, 개업 후 1년 이내의 점포 비율은 전통시장은 6.4%인 반면, 상점가는 16.4%, 지하도 상점가는 15.1%로 신규로 개설되는 점포가 많은 것으로 나타났다. 이러한 결과는 일반적으로 전통시장 내 점포들은 오랜 기간동안 영업할 것이라는 예상과 달리 많은 점포들이 개설되고 사라진다는 것을 의미한다. 조사대상인 시장의 이러한 변화는 모집단이 빠르게 변화하고 있다는 것을 의미하며, 따라서 모집단에 대한 현행화가 필요함을 의미한다.

이러한 결과를 바탕으로 본 연구는 모집단 현행화 방안을 다음과 같이 제시하였다. 먼저 모집단의 현행화는 주기적이고 체계적으로 이루어져야 한다. 이를 위하여 최소 4년에 한번씩 전통시장 모집단에 대한 현행화가 필요하다. 모집단의 현행화는 실태조사의 신뢰도를 높이기 위하여 필요하며, 따라서 통계청에서도 이에 대하여 규정하고 있다. 더불어 전통시장 실태조사는 전통시장을 지원하기 위하여 올바른 정보를 제공하는데 의의가 있으므로, 이러한 목적에 부합하기 위해서는 모집단에 대한 현행화는 정책적으로도 필수적인 사항일 것이다. 다음으로 이를 위한 방안으로 3가지 방안을 제시하였다. 먼저 층화 기준 변경으로 현행 시장별 × 업종별 층화방법이 아닌 지역별 × 업종별 층화방법을 제시하였다. 이러한 방법은 통계청에서도 권고했던 사항으로 너무 많은 층으로 인한 문제를 개선하고 실태조사의 신뢰성 및 효율성을 증대시키기 위한 방법이다. 다음으로 전통시장 및 구역도 일치화는 전통시장 모집단을 통계청에서 제공하는 전국사업체 조사를 활용할 수 없으며, 전통 시장이라는 한정된 범위를 명확하게 하기 위한 절차이다. 이와 함께 이러한 과정에 있어 시민생성데이터를 활용하는 방안을 제시하였다. 마지막으로 순환조사는 예산 및 인력의 한계로 인하여 전통시장 모집단 조사를 매년 실시할 수 없으므로, 지역 기준에 따라 부분적으로 모집단 조사를 현행화할 수 있는 방안이다. 이를 통해 비용의 효율성을 달성하는 한편, 조사에 필요한 모집단을 현행화하는 목적을 달성하는데 기여할 수 있을 것이다.

이상의 논의를 바탕으로 본 연구는 다음과 같은 시사점을 제시한다.

첫째, 본 연구는 전통시장 실태조사 모집단의 현행화에 대한 학문적, 실무적 근거를 마련하였다. 기업 또는 개인을 대상으로 하는 설문조사 시 올바른 모집단의 파악과 그에 적합한 표본추출틀을 활용이 중요하다. 따라서 본 연구는 이에 대하여 학문적으로 살펴보고 이를 바탕으로 실무적인 근거를 마련하였다는 점에서 의의를 갖는다.

둘째, 본 연구는 학문적으로는 전통시장에 대한 연구를 활성화하기 위한 기초 자료를 제공하였다. 보다 구체적으로 현재 전통시장 관련 자료는 소상공인시장진흥공단(Small Enterprise and Market Service)에서 생성하는 전통시장, 상점가 및 점포 경영 실태조사가 유일하다. 따라서 본 연구는 이러한 자료를 제공함에 있어 기초조사의 중요성을 제시하였다는 점에서 학문적 의의를 갖는다.

셋째, 실무적으로 본 연구는 전통시장 실태조사 모집단의 현행화를 위한 시사점을 제공하였다. 본 연구에서는 표본 자료에 대한 분석을 통하여 모집단 현행화의 최소 기간을 4년으로 제시하였으며, 구체적인 방안을 제시하였다. 이는 향후 전통시장 실태조사 모집단을 현행화하는데 있어서 방향성을 제시한 것이다.

이러한 논의를 바탕으로 향후 연구방향을 다음과 같이 제시한다.

첫째, 본 연구는 2015년 모집단과 2017년 표본을 직접적 비교하지 못하였으며, 표본 특성의 변화를 통해 간접적으로 이러한 변화를 제시하였다. 따라서 향후 모집단조사를 바탕으로 매년 표본 특성을 추적하는 연구가 필요할 것이다.

둘째, 향후 정책적 필요성과 예산을 고려하여 모집단 현행 화에 대한 실무적 지침을 마련하는 연구가 필요할 것이다. 현재 전통시장 실태조사 모집단은 2015년 단 1회만 실시되었으므로 이를 예산의 기준으로 삼는 방법은 올바르지 않다. 따라서 향후 연구에서는 적정 비용을 산출하고 정책적 목표를 효과적으로 달성하기 위한 방안에 대한 고려해야 할 것이다. 더불어 이를 바탕으로 공공데이터를 제공할 수 있는 방안에 대한 고려도 함께 해야 할 것이다.

셋째, 본 연구에서 제시한 모집단 현행화 주기 4년은 보다 객관적으로 검증된 분석을 바탕으로 재검증해야할 것이다. 본 연구에서는 현실적인 수준에서 모집단의 유지비율을 80% 이상으로 가정하여 최소 주기를 4년으로 제시하였으나 이에 대한 검증을 못하였다. 따라서 향후 연구를 통해 이에 대한 객관적인 근거를 마련해야 할 것이다.

References

  1. Alexander, C. H. (2002). Still rolling: Leslie Kish's "rolling samples" and the american community survey. Survey Methodology, 28(1), 35-42.
  2. Baruch, Y., & Holtom, B. C. (2008). Survey response rate levels and trends in organizational research. Human Relations, 61(8), 1139-1160. https://doi.org/10.1177/0018726708094863
  3. Brick, J. M. (2011). The future of survey sampling. Public Opinion Quarterly, 75(5), 872-888. https://doi.org/10.1093/poq/nfr045
  4. Burgess, H. K., DeBey, L. B., Froehlich, H. E., Schmidt, N., Theobald, E. J., Ettinger, A. K., HilleRisLambers, J. Tewksbury, J., & Parrish, J. K. (2017). The science of citizen science: Exploring barriers to use as a primary research tool. Biological Conservation, 208, 113-120. https://doi.org/10.1016/j.biocon.2016.05.014
  5. Cavallo, S., Lynch, J., & Scull, P. (2014). The digital divide in citizen-initiated government contacts: a gis approach. Journal of Urban Technology, 21(4), 77-93. https://doi.org/10.1080/10630732.2014.942167
  6. Cook, C., Heath, F., & Thompson, R. L. (2000). A metaanalysis of response rates in web-or internet-based surveys. Educational and Psychological Measurement, 60(6), 821-836. https://doi.org/10.1177/00131640021970934
  7. Couper, M. P. (2000). Web surveys: A review of issues and approaches. Public Opinion Quarterly, 64(4), 464-494. https://doi.org/10.1086/318641
  8. Couper, M. P., & De Leeuw, E. D. (2003). Nonresponse in cross-cultural and cross-national Surveys. In Harkness, J. A., van de Vijver, F. J., Mohler, P. P., & Wiley, J. Cross-cultural survey methods (pp.157-177), Hoboken, NJ: Wiley Press.
  9. Cox, T. E., Philippoff, J., Baumgartner, E., & Smith, C. M. (2012). Expert variability provides perspective on the strengths and weaknesses of citizen-driven intertidal monitoring program. Ecological Applications, 22(4), 1201-1212. https://doi.org/10.1890/11-1614.1
  10. De Leeuw, E. D., Hox, J. J., & Dillman, D. A. (2008). The cornerstones of survey research. International handbook of survey methodology. In De Leeuw, E. D., Hox, J., & Dillman, D. International handbook of survey methodology (pp.1-17), New York, US: Routledge Press.
  11. Deming, W. E. (1990). Sample design in business research. New York, US: John Wiley & Sons Press.
  12. Dey, E. L. (1997). Working with low survey response rates: The efficacy of weighting adjustments. Research in Higher Education, 38(2), 215-227. https://doi.org/10.1023/A:1024985704202
  13. Faugier, J., & Sargeant, M. (1997). Sampling hard to reach populations. Journal of Advanced Nursing, 26(4), 790-797. https://doi.org/10.1046/j.1365-2648.1997.00371.x
  14. Groves, R. M. (2004). Survey errors and survey costs. New York, US: John Wiley & Sons Press.
  15. Groves, R. M., & Lyberg, L. (2010). Total survey error: past, present, and future. Public Opinion Quarterly, 74(5), 849-879. https://doi.org/10.1093/poq/nfq065
  16. Groves, R. M., Cialdini, R. B., & Couper, M. P. (1992). Understanding the decision to participate in a survey. Public Opinion Quarterly, 56(4), 475-495. https://doi.org/10.1086/269338
  17. Groves, R. M., Fowler Jr, F. J., Couper, M. P., Lepkowski, J. M., Singer, E., & Tourangeau, R. (2011). Survey methodology. New York, US: John Wiley & Sons Press.
  18. Kalton, G., & Graham, K. (1983). Introduction to California, US: Sage Publication. survey sampling.
  19. Kim, Y. K., Kang, H. S., & Kim, S. H. (2012). A study of efficient measures for installing and managing traditional market arcades. Journal of Distribution Science, 10(3), 15-30. https://doi.org/10.15722/jds.10.3.201203.15
  20. Kim, Y. K., Kim, S. H., & Lim, J. (2011a). A study on the meaning & classification of conventional markets. Journal of Distribution Science, 9(2), 83-95.
  21. Kim, Y. O., Byun, C. G., & Ryu, T. C. (2011b). A study on the current fire insurance subscription and solutions for ensuring the safety of the traditional market. Journal of Distribution Science, 9(4), 43-50. https://doi.org/10.15722/jds.9.4.201112.43
  22. Kish, L. (1998). Space/time variations and rolling samples. Journal of Official Statistics, 14(1), 31-46.
  23. Lee, C. S. (2019). The effects of traditional market support projects and competition intensity of stores on store sales and number of visitors. Journal of Distribution Science, 17(3), 95-103.
  24. Lee, C. S., Kim, J. H. Kim, Y. K., & Kim, S. H. (2018). A study on retail competition structure in traditional market. Journal of Distribution Science, 16(6), 55-63.
  25. Lee, R. M. (1993). Doing research on sensitive topics. Thousand Oaks, CA: Sage Publications, Inc.
  26. Legg, J. C., & Fuller, W. A. (2009). Two-phase sampling. In Pfeffermann, D., & Rao, C. R. Handbook of statistics, sample surveys: Design, methods and applications (pp.55-70), Amsterdam, NL: Elsevier Press.
  27. Lim, J. Kim, Y. K., Lee, M. K., Kim, Y. O., & Youn, M. K. (2011). Consideration of the traditional market-related law revision plan: Focus on moranjang in seongnam. Journal of Distribution Science, 9(2), 37-47
  28. Lohr, S. L. (2009). Multiple-frame surveys. In Pfeffermann, D., & Rao, C. R. Handbook of statistics, sample surveys: Design, methods and applications (pp.71-88), Amsterdam, NL: Elsevier Press.
  29. Lohr, S. L. (2012). Coverage and sampling. In De Leeuw, E. D., Hox, J., & Dillman, D. International handbook of survey methodology (pp.97-112), New York, US: Taylor & Francis Press.
  30. Marshall, M. N. (1996). Sampling for qualitative research. Family Practice, 13(6), 522-526. https://doi.org/10.1093/fampra/13.6.522
  31. Neyman, J. (1934). On the two different aspects of the representative method: The method of stratified sampling and the method of purposive selection. Journal of the Royal Statistical Society, 97(4), 558-625. https://doi.org/10.2307/2342192
  32. Pennell, B. E., Deshmukh, Y., Kelley, J., Maher, P., Wagner, J., & Tomlin, D. (2014). Disaster research: Surveying displaced populations. In Tourangeau, R., Edwards, B., Johnson, T. P., Bates, N., & Wolter, K. M., Hard-to-survey populations (pp.111-133), Cambridge, UK: Cambridge University Press.
  33. Quinn, G. P., & Keough, M. J. (2002). Experimental design and data analysis for biologists. Cambridge, UK: Cambridge University Press.
  34. Small Enterprise and Market Service (2019). Statistics of traditional market in 2017. Daejeon, Korea: Small Enterprise and Market Service Press.
  35. Tye, C. A., McCleery, R. A., Fletcher Jr, R. J., Greene, D. U., & Butryn, R. S. (2017). Evaluating citizen vs. professional data for modelling distributions of a rare squirrel. Journal of Applied Ecology, 54(2), 628-637. https://doi.org/10.1111/1365-2664.12682
  36. Van Auken, P. M., Hammer, R. B., Voss, P. R., & Veroff, D. L. (2006). The american community survey in counties with "seasonal" populations. Population Research and Policy Review, 25(3), 275-292. https://doi.org/10.1007/s11113-006-0010-6