Reliability of Web and Paper-Based Survey Methods for Mibyeong and Cold-Heat Pattern Questionnaire for Korean Medicine Health Assessment: Pilot Study

한의 건강 측정을 위한 미병과 한열설문의 웹과 종이 기반 조사 방법의 신뢰도: 예비연구

Abstract

This study evaluated the consistency between the web-based and paper-based mibyeong and cold-heat pattern questionnaire, the Korean medicine-based tool for diagnosing and classifying health status. First, a web-based survey was conducted on 72 ordinary people; subsequently, a paper-based survey was conducted after a certain time interval. The equivalence between the web-based and paper-based surveys was evaluated on the basis of the consistency between scores using the Intraclass Correlation Coefficient (ICC) and Bland-Altman methodology. The mibyeong questionnaire showed high reliability for the web-based and paper-based surveys (ICC=0.95, 95% CI 0.92 - 0.97), and the cold-heat pattern questionnaire showed high reliability for both cold syndrome (ICC=0.98, 95% CI 0.96 - 0.99) and heat syndrome (ICC=0.9, 95% CI 0.83 - 0.93). The difference in average scores between the two survey methods was -0.25 for the mibyeong survey, -0.17 for the cold syndrome, and 0.11 for the heat syndrome, showing a similar pattern. Among the respondents, 84% showed positive satisfaction with the web-based survey, and 80% preferred the web-based survey. Overall, this study confirmed the reliability and feasibility of the web-based survey methods for the mibyeong and cold-heat pattern questionnaire. This could be a useful tool for the follow-up of subjects in long-term cohort studies.

본 연구의 목적은 한의학 기반 건강상태 및 진단 분류 도구인 미병과 한열설문의 웹 기반과 종이 기반 간의 일치도를 평가하는 것이다. 일반인 72명을 대상으로 웹 기반 조사를 먼저 시행하고, 시간 간격을 두고 종이기반 설문을 진행하였다. 웹과 종이 기반 조사 방법 간의 동등성은 급내상관계수(Intraclass Correlation Coefficient, ICC)와 Bland-Altman 방법으로 설문 점수 간의 일치도를 평가하였다. 미병설문은 웹과 종이 조사 간에 높은 신뢰도를 보였고(ICC=0.95, 95% CI 0.92 - 0.97), 한열설문의 한증(ICC=0.98, 95% CI 0.96 - 0.99)과 열증(ICC=0.9, 95% CI 0.83 - 0.93) 모두 우수한 신뢰도를 나타냈다. 두 조사 방법 간의 평균 점수 차이는 미병설문이 -0.25점이고, 한열설문의 한증 -0.17점, 열증 0.11점으로 유사한 일치 양상을 나타냈다. 대상자의 84%가 웹 기반에 긍정적인 만족도를 보였고, 80%가 웹 조사를 선호하였다. 본 연구에서 미병설문과 한열설문의 웹 조사 방법 간의 신뢰도와 실행 가능성을 확인하였다. 이것은 장기간 걸쳐 진행되는 코호트 연구에서 대상자 추적 관찰에 유용한 도구로 고려된다.

I. 서론

최근 보건의료체계에서 환자의 인식과 관점이 중요해지면서, 건강측정의 지표는 사망률이나 합병증 발생률 등의 전통적인 치료의 임상적 효과를 측정하는 방법과 더불어 환자 스스로 개인의 건강상태를 보고하는 환자중심 건강결과 측정(patient reported outcome measures) 도 중요해지고 있다[1]. 환자중심 건강결과 측정은 일반적 건강, 특정 질병이나 증상으로 구분되는 다양한 설문 도구를 활용하고 있으며, 임상에서 측정의 간편성과 치료 방법의 상대적 비교 또는 이점을 평가하기에 용이하다[2].

설문조사 방법은 스마트폰의 대중화와 환자 중심 소프트웨어 개발, 그리고 최근의 코로나19로 인한 대면의 어려움으로 종이 기반의 대면 조사에서 웹 기반의 전자조사로 점점 이동하고 있다. 웹 기반 설문조사의 장점은 설문지 작성 시간의 단축, 시간과 공간의 제약 없는 데이터 수집의 유연성, 누락항목 감소로 고품질 데이터 확보, 대상자의 순응도 향상 등이 있다[3]. 반면에 웹 기반 설문조사가 대상자의 불성실한 응답 방식에 대한 통제가 불가능하다는 단점으로 제시되기도 하나, 두 조사방법에 따른 데이터 품질은 비슷한 수준을 보였다[4]. 또한 여러 연구에서 설문 도구의 전자 버전과 종이 버전의 신뢰성과 타당도를 비교했고, 설문 점수의 동등성을 제시하였다[5II6]. 이들 선행연구들은 단순히 웹화면으로 설문 개발에 대한 결과 보고가 아닌 종이와 웹조사 방법 간의 높은 신뢰성을 제시하여, 환자의 건강상태를 평가하는 새로운 디지털 조사 방법의 적절성을 제시한 것이다.

한의학은 한의사가 사진(四診)을 통한 환자의 증상과 징후를 종합, 분석함으로써 정확한 진단이 이루어진다 [7]. 환자 보고에 의한 설문은 환자가 주관적으로 호소하는 여러 증상들을 중시하는 한의학의 특성과 서로 잘 부합되어[8], 한열[9], 체질[10], 미병[11] 등 한의 진단과 건강상태를 평가하는 설문들이 임상과 연구에서 활용되고 있다[12][13]. 본 연구에서는 미병과 한열설문을 포함하여 여러 설문 도구를 웹 기반 시스템으로 개발했다. 이 연구의 목적은 미병설문과 한열설문의 웹기반과 종이 기반 조사 방법 간의 동등성과 사용자 만족도를 평가하는 것이다.

Ⅱ. 관련연구

1. 미병 및 한열 연구

미병은 질병은 아니지만 검사 상 이상소견이 있거나 이상증상으로 인해 일상생활에서 불편을 느끼는 상태로 정의되며 한의학에서 개인의 건강 수준을 평가하는 개념이다[11]. 임상 한의사 대상 델파이 연구로 미병의 개념이 수립되었고[14], 이를 바탕으로 7개의 일상 불편증상의 정도, 지속성, 회복력에 대한 문항으로 구성된 미병설문이 개발되었다[11].

한열은 한의학의 진단 체계 중의 하나로 대상자의 신체 부위의 주관적 열감/냉감 감각, 온도의 선호도, 추위/더위에 대한 민감도 등으로 정의된다[15]. 한열 설문은 평소 상태를 기준으로 한증과 열증 관련 15문항으로 개발되었고, 전문가 진단과 64.2%의 일치도를 보였다[9]. 한열은 광의의 개념으로 건강상태를 평가하는 지표로도 활용되며, 한증 또는 열증 유형은 건강인에 비해 미병군에서 한열 점수가 모두 증가하였으며, 삶의질 저하와도 연관성을 보였다[12].

2. 웹 또는 종이 기반 비교 연구

웹 기반 조사 연구는 개발된 웹 기반 시스템을 활용하여 내적, 외적 타당성 검증을 실시하였다. 내적 타당성은 웹과 종이 조사 방법 간의 측정 동등성을 비교하는 것이며, 외적 타당성은 대상자의 응답 및 참여율, 응답자와 무응답자의 반응 유형과 특성, 웹 또는 종이 기반설문지 버전에 대한 선호도에 대한 영향을 살펴본다.

웹 기반 조사와 관련된 2건의 문헌고찰 연구는 2007 년 이전 연구(46개 논문 포함)와[16] 2007-2014년(55 개 논문 포함)에[17] 발표된 연구를 대상으로 시행되었다. 연구 디자인은 교차연구와 비교연구로 진행되었고, 분석 방법은 상관분석과 평균값 비교가 가장 많이 활용되었으며, 상관분석 중에서 급내상관계수(Intraclass Correlation Coefficient, ICC)가 가장 많이 사용되었다. 그리고, 55건의 연구 중 78%에서 두 조사 방법간의 동등성이 확인되었고, 87%의 연구에서 웹 조사 방법이 높은 선호도를 보였다[17]. 설문 도구 중에서 대표적으로 SF-12와 SF-36은 일반적 건강 수준을 측정하는데 널리 활용되는 도구이다. 이 설문의 웹 조사방법의 타당성 비교 결과, 웹과 종이 조사 방법 간의 평균값 차이는 0.01~0.39이었고, ICC는 0.76~0.91 사이로 동등성을 내포하는 기준 범위에 분포하였다. 또한, 두 방법 간의 조사 간격, 언어, 전자 장비 유형의 차이는 타당성 결과에 영향을 미치지 않았다[18]. 그러나, 소아암 대상으로 진행된 웹 설문 도구의 연구에서 전반적인 응답율과 참여율은 기존 연구와 비슷한 수준이었으나, 나이, 교육 수준, 직업 유무와 같은 대상자 일반적특성에 따라 응답율의 차이가 있었다[19]. 이는 조사도구의 목적과 대상자 특성을 고려한 웹 조사 방법의 시행이 필요함을 의미하였다.

Ⅲ. 연구방법

1. 연구 디자인

본 연구는 2021년 9월에서 2021년 11월까지 S대학교 2곳의 부속한방병원에서 단일군으로 시행된 예비연구이다. 연구대상자는 태블릿 또는 핸드폰을 이용하여 웹기반 조사를 먼저 진행하고 동일 날짜의 1-2시간 후에 종이 설문을 시행하였다. 웹 기반과 종이 기반 설문조사 사이에 기기 측정과 다른 설문조사를 시행하여 시간 간격을 두었다.

2. 연구대상자

연구대상자는 S대학교 및 부속한방병원에서 근무하는 만 30세 이상 59세 이하의 교직원 중 설문지 작성, 생체지표 측정 등에 참여하기에 합당하지 않은 자고 외한 교직원을 대상으로 진행 중인 직장기반 한의 코호트 연구의 참여자이다[20]. 본 연구는 코호트 대상자 200명 중에서 연구의 목적 및 내용에 대한 설명을 들은 후 참여에 동의한 자발적 참여자 76명을 대상으로 시행되었다. 종이 설문에서 결측 자료 4건을 제외하고 최종 72명의 자료를 분석하였다. 본 연구는 기관생명윤리위원회의 승인을 받았다(No. SMIOH-2017-05-12).

3. 조사도구

본 연구에서 사용한 미병설문은 이상증상 기반의 건강 상태를 평가하기 위한 목적으로 개발되었다[11]. 미병설문은 피로, 통증, 수면이상, 소화이상, 우울, 분노, 불안의 7개 범주로 21문항으로 구성되어 있다. 각범주는 증상정도, 지속기간, 휴식 후 회복정도에 대한 3개의 질문에 7점 척도로 응답한다. 미병설문의 점수는 7개의 증상의 3항목을 응답값을 모두 더하여 범주별 점수가 계산되고, 7개의 범주점수를 모두 합산한 미병총점(21-147점)으로 계산되며, 점수가 높을수록 건강 상태가좋지 않음을 의미한다.

한열설문은 15문항으로 구성된 평소증상 기반 한열 도구이다[9]. 한열도구는 한증 관련 8문항과 열증 관련 7문항으로 총 15문항으로 구성되어 있다. 각 문항은 전혀 아니다(1점), '아닌 편이다(2점), 보통이다(3점), '그런편이다(4점), 매우그렇다(5점)* 5점 척도로 평가 되었다. 한증설문의 점수는 각 범주의 응답 척도를 합하여 한증 점수와 열증 점수로 계산되며, 각각의 점수 높을수록 한증의 정도와 열증의 정도가 높음을 의미한다.

본 연구에서 사용된 설문 도구들의 신뢰도 검증은 조사 방법에 따라 Cronbach's alpha 값을 살펴보았고, 미병설문의 Cronbach's alpha는 웹 기반 0.91, 종이기반 0.93이며, 한열설문의 Cronbach's alpha는 웹기반 0.866, 종이 기반 0.834를 보였다.

4. 만족도 조사

만족도 조사는 총 6개의 문항으로 구성되었다. 이 설문의 문항은 메뉴구성 정확도, 정보일관성, 화면구성 편리성, 사용 편의성, 시스템 만족도, 선호도에 대한 만족도를 조사하였다. 조사 방법의 선호도를 제외한 모든문항은 '매우 그렇다', '그렇다', '보통이다', '미흡하다', '아주 미흡하다'의 5점 척도로 조사하였다.

5. 웹버전 개발

미병설문과 한열설문의 웹버전은 한국한의학연구원의 KDC eCRF 시스템을 연계하여 대상자 웹설문시스템으로 개발되었다[Figure 1].

Figure 1. Screenshots of the Web-based system displayed on a mobile device(a) and in a browser(b)

이 시스템은 Windows 및 Android, iOS를 포함한다양한 운영 체제에서 실행할 수 있으며, 데스크톱, 모바일, 태블릿 환경을 고려한 다양한 환경에서 설문조사작성이 편리하도록 반응형 웹사이트로 개발되었다. 또한 웹설문시스템은 가독성 향상을 위해 각 페이지에 해당 설문만 표시되며, 대상자 설문 입력은 설문 페이지당 저장되고, 이전에 입력한 데이터를 임시 저장하여 설문 완료 전 로그 아웃된 경우는 다음 설문부터 입력이 가능하도록 하였다. 결측 문항이 있을 경우 시각적으로 알려줌으로써 무응답이 발생하지 않도록 하였고, 최종 완료를 하기 전까지 잘못 응답한 질문의 경우 웹설문시스템을 통해 대상자가 돌아가서 답변을 수정할 수 있다. 대상자는 연구자가 부여한 연구용 대상자식별코드와 개인식별정보로 웹설문시스템에 로그인하여 설문지를 작성할 수 있고, 대상자 설문이 진행되면 연구자는 대상자의 설문 입력 현황을 확인할 수 있으며, 설문이 종료되면 설문 결과 출력 기능을 구현하였다.

6. 통계분석

인구통계학적 특성은 빈도분석(Frequency Analysis) 을 실시하여 빈도와 백분율, 평균과 표준편차로 요약하였다. 미병설문과 한열설문에 대해 웹과 종이 형식의응답 간의 일치 수준은 급내상관계수(Intraclass Correlation Coefficient, ICC)와 95% 신뢰 구간 (Confidence Interval, CI)으로 분석하였다.

ICC는 측정값들의 대상자 간 변동과 대상자 내 변동인 총 변동 중 대상자들 간 측정값의 차이에 의해 나타난 변동 부분에 대한 추정치를 계산하여, 반복성과 재현성을 평가는 방법으로, ICC 값이 1에 가까울수록 측정값이 정확히 일치한다고 할 수 있다[21].

Bland-Altman plot으로 일치도 결과를 그래픽으로 확인하고 시각화하였다. Bland-Altman plot은 동일 대상에 대한 두 개의 측정값에서 각 측정값의 짝마다 평균(x축)과 차이(y축)를 계산하여 산점도로 표시된다. 측정값의 짝 간 차이의 평균을 나타내는 값(mean difference, d)과 95% 일치 한계값(limits of agreement, LOA, d+1.96sd)으로 나타내며, 평균차이를 나타내는 가로선의 위와 아래에 있는 가로선은 95% LOA 상한값과 하한값을 나타내며, 측정값 간 차이들이 정규분포를 따른다면 차이의 대략 95%는 LOA 상한과 하한 사이에 존재하게 된다[21]. 통계 분석은 R 프로그램(version 4.1.0)을 사용하였으며, 유의 수준은 p-value < 0.05이다.

IV. 연구결과

1. 일반적 특성

본 연구에 참여한 대상자는 총 72명으로 남자 39명 (54.2%) 여자 33명(45.8%)으로 구성되었다. 평균나이는 47.77±7.54세이었으며, 교육수준은 고등학교 졸업 이하가 11.1%, 대학교 이상은 88.9%로 나타났고, 결혼상태는 배우자가 있는 경우는 77.8%, 배우자가 없는 경우는 22.2%였다. 흡연은 20.8%, 음주는 68.1%가 하는 것으로 나타났다[Table 1]

Table 1. General Characteristic of the Subjects

2. Web 기반 설문과 종이 기반 설문 조사간 신뢰도

미병설문은 Web 기반 설문을 통하여 응답한 미병총점의 평균은 43.10+16.77점, 종이 기반 설문의 평균은 43.35+18.27점이었다. 한열설문은 한증과 열증으로 나누어 비교하였고, 한증점수는 웹 기반이 23.65+5.61점, 종이 기반이 23.82+5.73점이며, 열증점수는 웹 기반이 18.38H4.62점, 종이 기반이 18.26=4.42점으로 나타났다. 웹 기반 설문과 종이 기반 설문 간의 신뢰도는 미병설문에서 미병총점의 ICC가 0.95(95% CI 0.92 - 0.97:p(0.001)였고, 미병 7개의 하위 범주의 ICC는0.83(우울)에서 0.96(불안)의 범위를 보였다.

한열설문의 ICC는 한증이 0.98 (95% CI 0.96 0.99xp<0.001), 열증은0.9 (95% CI 0.83 - 0.93;p(0.001) 로 적정 수준의 신뢰도를 보였다[Table 2].

Table 2. Reliability analysis between web and paper formats

ICC: intraclass correlation coefficient, LOA: limits of agreement

*** p-value < 0.001 in ICC analysis

Bland-Altman 분석에 따르면 미병설문에 대한 웹기반 설문과 종이 기반 설문 점수 간 평균 차이는 -0.25 점이고, 일치한계(95% LOA)의 상한값은 14.61, 하한값 은-15.11이었다. 본 연구에 참여한 전체 대상자 72명중 4명(5.6%)의 대상자가 상한값에서 2.39, 하한값에서 -16.89 점수 차이를 보였고, 4명을 제외하고 범위 내에 분포하고 있어 두 가지 방법 간 높은 일관성을 확인했 다. 한열설문의 한증 점수의 평균차이는 -0.17점이고, 일치한계(95% LOA)의 상한값은 3.27, 하한값은 -3.60 이며, 열증 점수의 평균차이는 0.11점이고, 일치한계 (95% LOA)의 상한값은 5.60, 하한값은 -5.38로 나타났다[Table 2][Figure 2].

Figure 2. Bland-Altman plots showing the difference between scores of the web and paper versions of the Mibyeong (a) and Cold-Heat questionnaire (b,c)

한증설문에서는 상한값에서 0.73, 하한값에서 -2.4 점수 차이를 보였고, 열증 설문에서 상한값에서 2.4, 하한 값에서 -3.62점수 차이를 보였다. 90%이상의 측정값이 범위 내에 분포하고 있어 두 가지 방법 간 높은 일관성을 확인했다. 이는 미병설문과 한열설문에서 대부분의 대상자에서 두 조사 방법 간의 점수가 서로 유사하여 일치 양상을 나타냈다.

3. 대상자의 만족도 결과

웹 기반 설문의 메뉴 구성에 대해 매우 그렇다, 그렇다 63명(84%), '보통' 12명(16%)으로 응답하였고, 정보 일관성 문항은 66명(88%)이 매우 그렇다, 그렇다 9명(12%)이 '보통'으로 응답하였다. 화면구성에 있어서는 63명(84%)가 매우 그렇다, 그렇다', 9명(12%) 보 통', 3명(4%) '미흡 사용 편의성 측면은 '매우 그렇다, '그렇다'가 62명(83%), 보통'이 12명(16%), '미흡' 1명(1.3%)으로 나타났다. 시스템에 대한 전반적인 만족도는 매우 그렇다, 그렇다 63명(84%), '보통' 11명(14.7%)으로 대부분 긍정적으로 응답했다. 추후 연구참여 시 웹과 종이 설문 선호도 조사에서는 웹' 60명 (80%), '종이' 12명(16%), '모르겠다' 3명(4%)으로 많은 대상자가 웹 기반 설문을 선호한다고 응답하였다 [Table 3].

Table 3. Web-based survey satisfaction results

V. 고찰

웹 기반 설문 조사는 설문 조사함에 있어 설문 수행시간 단축 등 많은 장점을 가지고 있으므로 종이 기반설문 조사보다 유용할 것으로 예측되고 있다. 본 연구는 웹 버전으로 개발된 미병설문과 한열 설문을 종이기반 설문 방법과 비교하여 신뢰성을 평가하고, 대상자의 수용 가능성을 확인하였다. 결과적으로 미병설문과 한열설문 모두 웹 기반과 종이 기반 설문 조사 간에 ICC 0.9 이상의 높은 수준의 신뢰도를 보였으며, 웹기반 설문조사 방법에 대한 대상자 수용도도 높았다.

미병설문은 두 조사 방법 간의 급내상관계수인 ICC 값은 미병총점 0.95, 미병 7개의 하위 범주에서도 0.83 - 0.96 범위의 값을 보였으며, 한열설문은 한증 0.98, 열증 0.9으로 각각 나타냈다. ICC 값이 반복성과 평가자 내 또는 평가자간 신뢰도 분석에서 널리 사용되는 신뢰도 지수로 ICC값은 0.75-0.9 양호, 0.9보다 크면 우수한 신뢰도를 나타낸다[22]. 이는 미병설문과 한 열설문 모두 웹 기반과 종이 기반 조사 두 설문 조사 방법 간의 우수한 일관성을 가지고 있음을 의미한다. 또한두 설문 모두 총점과 하위 범주의 평균의 차이를 비교한 결과에서도 웹 기반과 종이 기반 설문 간의 점수 차이가 1점 미만으로 나타났고, 변동의 차이를 나타내는 일치한계선 내에 대부분의 측정값들이 분포하고 있었다. 이러한 결과는 종이 기반 설문 대신 웹 기반 설문을 사용했을 때 결과 해석에 있어 영향을 미치지 않다는 것을 시사한다. 본 연구의 결과는 선행연구의 검증 결과와 유사하다. 류마티스 질환자의 대상으로 일반적 건강을 측정하는 3개 설문을 이용한 웹과 종이 조사방법을 비교한 연구에서 두 측정법 간의 ICC 값이 0.9 이상으로 일치도가 우수한 것으로 평가하였다[6]. 또한, 본연구한 유사한 디자인으로 동일한 날에 2시간의 정도의 시간 간격으로 웹과 종이 기반 간의 동등성을 비교한 연구에서도 ICC 0.9 이상으로 본 연구와 비슷한 신뢰도 결과를 보였다[3].

웹 기반 설문의 전반적인 만족도는 63명(84%)이 긍정적인 응답을 하였고, 60명(80%)이 종이보다는 웹기반 조사 방법을 선호하였다. 또한, 대상자들은 웹 기반설문은 사용 편의성 측면에서 명확하고 일관성 있는 화면 구성으로 전반적으로 편리하다고 평가하였다.

선행연구에서도 75%의 대상자가 종이 버전보다 모바일 버전을 선호하는 것으로 나타났으며, 이는 역학 연구 및 장기간에 걸친 환자 추적 관찰에 유용한 도구로 사용할 수 있음을 의미했다[3]. 그러나 성기능 장애관련 설문 도구의 타당성 검증 연구에서 64%[5], 에이즈 환자의 삶의 질 평가 도구에서는 55%[23]가 전자버전의 설문조사 방법을 선호하였다. 이는 대상자의 특성이나 설문 도구의 목적에 따라 조사 방법의 선호도에서 차이가 있을 수 있다.

또한, 본 연구에서 76명의 전체 대상자 중 종이 설문에서 일부 문항에 결측 자료가 있는 대상자 4명을 제외하고, 웹과 종이 설문조사를 모두 성공적으로 종료한 대상자는 전체 72명(95%)이었으며, 이는 선행연구의 약 69%~79%보다 높은 수준이었다[51[23]. 이는 본연구의 대상자가 코호트 연구 대상자로 장기간 연구 참여로 인한 순응도와 관련이 있을 것이다.

웹과 종이 기반 설문 조사법의 중요한 차이점은 현재 질문을 완료한 후에 다음 설문으로 넘어갈 수 있으므로 결측값이 발생하지 않고, 이는 결과의 신뢰성 향상에 영향을 미치므로 중요한 요소임을 알 수 있다. 웹 기반 설문 시 모바일 기기에서 사용이 가능하여 대상자의 휴대폰에서도 바로 설문 응답이 가능하여 대상자의 참여도를 높일 수 있다.

본 연구에서 웹 기반 설문의 장점은 대상자가 입력 후 바로 데이터로 결과를 확인할 수 있으며, 연구자는 대상자가 입력한 설문 결과에 대해 실시간 확인 및 출력을 할 수 있다. 종이 기반 설문의 경우 대상자가 응답한 후 연구자가 데이터를 처리하는데 많은 시간이 소요되기 때문에 연구자의 업무량을 줄이고 시간을 절약하여 임상 데이터 수집을 더 쉽게 할 수 있다는 점에서 의미가 있다.

VI. 결론

본 연구는 한의학 기반의 건강 상태 평가 도구인 미병설문과 한열설문의 웹 버전을 개발하여, 종이 조사방법 간의 신뢰도와 실행 가능성을 평가하였다. 분석결과 새롭게 개발된 웹 기반 설문은 종이 버전과 0.83-0.96의 범위 내로 적정 수준의 신뢰도를 보였으며, 웹 조사의 선호도도 84%로 높았다.

본 연구의 제한점은 첫째, 두 조사 방법 간의 기한을 두지 않고 당일에 시행하여, 대상자의 기억력과 관련된 회상 바이어스의 영향이 고려되지 않았다. 그러나 두 조사 방법 사이에 다른 측정을 통해 일정부분 설문응답에 대한 기억력의 영향을 최소화하였다. 둘째, 웹과 종이 조사를 무작위 배정을 고려하지 않아, 조사 방법순서에 따른 이월효과와 선호도에 영향을 미칠 수 있다. 일부 연구에서 웹과 종이 설문 유형과 조사 순서 간의 유의미한 차이가 나타나지 않았으나[3], 교차 설계와같은 연구 디자인을 제안한다. 마지막으로 예비연구를 토대로 본 연구가 시도될 필요가 있다.

웹 기반의 미병설문과 한열설문은 대상자 친화적이며, 장기간 걸쳐 진행되는 코호트 연구에서 대상자의 추적 관찰에 유용한 도구로 고려된다.