Methodological Quality Evaluation of a Meta-Analysis Study of Rehabilitation Treatment Interventions for Stroke Patients in Korea Applying AMSTAR-2: Focusing on Upper Extremity Function and Recovery of Daily Life

AMSTAR-2를 적용한 국내 뇌졸중 환자의 재활치료 중재 메타분석 연구의 방법론적 질 평가: 상지기능과 일상생활회복을 중심으로

Abstract

This study was analyzed by applying AMSTAR-2, a methodological quality evaluation tool, to evaluate the quality of domestic meta-analysis papers on rehabilitation interventions for stroke patients. The purpose of this study is to provide guidelines for qualitative improvement of evidence-based practice and meta-analysis research by analyzing the qualitative level of the analyzed research. The literature search was conducted using the Research Information Sharing Service, Korean Medical database, and Korean studies Information Service System. Two authors searched, extracted, and reviewed literature using the keywords 'stroke' and 'meta-analysis'. As a result of the AMSTAR-2 quality evaluation of the final 18 studies, 3 studies (16.67%) were 'Moderate', 8 studies (44.44%) were 'Low', and 7 studies (38.89%) were 'Critically Low'. In future research, scientific and objective data selection and extraction process should be performed. It is expected that interest and efforts to improve the quality of meta-analysis research will continue by referring to the contents analyzed in this study as a way to improve the quality of literature.

본 연구는 뇌졸중 환자의 재활 중재에 대한 국내 메타분석 논문의 질을 평가하기 위하여 방법론적 질 평가도구인 AMSTAR-2의 적용하여 분석하였다. 분석된 연구의 질적 수준을 검증하고 근거 중심 실무의 질적 향상과 메타분석 연구를 위한 지침을 제공하고자 한다. 문헌검색은 학술연구정보서비스(Research Information Sharing Service, RISS), 한국 의학 논문 데이터베이스(Korean Medical database, KM base), 한국학술정보(Korean studies Information Service System, KISS)를 이용하였다. 검색을 위해서 주요 핵심어로 '뇌졸중' AND '메타분석'을 주제어로 하여 검색하였다. 최종 18편의 연구 중 AMSTAR-2 질 평가 결과 'Moderate'에 해당하는 연구는 3편(16.67%), 'Low'에 해당하는 연구는 8편(44.44%), 'Critically Low'에 해당하는 연구는 7편(38.89%)으로 나타났다. 향후 연구에서는 과학적이고 객관적인 데이터 선택 및 추출 과정을 수행하고, 문헌의 질적 향상을 위한 방안으로 본 연구에서 분석한 내용을 참고하여 메타분석 연구의 질적 향상을 위한 관심과 노력이 지속되기를 기대한다.

l. 서론

뇌졸중 환자의 상지기능은 일상생활활동(Activities of daily living; ADL)을 수행하는 데 가장 중요한 기능중 하나이다[1]. 뇌졸중 발병 후 생존자의 70~80% 가 상지기능의 손상을 보이며, 6개월 이후에는 25~53%가 ADL 중 한 개 이상의 과제에서 의존성을 보인다[2]. 상지기능은 옷 입기, 글씨쓰기, 밥 먹기 등세밀한 움직임을 위한 기본이 되고, 일상생활활동에서 중요한 요인이다[3]. 뇌졸중 발병 후 상지기능의 결함은삶의 질에 악영향을 미치게 되며, 재활치료에 있어 상지기능 회복은 필요한 요소이다[4]. 뇌졸중 환자의 상지기능 회복과 일상생활활동 회복을 위해서 많은 전문가에 의해 작업치료, 운동치료, 전기치료, 도수치료, 강제유도운동 치료(Constraint-Induced Movement Therapy; CIMT), 고유 수용기 신경근 촉진 기법(Proprioceptive Neuromuscular Facilitation; PNF) 등의 다양한 중재를 개발하고 시도했다[5].

2000년 이후로는 과제기반(Tassk-oriented) 치료, 로봇 재활치료, 가상현실 기반 재활치료와 관련한 연구가 활발하게 이뤄지고 있다[6-8]. 최근에는 다양한 신경영상(Neuroimaging) 기술로 뇌졸중 환자의 대뇌피질 신경조절을 기반으로 하는 중재인 비 침습적 뇌자극 기술(Non-invasive brain stimulation; NIBS)이 활발하게 사용되고 있다[9]. 뇌졸중 환자를 대상으로 한 재활치료 중재는 다양하며 이를 입증하기 위한 메타분석 연구들이 활발하게 이뤄지고 있다.

보건학을 포함한 다양한 분야의 연구자들은 검증된 메타분석 연구를 통해 자신의 연구 결과를 예측한다[10].

근거 기반 실무(Evidence-Based Practice)는 연구결과를 기반으로 이론적 증거 확립하고 체계적 규준에 따라 현상을 해석하도록 돕는다. 과학적 타당성이 인정되는 임상적 관찰, 체계적 사례, 질적 연구, 단일 대상 실험, 무작위 통제실험, 메타분석 연구 등 다양한 과학적 접근들이 포함하고 있다[11].연구자는 최상의 의사결정을 하기 위하여 과학적으로 접근해야 한다[12].

그중에서 메타분석은 가장 영향력 있는 근거로 여겨 진다[13]. 임상에서는 최신의 정보를 바탕으로 근거 기반 실천을 도모하는 것이 중요한데, 한 개의 원저를 정리하는 방식보다 특정 중재유형과 관련된 기존 문헌을 모아 정리한 체계적인 고찰이나 메타분석을 참고하는 것이 더 효율적인 방식이 될 수 있다[14]. 메타분석은 다수의 연구를 통합하여 축적된 결과로 새로운 지식을 형성하고 기존 연구와 관찰 결과를 통합하여 임상적 활용도를 판단하기 때문에 특정 중재 방식의 임상 적용의 근거로서 큰 도움을 줄 수 있다[15]. 또한, 메타분석은 높은 수준의 근거이기 때문에 이를 활용하기 위해서는 연구 방법과 결과에 대한 신뢰성과 타당성이 입증되어야 한다[16]. 하지만 메타분석은 연구자의 주관적인 연구물 포함 기준, 포함연구물 수준에 따른 결과의 왜곡이 결과물로 초래하는 경우가 있을 수 있어 반드시 신뢰할 수 있는 것은 아니다[10]. 이러한 문제점을 보완하기 위해서 메타분석이 적절히 수행되었는지를 평가해야 하며, 다양한 방법론적 질 평가도구를 개발하고 활용되고 있다[13]. 이러한 흐름에 따라 국내외에서는 연구방법론적으로 신뢰할 수 있는 근거를 제공하고 타당한 결과해석과 비판적인 평가를 위해 검증된 도구를 활용한 연구방법론적 질 평가가 이뤄지고 있다[17].

메타분석 연구의 방법론적 질 평가도구는 AMSTAR (Assessment of Multiple Systematic Reviews), A MSTAR-2(2Assessment of Multiple Systematic Re views 2), QUORUM(Quality of Reporting of Met a-Analyses), SIGN(Scottish Intercollegiate Guide lines Network), OQAQ(The Enhanced Overview of Quality Assessment Questionnaire) 등이 활용되고 있으며, 이 중 AMSTAR, AMSTAR-2는 신뢰도와 타당도가 검증되어 다양한 학문 분야에서 활용되고 있다[18][19].

AMSTAR는 한국보건의료원(2011)에서 타당도와 신뢰도를 검증하였고, 한국어판으로 개방하여 다양한 연구자들이 사전 동의 없이 사용할 수 있다[20].

AMSTAR은 2007년 개발된 AMSTAR와 2017년 개정된 AMSTAR-2가 있으며, 체계적인 문헌 고찰을 위한 활용되고 있다[10]. AMSTAR은 방법론적 적절성을 평가하는 11개 항목으로 구성되어 있 고, AMSTAR-2는 5문항이 추가되어 총 16개 평가항목으로 구성되어 있다[10].

보건 의료분야에서 의사결정을 위한 근거를 체계적으로 제공하는 단체인 코크란(Cochrane)의 체계적 문헌 고찰의 개요를 수행하기 위한 지침서에서는 AMSTAR 를 언급하고 있어 이에 대한 방법론적 질 평가 연구가 필요하다[21]. 최근 무용치료, 한방소아과, 작업치료, 간호, 사회복지, 유아교육, 특수교육, 스포츠경영 분야에서 메타분석을 활용한 방법론적 질 평가 연구가 진행되었다[101[13]17][22-27].

하지만 뇌졸중 환자를 대상으로 한 재활치료 중재를 기반의 방법론적 질 평가 연구는 없었다. 국내에 출판된 뇌졸중 환자를 대상으로 한 재활치료 중재 분야에서도 다양한 메타분석 연구가 있다. 메타분석은 연구 결과를 통계적으로 통합하여 포괄적인 결론에 도달할 수 있는 장점이 있지만, 질적 수준이 낮은 연구물이 포함될 가능성이 있고 표본의 대표성과 이질성 등의 문제가 발생할 수 있다[28].

따라서 본 연구는 메타분석 연구의 결과에 대한 신뢰성을 확보하고 체계적인 연구방법론적 검증을 제시하기 위해서 국내에 출판된 뇌졸중 환자를 대상으로 한 상지기능과 일상생활활동 회복과 관련한 메타분석 연구의 방법론적 질 평가를 수행하여 질적 수준을 검증하고 근거 중심 실무에 대한 근거를 마련하고자 한다.

Ⅱ. 연구 방법

1. 연구설계

본 연구는 AMSTAR-2를 활용하여 국내 뇌졸중 환자를 대상으로 하여 상지기능과 일상생활 회복에 관계 타분석 연구의 질적 수준을 분석하기 위한 서술적 조사 연구이다.

2. 분석대상 논문의 검색

본 연구는 코크란 그룹(Cochrane collaboration) 의 체계적 고찰[21]과 PRISMA(Preferred Reporting Items for Systematic Review and Meta-Analysis) 그룹이 제시한 체계적 고찰 보고지침[29]에 따라 수행되었다. 본 연구에서는 메타분석 연구들에 대한 질적평가를 실시하기 위해 다양한 학술 분야에서 국제적인 신뢰성과 타당성을 검증받은 AMSTAR-2 가이드라인을 적용하였다. 또한, AMSTAR-2를 적용한 메타분석연구의 질 평가는 국내 연구로 국한하였다. 이는 본 연구자들은 기존에 게재된 뇌졸중 환자의 재활치료 중재에 대한 국내 메타분석 연구의 방법론적인 취약점을 알아보고 그 원인을 고찰하여 추후 국내 연구자들이 메타분석 설계과정에서 기존보다 국제적 수준의 신뢰성과 타당성을 갖춘 연구설계 방법을 활용할 수 있는 근거를 마련하고자 하였다.

문헌검색은 전자 데이터베이스를 활용하여 2021년12월 20일부터 12월 28일까지 검색하였다. 문헌검색은 학술연구정보서비스(Research Information Sharing Service, RISS), 한국학술정보(Korean studies Information Service System, KISS), 한국 의학 논문 데이터베이스 (Korean Medical database, KM base)를 이용하였다. 추가로 선행문헌의 참고문헌을 바탕으로 수기 검색을 시행하였다. 검색을 위해서 주요 핵심어로 '뇌졸중 AND '메타분석'을 주제어로 하여 검색하였다.

3. 문헌 선정과정

두 명의 연구자가 문헌을 수집한 후 Zotero 5.0.96.2 서지 관리 프로그램을 사용하여 중복된 논문을 배제하였다. 연구자들은 논문의 제목 및 초록을 확인하여 일차적으로 배제한 다음, 전문을 검토하면서 선정기준과 배제기준을 적용하여 최종 논문을 선정하였다. 선정기준은 뇌졸중을 대상으로 상지기능과 일상생활 회복에 관한 메타분석을 실시한 연구이며, 언어와 중재 방식에 대해서는 제한하지 않았다. 메타분석 연구의 고찰과 연구방법론적인 제안에서는 기존에 출판된 학술지 문헌들은 유의한 긍정적인 결과들을 보고하므로 한쪽으로 편향된 결과가 나올 가능성이 있어, 연구 결과가 대부분긍정적이기 때문에 오히려 출판되지 않은 문헌들도 폭넓게 포함할 필요가 있음을 강조하였다[30].

이는 출판된 연구만을 수집하는 연구설계가 연구수집 과정에서의 비뚤림을 유발할 수 있다는 AMSTAR-2 평가 척도 활용의 타당성을 뒷받침한다. 이러한 이유에서 본 연구의 연구자들은 문헌 수집에 대한 비뚤림 문제를 극복하기 위해 학술지에 출판된 연구와 석·박사학위연구를 1차 문헌검색 범위에 모두 포함하였다. 다만, 문헌의 전문을 검토하는 과정에서 학위연구와 학술지에 중복으로 게재되었으면 학술지에 게재된 연구를 우선적인 출처로 분류하였다. 배제기준은 중재의 유형이 명확하지 않거나 메타분석이 아닌 연구이다. 또한 뇌졸중 이외 다른 진단유형을 포함한 경우는 배제하였 다. 선정기준과 배제기준에 의해 수집된 문헌의 참고문헌을 분석하여 포함 기준에 부합한 문헌도 추가 분석하였다. 두 명의 연구자는 선정된 연구를 독립적으로 방법론적 질 평가하고 의견이 일치하지 않는 문항은 AMSTAR-2의 가이드라인을 기준으로 토론 및 토의를 통해 합의하였다. 또한 제3의 연구자를 개입하여 두 명의 연구자의 의견과 일치하는지 다시 검토하였다. 의견이 일치하지 않는 경우 다수결의 원칙으로 문항의 점수를 부여하였다. 본 연구의 문헌 선택과정은 PRISMA 흐름도를 사용하여 각 단계를 기록하였다[Figure 1].

Fig. 1. PRISMA Flow Diagram

3.1 선정기준

① 뇌졸중 환자를 대상으로 상지기능과 일상생활 회 복에 관한 메타분석 연구

② 2000년 1월부터 2021년 12월까지 출판된 연구

③ 학술지에 게재된 연구, 학위연구

④ 본문에 출판연도, 저자 수, 데이터베이스, 연구대 상, 중재유형, 분석논문 수, 연구설계, 포함한 연구 에 대한 질 평가도구 사용 여부 등이 기술된 경우

3.2 배제기준

① 치료적 중재의 유형이 명확하지 않은 경우

② 메타분석 연구가 아닌 경우

③ 뇌졸중 이외 다른 진단유형을 포함한 경우

4. 연구도구

4.1 AMSTAR-2

AMSTAR-2는 RCT 또는 non-RCT를 포함하는 체계적 검토(Systematic Review) 문헌을 평가하기 위해 shea 등[31]에 의해 개발된 도구로, 총 16개의 질 평가항목으로 구성되어 있다. 각 항목에 대한 평가를 Yes' 'Partial yes', 'No'로 평가한다. AMSTAR-2는 질평가결과 해석 시에 중요 문항으로 권장하는 7개 항목(2번 문항, 4번 문항, 7번 문항, 9번 문항, 11번 문항, 13번 문항, 15번 문항)이 있으며, 해당 문항의 누락 수에 따라 'High, Moderate', Low, 'Critically low'로 평가결과를 산출한다[Table 1].

Table 1. Criteria for assessing confidence in AMSTAR-2

*Multiple non-critical weakness may diminish confidence in the review and it may be appropriate to move the overall appraisal down from moderate to low confidence

즉, 평가 결과 산출에서 문항 총점의 합산방식이 아닌 지정된 중요 문항의 누락 수를 통해 평가 결과를 산출한다는 특징을 지닌다[10]. 구체적으로 'High'는 중요 문항의 약점이 없거나 중요 문항이 아닌 항목에서 1 개의 약점이 있는 경우, Moderate'는 중요 문항의 약점이 없거나 중요 문항이 아닌 항목에서 1개 이상의 약점이 있는 경우, 'Low'는 중요 문항 1개에서 치명적 약점이 있는 경우, 'Critically low'는 중요 문항 중 2개 이상의 치명적인 약점이 있는 경우로 설명한다. 본 연구에서는 문헌 선정기준에 포함된 연구의 질을 수치화하기 위해 Yes'는 1점, 'Partial yes'는 0.5점, 'No'는 0점으로 분류하였다.

4.2 문헌의 질 평가과정

AMSTAR는 2007년 개발된 버전과 2017년에 개정된 AMSTAR-2 버전이 있으며, 체계적인 문헌 고찰을위한 지침으로 활용할 수 있다[10]. AMSTAR-2 점수측정 기준에 따라 두 명의 연구자가 최종 수집된 문헌에 대해 독립적인 평가를 수행하였으며 Microsoft Soft Excelk 365 버전을 사용하여 데이터 표를 관리하였다. AMSTAR-2 평가 결과가 일치하지 않는 시 연구자 간에 교차 검토 및 합의 과정을 거쳤다. 이 과정에서 항목별 분석 결과가 일치하지 않을 경우, 연구설계에 참여하지 않고 본 연구의 목적에 노출되지 않은 제 3의 연구자가 개입하였으며 충분한 토의 과정과 다수결 원칙에 따라 합의 결과를 도출하였다.

5. 자료

메타분석 문헌에 대한 AMSTAR-2 최종 점수 분석은 공식 웹사이트(https://amstar.ca/Amstar-2.php)의 checklist 페이지에서 수행하였으며, SPSS 21.0 프로그램을 사용하여 대상 연구의 특성과 평가 항목에 대한 실수, 백분율, 평균, 표준편차를 구하였다.

Ⅲ. 연구 결과

1. 분석대상 연구의 특성

본 연구는 2000년 1월부터 2021년 12월까지 출판된 연구 중 18편의 메타분석 연구를 분석하였다[Table 2]. 뇌졸중 환자의 상지기능과 일상생활활동 회복에 대한 메타분석에 사용된 중재 방법으로는 가상현실 기반이 4편으로 가장 많았으며, 로봇 재활이 3편, CIMT가 2편, 거울 치료가 2편, FES, 지역사회 기반 중재, 동작 관찰, 이중과제, tDCS, 진동운동, 과제지향접근이 각각 1편으로 조사되었다. 메타분석 연구의 저자는 최소 1명에서 최대 4명까지였다. KCI 등재지에 게재된 연구는 11편, 등재후보지는 2편, 석사학위 논문은 5편으로 조사되었다. 메타분석에 포함되었던 연구들은 평균 18편이며 최소 7편에서 24편의 연구가 분석되었으며 메타분석 연구에 포함된 문헌의 수는 9편이 22.22%로 가장 많았다. 메타분석 시 연구의 질적 평가는 ROB 7편, Pedro score 7편, Jadad scale 2편, RoBANS 1편, SIGN 1편으로 조사되었다.

Table 2 Studv characteristics of included Meta-analysis (N=18)

+++: Large Effect Size, ++: Medium Effect Size, +: Small Effect Size, - No Effect, FES: Functional Electrical Stimulation, MT: Mirror Therapy, CBI: Communiity-Based Intervention, CIMT: Constraint-Induced Movement Therapy, RT: Robot Therapy, VR: Virtual Reality, AOT: Action Observation Training, tDCS: Transcranial Direct Current Stimulation, DT: Dual-Task Training, TOA: Task-Oriented Approach, RoB: Risk of Bias, SIGN: Scottish Intercollegiate Guidelines Network, Pedro score: The physiotherapy evidence database, UEF: Upper Extremity Function, QOL: Quality of Life, MP: Motor performance, MPw: Muscle power, Sp: Spasticity

18편의 연구 중 일상생활회복에 대한 효과 크기를 비교한 연구는 2편이었으며, 상지기능에 대한 효과 크기를 비교한 연구는 6편이었다. 일상생활 회복과 상지기능 두 가지 효과 크기 모두를 비교한 연구는 10편으로 조사되었다. 그중 상지기능은 14편에서 효과가 있었고 일상생활 회복은 10편에서 효과가 있었다.

2. AMSTAR-2 방법론적 질 평가 결과

18편의 연구 중 AMSTAR-2 질 평가 결과 'Moderate'에 해당하는 연구는 3편(16.67%), Low'에해당하는 연구는 8편(44.44%), Critically Low'에 해당하는 연구는 7편(38.89%)으로 조사되었다(Table 3].

Table 3. Consensus result of AMSTAR-2 quality assessment (N=18)

*Q1. Were PICO components listed?; Q2. Protocol reported? Any deviations justified?; O3. Study design justified?; Q4, Comprehensive literature search?; Q5. Was study selection performed in duplicate?; Q6. Was data extraction performed in duplicate?; Q7. List of excluded studies? Were these justified?; Q8. Characteristics of studies provided in detail?; 09. Risk of bias assessed?; Q10. Sources of funding of included studies?; Q11. Methods used to combine the findings of studies appropriate? Test on heterogeneity?: Q12. If meta- analysis performed was RoB accounted for?; Q13. Was RoB discussed in individual studies?; Q14. Was there discussion of any heterogeneity observed in the results?; Q15. If a quantitative synthesis, was publication bias investigated and discussed in relation to the results?; O16. Reviewers' confict of interests stated?

각 연구의 방법론적 질 평가 점수의 평균을 보면 Moderate'에 해당하는 3편의 연구는 10.17+1.26점'Low'에 해당하는 연구는 8.93+1.18점, ·Critically Low'에 해당하는 연구는 6.71노2.94점이다(Table 4]. 연구별 총점의 평균을 보면 8.27점으로 18편의 연구 중 10편이 평균보다 높은 것으로 나타났다[Figure 2],

Fig. 2. Visualization graph of mean score

Table 4. Overall quality level of inclusion studies bv AMSTAR-2 assessment criteria

AMSTAR-2의 문항별 점수의 총점으로 보면 '고찰의 연구 질문과 포함 기준에 PICO 구성요소를 포함하였는가?'에 대한 1번 문항에 17점(94.4%)이고 '저지들이 고찰에 포함할 연구설계를 어떻게 선택하게 되었는지를 설명하였는가?라는 3번 문항이 16점(88.9%), '고찰의 저자들이 고찰에 포함된 개별 연구물의 비뚤림 위험을 평가하면서 만족할 만한 기법을 사용하였는가?'는9번 문항에 15.5점(86.1%), '양적 합성을 수행하였다면 고찰의 저자들이 출판 비뚤림(작은 연구 비뚤림)을 적절하게 조사하고 이것으로 인해 고찰의 결과에 미칠 영향을 주제로 토의하였는가?라는 15번 문항은 15점 (83.3%)이었다. 11번 문항은 14점(77.8%), 2번과 8번 문항은 각각 9점(50.0%), 4번 문항은 8.5점(47.2%), 7 번, 13번, 14번 문항은 8점(44.4%), 5번 문항은 7점 (38.9%)이었다. 하지만 '고찰의 저자들이 자료추출을 이중으로 하였는가?), '고찰의 저자들이 고찰에 포함된 개별 연구물의 연구비 재원에 관해 보고하였는가?'라는6번과 10번 문항은 점수를 얻지 못했다[Figure 3].

Fig. 3. Total score visualization graph for Each Assessment question

IV. 고찰

본 연구는 최신 버전의 PRISMA와 메타분석 연구의 방법론적 질 평가를 활용하여 뇌졸중 환자를 대상으로 상지기능과 일상생활활동 회복에 관한 메타분석 연구의 질적 수준의 동향을 파악하였다. 본 연구는 사전에 공개된 프로토콜, 포괄적인 검색 전략을 활용하였으며 두 명의 연구자가 독립적인 질 평가를 수행하여 연구결과의 유효성과 신뢰성을 높이고자 하였다. 본 연구에 포함된 모든 개별 문헌은 체계적 고찰을 수행하기 위한 핵심 질문인 PICO의 검색 전략을 활용하였다. 이전 선행연구에서는 한 분야의 학술지에서 발행된 메타분석을 분석하거나 특정 분야에 국한한 방법론적 질 평가가 이뤄졌다[10][13][17][22-27].

하지만 본 연구는 뇌졸중 환자의 재활치료 중재에 따른 메타분석 연구의 방법론적 질을 평가함으로써 간호, 물리치료, 작업치료, 의료기기산업의 전문가들이 분석한 메타분석의 방법론적 질 평가를 실시하였고 재활치료 중재와 중재의 효과성도 분석하였다.

본 연구결과를 살펴보면 메타분석 연구의 중재유형으로는 가상현실기반이 4편으로 가장 많았으며, 로봇재활이 3편, CIMT가 2편, 거울 치료가 2편, FES, 지역사회 기반 중재, 동작 관찰, 이중과제, tDCS, 진동운동과 제지향접근이 각각 1편으로 조사되었다. 특히 가상현실기반과 로봇 재활은 최근 5년 안에 7편이 게재되어 반복적이면서 활발하게 진행되었는데, 이 결과 때문에 뇌졸중 환자의 상지기능과 일상생활활동의 회복에 대한 중재 전략 중 연구자들의 관심도가 높은 주제라는 것을 알 수 있다. 그 외 최근 5년 안에 분석된 연구주제는 거울 치료, CIMT, 지역사회기반 중재, 동작 관찰 이중과제, tDCS, 진동운동, 과제지향접근이 있다. 뇌졸중 환자의 상지기능과 일상생활활동의 회복을 위한 다양한 중재 전략들의 최신화를 위해 질적으로 강화된 RCT와 메타분석이 활발하게 이뤄져야 할 필요가 있다.

질 평가는 메타분석의 연구방법론적 검증을 수행하기 위하여 활용되는데 본 연구에 포함된 18편 중 17편의 연구에서 질 평가가 이뤄졌으며, 연구에 가장 많이 적용된 질 평가도구는 RoB(38.89%)와 Pedro score(38.:89%)였다. 이러한 분석 결과를 통해, 뇌졸중 환자를 대상으로 상지기능과 일상생활활동의 회복을 위한 중재 효과성을 알아보기 위한 관점에서 RCT 연구가 활발하게 진행되고 있으며, 메타분석 연구에 포함된 개별 RCT 연구의 질적 수준이 높게 반영되고 있다는 것을 유추할 수 있다.

AMSTAR-2의 총점 기준으로 분석해보면, 평균 점수는 8.27점이고 평균 이상의 연구는 총 10편이었다. 하지만 AMSTAR-2의 결과해석으로 보았을 때, Mordrate의 비중은 3편(16.67%), Low는 8편 (44.44%), Critically Low는 7편(38.89%)으로 High Quality의 연구는 단 한 편도 없었다. 특히 분석된 연구에서 3개의 문항(Q6. 고찰의 저자들이 자료추출을 이중으로 하였는가?, Q10. 고찰의 저자들이 고찰에 포함된 개별 연구물의 연구비 재원에 관해 보고하였는가?, Q16. 고찰의 저자들이 고찰 수행을 위해 받은 연구비 지원을 포함하여 이해 상충의 잠재적 자원을 보고하였는가?)은 모두 0점이었으며, 4개의 문항(Q5. 고찰의 저자들이 연구 선택을 이중으로 하였는가?, Q7. 고찰의 저자들이 배제된 연구목록을 제공하고 배제한 이유를 해명하였는가?, Q13. 고찰의 저자들이 고찰의 결과를 해석하고 토의할 때 개별연구의 비뚤림 위험을 고려하였는가?, Q14. 고찰의 저자들이 고찰의 결과에서 나타난 이질성에 대해 만족할 만한 수준으로 설명하거나 고찰하였는가?)은 평균보다 낮은 점수였다. Moderate는 체계적인 검토에 하나 이상의 약점이 있지만, 치명적인 결함은 없고 검토에 포함된 연구 결과에 대한 정확한 요약을 제공한다. 하지만 Low와 Critically Low는 검토에 있어 심각한 결함이 있거나 연구에 대한 정확하고 포괄적인 요약을 제공하기에 어려움이 있다고 봐야 한다[31]. 국내 간호학과 유아교육분야의 메타분석의 방법론적 질 평가에서는 중간 수준의 연구가 각각 69.0%, 71.4%인 것을 고려할 때 [22][24], 메타분석을 수행하는 연구자는 중등도 이상의 질 평가 수준을 충족하기 위해 체계적이고 명확한 검토를 수행해야 할 필요가 있다.

AMSTAR-2 하위항목 기준으로 분석해보면, 메타분석의 연구방법론적 질 수준을 평가하기 위한 총 16개문항 중에서 절반의 연구가 평균에 미치지 못했다. 특히 AMSTAR-2의 6번 항목인 자료의 추출을 저자들이 이중으로 진행하였는가?' 이다. 6번 항목의 경우, 자료검색은 독립적인 절차를 수행하지만, 자료추출 과정에서도 이중 추출을 해야 한다는 연구방법론적 절차에 대한 인식이 국내에서 상당히 부족하다는 것을 의미한다 자세히 살펴보면, 문헌 선정과 자료추출을 중복하여 수행한 연구는 7편(38.9%)이었지만 초기 단계부터 두 명이상의 검토자가 자료추출에 참여한 경우는 없었다. 메타분석은 연구 기준에 맞는 문헌 선택 이후에도 자료의 추출과정에서 발생할 수 있는 편향(bias)이 연구 결과의 해석에 중대한 영향을 미칠 수 있기에 자료추출 시에 연구자 간의 이중 검토과정이 반드시 이뤄져야 하며, 통합된 결과를 핵심 지표로 반영하는 자료추출 과정에서는 오류 여부에 대한 신중한 검토가 필요하다. 코크란 리뷰(Cochrane Reviews)에서는 메타분석 연구시 문헌 선택, 자료추출, 분석 연구에 대한 합의, 자료의 코딩에서 오류를 최소화하기 위해서는 그 과정에서 필수적으로 2인 이상 팀을 이뤄 수행할 것을 제안하였다[21]. 이처럼 메타분석을 수행할 경우, 가장 최근의검증된 질 평가도구로 알려진 AMSTAR-2의 평가 기준에 따라 문헌 선택, 자료추출에서도 연구 편향 및 오류가 발생하지 않도록 이중 검토과정을 수행하는 것이 바람직할 것이다.

10번 문항인 '저자들이 고찰에 포함된 개별연구의 연구비 지원에 대한 보고를 하였는가?'에서 점수를 얻은 연구가 단 한 편도 없었다. 또한 16번 항목인 '이해 상충에 대해 명시를 하였는가?' 항목에서도 비교적 낮은 점수를 기록하는 것으로 조사되었다. 10번과 16번 항목의 경우, 메타분석 연구에서 연구비의 출처와 지원에 대한 이해 상충에 대한 명시는 연구윤리에서 연구의 투명성과 공정성에 영향을 끼치는 항목이다[13]. 따라서 메타분석 연구를 진행하면서 연구비의 출처와 지원에대한 항목을 의무적으로 명시하는 것은 매우 중요하다. 다만, 개별연구의 연구비 지원에 대한 보고 여부는 국내연구의 특성상, 일반적으로 연구비를 지원받지 않고진행한 연구에 대하여 특별히 연구비 재원에 대하여 보고를 진행하지 않고 있는 특성이 반영된 것으로 보인다. AMSTAR-2의 경우, 국외의 연구문화를 고려하여 개발되었기에 해당 항목의 점수에 큰 영향을 미친 것으로 보이기에 이를 국내연구의 질적 수준이 낮다고 일반화할 수는 없다. 하지만 국내의 메타분석 연구가 점차 활성화되고 세계적 수준으로 나아가고 있다는 점에서 국외의 질 평가 수준을 충족할 수 있도록 연구비 재원 및 이해 상충 여부에 대한 명시 부분도 객관적이고 과학적인 근거를 수립하기 위한 관점에서 면밀하게 검토되어야 할 것이다.

본 연구는 뇌졸중 환자를 대상으로 상지기능과 일상생활활동의 회복이라는 변수를 설정하여 메타분석 연구의 질적 수준을 분석한 연구이다. 하지만 연구 과정에서 몇 가지 제한점이 있었다. 첫 번째로 연구자의 임상경험을 바탕으로 변수를 설정하였기 때문에 뇌졸중환자의 전반적인 회복에 대한 부분에 있어 한계가 있다. 두 번째로 증재유형을 구분하기 위한 연구의 수가 부족하여 연구유형별 질적 수준을 비교하기에는 어려움이 있었다. 세 번째로는 국내연구로 자료조사가 이뤄졌고, 검색과정에서 특정 분야의 학술지와 관련한 데이터베이스는 계정 접속의 문제로 인해 충분히 활용하지 못하여 본 연구의 데이터베이스 외에 등록된 메타분석연구가 일부 포함되지 않을 가능성이 있다. 넷째, 본 연구에 사용된 질 평가도구는 국외의 연구자에 의해 개발되어 국내에서는 아직 인식이 높지 않고, 각 항목 중에서도 일부는 아예 시도되지 않거나 중요하다고 여겨지는 부분이 존재하여 국내 연구문화를 고려한 수용 개작 연구가 이뤄질 필요가 있다고 판단된다. 이러한 이유로 본 연구 결과의 해석에 있어서 독자의 신중한 검토 및 해석이 요구될 수 있다. 향후의 질 평가 연구에서는 앞서 제시한 변수 설정의 문제와 문헌검색 데이터를 확보방안이 사전 연구설계 단계에서 충분하게 검토되어야 할 것이며 연구비 지원과 이해 상충에 대한 명시 여부가 명확하게 결정되어야 할 것이다.

V. 결론

본 연구는 뇌졸중 환자를 대상으로 한 상지기능과 일상생활활동 회복과 관련한 메타분석 연구의 방법론적질 평가를 수행하여 질적 수준을 검증하고 뇌졸중 분야근거 중심 실무에 대한 기초 근거자료를 마련하였다. 최종 수집된 18편에 대한 방법론적 질 평가 수준은 Moderate 3편, Low 8편, Critically Low 7편으로 나타나, AMSTAR-2 기준으로는 국내 메타분석 연구의 수준이 전반적으로 높은 수준에 도달하지 않음을 알 수 있었다. 향후 국내 뇌졸중 분야 메타분석 연구는 문헌선정에 있어 객관적이고 과학적인 검토과정을 통해 질적으로 높은 근거 수준에 도달하기 위해 노력해야 할 필요가 있으며, 앞으로는 연구윤리 및 연구의 진행을 투명하게 검증할 수 있는 출판기준에서 연구비 지원과 이해 상충 보고에 대한 명시 기준이 성립되어야 할 필요성이 있다. 본 연구에서 도출된 질적 분석 결과 졸중 환자의 상지기능 및 일상생활활동 회복의 치료지침 개발을 위한 체계적 검토와 임상 지침의 개요를 만드는 근거로 활용되어야 할 것이다. 또한, 향후 연구에서는 과학적이고 객관적인 자료선정과 추출과정을 수행하고, 문헌의 질적 향상을 끌어내는 방안으로 본 연구에서 분석된 내용을 참조하여 메타분석 연구의 질적 수준을 향상하기 위한 관심과 노력이 지속되길 기대한다.