• 한국콘텐츠학회논문지
• /
• 제21권3호
• /
• pp.410-418
• /
• 2021

공학교육인증제를 운용하는 공학교육 프로그램에서 프로그램 학습성과는 학생이 졸업하는 시점까지 갖추어야 할 지식, 기술 그리고 태도를 말한다. 일반적으로, 프로그램 학습성과 성취도를 측정하는 평가도구로 캡스톤디자인을 사용한다. 본 논문에서는 프로그램 학습성과 평가에 참여한 수요지향 평가자들의 평가 결과의 신뢰도를 측정하기 위해 급내 상관계수(ICC)를 계산한다. 즉, 같은 평가도구를 이용하여, 여러 명의 평가자가 학습성과를 평가하게 하고, 그 결과를 이용하여 평가자의 ICC를 구한다. ICC는 단체로 수집되거나 단체로 분류된 데이터에 대한 신뢰도의 등급을 측정하는 데 이용된다. ICC가 1에 가까우면 평가자 간 신뢰도가 높다고 판단할 수 있다. 이러한 방법을 지난 2년간의 4년제 대학 컴퓨터공학과 PO 평가 결과에 적용하여 평가도구의 신뢰성을 측정하고 분석하였다. 그리고 이 결과를 이용하여 평가자 간 ICC 측정값을 이용하면, 객관성이 부족한 평가도구를 찾아 보완할 수 있음을 알 수 있었다. 이러한 결과를 바탕으로, PO 평가체계에 대한 개선방안과 PO 수행 지침을 도출한다.

• International Journal of Internet, Broadcasting and Communication
• /
• 제10권3호
• /
• pp.65-72
• /
• 2018

The purpose of this study was to assess the intra-tester and inter-tester reliability and validity of elbow flexion range of motion using a smart phone used by the general public. Thirty-one general people participated in this study. The range of motion in active elbow flexion was measured with a goniometer and smart phone over two times by two observers. The intra-taster and inter-tester reliability were evaluated using the intraclass correlation coefficient(ICC). The validity was measured by Pearson's correlation coefficient. The intra-observer reliability was good in all measured items ICC>0.900. The inter-observer reliability was high with ICC>0.806. All correlation coefficients of android app and goniometer were greater than 0.868 and showed a significant positive correlation (p<0.01). The range of motion measurement with a smart phone showed acceptable reliability. Therefore, using a smartphone to measure the range of motion of the elbow joint could provide convenience and economic benefits.

• 대한감각통합치료학회지
• /
• 제20권2호
• /
• pp.11-21
• /
• 2022

목적 : 본 연구의 목적은 국내에서 개발된 아동감각처리척도(Sensory Processing Scale-Children; SPS-C)의 안정성 확립을 위해 감각처리에 어려움을 가진 만 3~5세 아동의 보호자를 대상으로 검사-재검사 신뢰도와 검사자간 신뢰도를 검증하는 것이다. 연구방법 : 본 연구의 대상자는 감각처리에 어려움을 가진 3~5세 아동 70명이었다. 검사-재검사 신뢰도 검증은 감각처리에 어려움을 가진 아동의 주 양육자 20명이 대상이었다. 초기평가 후 7~14일 내로 재평가를 실시하였고, 두 시점 간 관련성은 피어슨 상관계수를, 일치도는 급내상관계수를 사용하였다. 검사자 간 신뢰도 검증은 감각처리에 어려움을 가진 아동의 주 양육자, 부 양육자 각각 18명을 대상으로 하였다. 두 검사자 간의 일치도 확인은 급내상관계수를 사용하였다. 결과 : 검사-재검사 신뢰도는 피어슨 상관계수 r=.914, 급내상관계수 ICC=.939로 높은 수준의 관련성과 일치도를 나타냈다. 검사자간 신뢰도는 급내상관계수 ICC=.727로 좋은 일치도를 나타냈으나 촉각 영역(ICC=.455)과 고유감각 영역(ICC=.439)은 통계적으로 유의하지 않았지만, 보통의 일치도를 보였다. 결론 : 본 연구를 통해 아동감각처리척도(SPS-C)는 검사-재검사 신뢰도와 검사자간 신뢰도가 검증되어 안정성 있는 평가도구임을 확인하였으며, 추후 임상적 사용을 위한 표준화 연구에 도움을 제공할 수 있을 것이다.

• Journal of Yeungnam Medical Science
• /
• 제35권1호
• /
• pp.63-69
• /
• 2018

Background: Kinovea software that tracking semi-automatically the motion in video screen has been used to study motion-related tasks in several studies. However, the validation of this software in open field test to assess locomotor activity have not been studied yet. Therefore, this study aimed to examine the reliability and validity of this software in analyzing locomotor activities. Methods: Thirty male Institute Cancer Research mice were subjected in this study. The results examined by this software and the classical method were compared. Test-retest reliability and inter-rater reliability were analyzed with Pearson's correlation coefficient and intraclass correlation coefficient (ICC). The validity of this software was analyzed with Pearson's correlation coefficient. Results: This software showed good test-retest reliability (ICC=0.997, 95% confidence interval [CI]=0.975-0.994, p<0.001). This software also showed good inter-rater reliability (ICC=0.987, 95% CI=0.973-0.994, p<0.001). Furthermore, in three analyses for the validity of this software, there were significant correlations between two methods (Pearson's correlation coefficient=0.928-0.972, p<0.001). In addition, this software showed good reliability and validity in the analysis locomotor activity according to time interval. Conclusion: This study showed that this software in analyzing drug-induced locomotor activity has good reliability and validity. This software can be effectively used in animal study using the analysis of locomotor activity.

• 응용통계연구
• /
• 제23권3호
• /
• pp.497-510
• /
• 2010

신뢰도 연구는 한 명의 평가자가 연구 대상을 반복 측정하거나 여러 명의 평가자가 한 대상을 평가할 때 평가자 내, 평가자 간 일치도를 알아보는 연구로 임상 의학 분야에서 빈번하게 쓰이고 있다. 이 같은 신뢰도 연구에서 적절한 표본수, 평가자수 및 반복수를 결정하는 것은 비용과 시간 측면에서 보다 더 효율적인 연구를 할 수 있게 해주는 중요한 요인이다. 본 연구의 목적은 신뢰도 연구에서 측정치가 정량적일 때 쓰이는 신뢰도 계수인 급내상관계수(ICC)와 관련한 기존의 표본수 산출 방법들을 비교분석하여 적절한 표본수나 반복수를 결정할 때 그 지침을 제공하는데 있다. 기존 논문에서 제시한 Walter 등 (1998), Giraudeau와 Mary (2001), Saito 등 (2006) 그리고 Bonett (2002)의 방법들을 비교하였다. 임의효과 일원배치 모형일 때 같은 조건에서 가장 적은 양의 정보를 필요로 하는 방법을 찾는 목적으로 요인을 변화시켜 가면서 표본수, 반복수, 신뢰구간 폭을 비교한다. 비교해 본 결과, 가장 작은 수의 표본을 필요로 하는 방법은 Giraudeau의 방법, 가장 작은 수의 반복을 필요로 하는 방법은 Saito의 방법으로 나타났다. 가장 많은 수의 표본과 반복을 필요로 한 방법은 Bonett의 방법이었다. 정도는 Giraudeau의 방법이 가장 높았고 Walter, Saito, Bonett 순으로 정도가 떨어졌다.

• 응용통계연구
• /
• 제27권1호
• /
• pp.89-102
• /
• 2014

본 연구에서는 질병관리본부에서 매년 조사하고 있는 지역사회 건강조사 자료를 이용하여 서울시 지역을 대상으로 개인의 흡연 여부에 대한 영향 요인을 확인하고 지역간 차이를 모형에 반영시키는 다수준 로지스틱 모형을 이용하여 분석하였다. 다수준 모형에서의 적합한 분석 모형의 수준을 결정하기 위해 ICC(intraclass correlation coefficient)와 프로파일링 분석, 수준별 모형의 예측정확도를 이용하였다. 제안된 모형들의 성능을 평가하기 위해 민감도, 특이도, 정확도를 구하고 ROC curve를 작성하였다. 결과적으로 지역사회 건강조사 자료와 같이 개인과 집단 변수를 동시에 고려할 수 있다면 다양한 다수준 모형의 적용이 가능하며 활용성이 높다는 것을 알 수 있었다.

• 대한물리의학회지
• /
• 제10권2호
• /
• pp.1-7
• /
• 2015

PURPOSE: The aims of this study were to assess the intra-tester and inter-tester reliability and validity of hip range of motion using a smart phone in hip operative patients. METHODS: Twenty-five patients (eight total hip arthroplasty and seventeen femur neck fracture) participated in this study. The range of motions in active and passive hip flexion, abduction and external rotation were measured with a goniometer and smart phone over two times by two observers. The intra-tester and inter-tester reliability were evaluated using the intraclass correlation coefficient (ICC2,1). The validity was measured by Pearson's correlation coefficient RESULTS: The intra-observer reliability was good in all measured items (ICC>0.78). The inter-observer reliability was high with ICC (>0.90). All correlation coefficients of smart phone and goniometer was greater than 0.85 and showed a significant positive correlation (p<0.01). CONCLUSION: The range of motion measurement with a smart phone showed acceptable reliability. Therefore, it could be convenient and have economical benefits to measure the range of motion of the hip joint using a smart phone.

• 대한감각통합치료학회지
• /
• 제14권1호
• /
• pp.1-8
• /
• 2016

목적 : 본 연구의 목적은 주의력결핍 과잉행동장애 아동을 대상으로 놀이의 질적수준을 평가하는 놀이다움 평정척도(Test of Playfulness: ToP)의 신뢰도를 알아보고자 한다. 연구방법 : 연구대상은 G시에 거주하는 초등학교 2학년~3학년의 주의력결핍 과잉행동장애 아동 20명이다. 놀이다움 평정척도의 신뢰도를 알아보기 위하여 측정자간 일치율과 Kappa계수로 제시하였고, 측정자간 신뢰도 분석은 급간내 상관계수(Intraclass Correlation Coefficient: ICC)를 사용하여 제시하였다. 결과 : 놀이다움 평정척도의 각 항목간 측정자간 일치율은 75~95%이었다. 각 항목의 Kappa계수의 범위는 .45~1.00이었다. 각 요소에 대한 측정자간 신뢰도를 급간내 상관계수로 분석한 결과 내적동기는 .96, 통제지각은 .98, 현실감 부재는 .90, 참조체계는 .98, 총점은 .99로 매우 높은 신뢰도를 보였다. 결론 : 연구결과를 통하여 주의력결핍 과잉행동장애 아동의 놀이다움 평정척도의 측정자간 신뢰도는 높은 것으로 나타났다. 이를 근거로 하여 주의력결핍 과잉행동장애 아동의 임상적인 평가의 유용성을 제공하고, 주의력결핍 과잉행동장애 아동의 놀이연구에 대한 기초자료를 제공하고자 한다.

• 대한물리의학회지
• /
• 제10권3호
• /
• pp.47-55
• /
• 2015

PURPOSE: Stoke is one of most common disabling conditions and it is still lacking of measuring patient's functioning level. The aim of the study was to develop Korean language version of stroke impact scale 3.0. METHODS: Korean version of stroke impact scale 3.0 was developed in idiomatic modern Korean with a standard protocol of multiple forward and backward translations and an expert reviews to achieve equivalence with the original English version. Interviews with clinicians who were currently managing patients with stroke were also conducted for language evaluation. A reliability test was performed to make final adaptation using a pre-final version. To assess the reliability of the translated questionnaire, the intraclass correlation coefficient (ICC) was calculated for each domain of the scale. RESULTS: Thirty subjects (16 male, 14 female) aged from 20 to 75 years old participated to review the translated questionnaire. Reliability of each domain of the questionnaire was found to be good in strength (ICC=0.74), ADL (ICC=0.81), mobility (ICC=0.90), hand function (ICC=0.80) and social participation (ICC=0.79), communication (ICC=0.77) with total (ICC=0.76). However, domains of memory and thinking (ICC=0.66), and emotion (ICC=0.27) and showed poor reliability. CONCLUSION: This study indicates that the Korean version of SIS 3.0 was successfully developed. Future study needed for obtaining the validity of the Korean version of SIS 3.0.

• Journal of Trauma and Injury
• /
• 제36권1호
• /
• pp.8-14
• /
• 2023

Purpose: The aim of this study was to assess the agreement between intraoperative transcranial sonography (TCS) and postoperative computed tomography (CT) in patients with traumatic brain injuries. Methods: We performed a retrospective cross-sectional study of 35 patients who underwent TCS during surgery, among those who presented to a regional trauma center and underwent decompressive craniectomy between January 1, 2017 and April 30, 2020. Results: The mean difference between TCS and CT in measuring the midline shift was -1.33 mm (95% confidence interval, -2.00 to -0.65; intraclass correlation coefficient [ICC], 0.96; P<0.001). An excellent correlation was found between TCS and CT in assessing contralateral subdural hematomas (ICC, 0.96; P<0.001) and focal hematoma lesions (ICC, 0.99; P<0.001). A very good correlation between TCS and CT was found for measurements of ventricle width (ICC, 0.92; P<0.001). Conclusions: TCS during surgery is considered an effective diagnostic tool for the detection of intraoperative parenchymal changes in patients with traumatic brain injuries.