• 한국과학교육학회지
• /
• 제40권3호
• /
• pp.253-269
• /
• 2020

본 연구는 2015 개정 과학과 교육과정에 제시된 성취기준에 기초하여 현대물리 개념지식에 대한 예비 물리교사의 이해를 진단할 수 있는 개념 진단지를 개발하고 타당도와 신뢰도를 확인하였다. Messick(1995)의 분류에 따른 5가지 타당도 중 검사내용에 기초한 타당도는 일련의 전문가 내용타당도 검사로 진행하여 확인한 후 24문항의 설문용 현대물리 개념 진단지를 구성하였다. 국내 15개 사범대학의 467명의 예비 물리교사에게 개발된 현대물리 개념 진단지를 적용하여 문항의 신뢰도와 Messick(1995)의 나머지 4가지 타당도를 확인하였다. 실제에 기초한 타당도는 Rasch 모형이 적용된 통계분석방법으로 문항적합도(MNSQ)를 확인한 결과, 23문항이 적합한 수준으로 나타났다. 이중 오타가 발생한 문항을 제외한 22문항에 대하여 내적구조에 기초한 타당도 분석을 하여 개발된 현대물리 개념 진단지의 일차원성을 확인하였다. 일반화에 기초한 타당도 확인 결과에 따르면 개발된 개념 진단지가 집단특성에 대해 독립적이라고 판단된다. 양자역학 수강 여부에 따른 검사점수의 t-검증 결과, 유의미한 차이가 나타났으며, 이를 외적준거에 기초한 타당도 확인으로 활용하였다. Cronbach alpha 및 Rasch 모형 분석에서의 피험자 신뢰도와 문항신뢰도 값은 검사자료가 적합한 수준의 신뢰도를 갖는다는 보여주었다. 또한 고전검사이론에 의한 문항분석 결과, 양호한 문항난이도를 보여주었으며 문항변별도는 두 문항이 준거값을 벗어났으나 다른 나머지 문항들은 양호한 값을 보여주었다. 양류상관계수는 한 문항을 제외한 나머지에 대해서 양호한 값을 나타내었다. KR-20과 Ferguson's delta 값 역시 검사지가 양호하다는 것을 보여주었다. 마지막으로 문항반응 이론에 의한 문항난이도(추정치)를 Rasch 모형 분석으로 추정하였으며, 이 값들은 피험자 집단 특성에 영향을 받지 않을 것으로 판단된다.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제13권2호
• /
• pp.641-653
• /
• 2002

수학 교육평가에서 고사 타당도의 측정은 매우 중요하다. 그것은 평가자가 목적하는 바의 준거에 따라 수험자들의 문제해결력 변별을 위한 고사들 간의 타당도 크기 측정과 또는 고사 문항의 선정, 배치를 통하여 한 고사의 타당도를 높이기 위한 문항별 타당도 계수를 측정 계산하는 것이다. 이 연구에서는 이 두 가지 고사 타당도의 크기 측정법을 이용하여 수학교육 평가 현장에서 직접적으로 적용할 수 있는 고사 타당도의 제고에 유효한 연구 결과를 제시한다.

• Journal of the Korean Data and Information Science Society
• /
• 제25권3호
• /
• pp.567-578
• /
• 2014

이 연구는 Rasch 모형을 적용하여 우리나라 엘리트 선수의 도핑 사고성향 분석을 위한 PEAS의 타당도를 검증하는데 목적이 있다. PEAS (performance enhancement attitude scale)는 Petroczi (2006)이 제시한 선수들의 도핑 (doping)에 대한 사고방식과 성향을 측정하는 척도로 17문항 6점 척도로 구성되어 있다. 국가대표 엘리트 선수 438명을 대상으로 측정하였고, Rasch 모형을 적용하여 타당도를 분석하였다. 우선 Rasch 모형의 기본가정인 일차원성을 검증하기 위해 SPSS 프로그램을 적용하여 주성분분석을 실시하였다. 문항의 적합도 검증과 측정척도 범주의 타당도, 그리고 성별에 따른 차별기능문항을 추출하기 위해 Winsteps 프로그램을 이용하였다. 분석에 모든 유의수준은 .05로 설정하였다. 자료분석 결과는 다음과 같다. 첫째, 총 17문항으로 구성된 PEAS는 일차원성을 만족하는 것으로 나타났다. 둘째, 응답범주 수의 타당도는 6점척도보다 5점척도가 더 적합한 것으로 나타났다. 셋째, 문항의 적합도는 17문항 중 7문항 (문항1, 문항9, 문항10, 문항12, 문항13, 문항14, 문항17)이 통계적으로 적합하지 못한 것으로 나타났다. 넷째, 성별에 따른 차별기능문항 분석 결과 3문항 (문항3, 문항12, 문항13)이 추출되었다. 따라서 이 연구에서 우리나라 엘리트 선수의 도핑 사고성향분석을 위한 PEAS는 9문항 5점척도가 타당한 것으로 구명되었다.

• 한국수학교육학회지시리즈A:수학교육
• /
• 제52권2호
• /
• pp.231-245
• /
• 2013

MTEBI는 미국에서 초등 예비 교사들의 수학 교수 효능감을 측정하는데 자주 이용되는 척도이다. 이 연구의 목적은 MTEBI를 한국의 중등 예비 교사들에게 사용하는 것이 적합한지를 탐색하는 것이었다. 이를 위하여, 미국에 있는 대학원에 다니며 영어와 국어 둘 다 말할 수 있는 박사 학생 두 명이 MTEBI를 브리슬린의 이론대로 국문으로 번역하였고, 그 뒤에 한국에 있는 다수의 수학 교사 교육자들이 번역된 척도를 면밀하게 검토하였다. 한글판 척도를 먼저 작은 표본에서 초벌 실험하였는데, 두 개 문항이 도구의 신뢰도와 타당도를 현저하게 떨어뜨렸다. 본 연구에서는 이 두 개의 유용하지 못한 문항을 대신할 두 개 문항을 더한 23개 문항으로 구성된 척도에 대하여 정규성, 신뢰도, 요인 타당도 등을 658명의 표본에서 검사하였다. 초벌 연구에서 발견된 두 개의 유효하지 않는 문항은 본 연구에서도 역시 그와 같아서, 그 두 문항은 척도에서 제거되었다. 최종적으로 얻어진 21 문항 척도는 한국의 예비 수학 교사들의 수학 교수 효능감을 측정하는데 적합한 척도이다. 앞으로, MTEBI 한글판을 이용하여 한국에서 교사 효능감에 대한 연구가 활발하게 일어나기를 기대한다.

• 한국과학교육학회지
• /
• 제36권1호
• /
• pp.87-101
• /
• 2016

본 연구의 목적은 초등학교에서 개발 시행된 서술형 평가 문항의 내용타당도를 분석하는데 있으며, 이 평가 문항들의 개선을 위한 기초자료를 제시하는데 연구의 의의가 있다. 이를 위하여 여러 초등학교의 서술형 평가문항을 수집하고, 이원분류표의 평가목표와 문항의 평가목표가 요구하는 행동소를 비율차 검정하였다. 분석의 결과 교사가 제작한 서술형 평가문항은 '지식', '이해'를 주로 측정하고 있으며, 행동영역의 내용타당도가 낮음을 확인하였다. 내용타당도가 낮은 결과를 설명하기 위해 9명의 초등 교사를 대상으로 면담을 실시하였다. 면담의 결과 초등학교 과학과 서술형 평가문항의 내용타당도 확보를 저해하는 요인으로 교사내적요인과 교사외적요인을 추출하였다. 교사내적요인에는 바르지 않은 이원분류표의 작성법, 초등학생의 발달 단계 고려, 난이도, 채점의 용이성, 경로의존성 등이 포함되었다. 그리고 교사외적으로는 교육과정 및 학부모 그리고 행정적 요소 등이었다. 이상의 결과를 바탕으로 과학교사의 서술형 평가전문성을 위한 요인들을 제언하였다.

• 한국콘텐츠학회논문지
• /
• 제13권5호
• /
• pp.332-341
• /
• 2013

복잡하고 긴박한 상황이 벌어지고 있는 병원 환경에서 환자에게 안전한 돌봄을 제공하기 위해서는 환자안전관리에 대한 병원 의료종사자들의 관심과 그 중요성에 대한 인식이 전제되어야 한다. 이에 본 연구는 병원에서 근무하는 다양한 의료종사자들을 대상으로 그들이 인식하는 환자안전관리 중요성을 측정하기 위한 도구를 개발하고 타당도와 신뢰도를 검정하고자 시도되었다. 환자안전관리 중요성 인식 측정도구는 기초문항 작성, 내용타당도 검정 및 사전조사의 과정을 통해 21문항이 구성되었다. 그리고 280명의 의료종사자를 대상으로 주성분 분석을 이용한 요인분석과 Cronbach's ${\alpha}$ 계수 산출을 통해 도구의 타당도와 신뢰도를 확인받았다. 전체 도구의 설명력은 60.4%였으며, '환자안전관리에 대한 관심(7문항)', '환자안전관리에 대한 자신감(5문항)', '환자안전관리를 위한 의지(5문항)', 그리고 '환자안전관리에 대한 인지(4문항)'의 4개 요인이 추출되었다. 측정도구 21문항의 신뢰계수는 Cronbach's ${\alpha}$=.86이었으며, 4개 요인의 신뢰계수는 .69-.87의 범위를 나타냈다. 추후 다양한 의료 영역에서 안전한 의료 및 간호 제공을 위해, 본 연구에서 개발되고 타당도와 신뢰도가 입증된 환자안전관리 중요성 인식 측정도구가 유용한 측정 지표로서 활용될 수 있기를 기대해 본다.

• 한국사회복지학
• /
• 제67권2호
• /
• pp.5-31
• /
• 2015

본 연구는 기업사회공헌활동 측정을 위한 척도를 개발하고, 신뢰도와 타당도를 검증하기 위한 것이다. 이를 위해 사회책임에 대한 국제표준인 ISO26000의 지침을 기업사회공헌활동에 적용하여 기초문항을 구성하고, 기업사회공헌 담당자를 대상으로 한 FGI와 개별면접, 자문, 예비조사를 거쳐 32개 예비문항을 선정하였다. 척도의 타당화를 위해 개발된 예비문항을 94개 기업의 사회공헌담당자를 대상으로 평가하였다. 연구결과 탐색적 요인분석을 통해 최종 6개 요인, 27개 문항을 확정하였으며, 확인적 요인분석을 통해 구성타당도와 판별타당도를 확보하였다. 또한, 알파계수방법, 측정의 표준오차, 문항분석 방법을 사용하여 신뢰도를 검증한 결과 안정적인 신뢰도를 보였다. 이러한 결과를 바탕으로 본 연구의 함의를 논하였다.

• 한국노년학
• /
• 제41권1호
• /
• pp.149-168
• /
• 2021

본 연구는 만성질환 노인의 약물이행을 측정하기 위한 도구(Medication Adherence Scale in Elderly, MAS-E)를 개발하고 신뢰도와 타당도를 검증하는 방법론적 연구이다. MAS-E는 혼종모형을 이용한 내용 분석에 의해 개념적 기틀을 구성하고 이를 기반으로 문항을 구성하고 내용타당도를 검증하여 예비문항을 구성하였고 문항을 검토한 후 예비 조사를 실시하여 총 26문항을 최종 확정하여 본 조사를 실시하였다. 설문조사 자료는 일대일 인터뷰를 통해 지역사회에 거주하는 만성질환 노인 345 명으로부터 수집되었다. 도구평가를 위해 신뢰도와 타당도를 검증하고 검증결과를 기반으로 최종 문항을 확정하여 만성질환 노인의 약물이행 도구(MAS-E)를 개발하였다. 타당도 검증에서 문항분석, 요인분석, 총점-요인 간 상관관계를 통해 4개 요인과 18문항이 도출되었으며-약물사용 기억하기(2문항), 약물효과에 대한 기대(5문항), 처방과 지시에 따른 약물사용 실천(8문항), 의료인과의 소통(3문항), 전체 18문항은 분산의 69.7 %를 설명하는 것으로 나타났다. 최종 도구의 총점-요인 간 상관관계는 모두 유의한 상관관계를 나타냈다. 준거타당도 검증 결과, 개발된 도구는 Morisky Medication Adherence Scale (MMAS-8)과 유의하게 양의 상관관계(r = .72, p <.001)를 나타냈다. 신뢰도 검증에서 문항내적 일관성 신뢰도 Cronbach'α는 .906, Guttman 반분검사 신뢰도는 .804, 검사-재검사 신뢰도는 .912로 나타나 개발된 도구는 안정적이고 일관성을 확보하였다. 본 연구를 통해 개발된 MAS-E는 타당도와 신뢰도가 모두 검증된 도구로서 만성질환 노인의 약물이행 정도를 평가하고 약물이행 개선을 위한 중재연구의 효과 평가에 활용될 수 있을 것이다

• 한국콘텐츠학회논문지
• /
• 제13권5호
• /
• pp.354-365
• /
• 2013

본 연구는 재가노인의 낙상환경위험평가 도구를 개발하고, 신뢰도와 타당도를 검정하는 방법론적 연구이다. 예비문항은 20인의 관련 전문가에 의한 CVI(내용타당도 지수)를 사용한 내용타당도 검정을 실시하여 최종 52문항을 선정하였다. 최종도구의 타당도 및 신뢰도 검정을 위해 65세 이상 재가노인 299명에게 자료수집을 실시하여 분석하였다. 그 결과 조사자간 신뢰도는 1개 문항을 제외한 51개 문항에서 모두 kappa 값이 0.80 이상으로 나타나 신뢰도가 인정되었고, 재조사방법을 통하여 나타난 일치율은 45개 문항에서 모두 80.0% 이상으로 나타났다. 구성타당도도 낙상군과 비낙상군간에 낙상환경위험평가 점수가 통계적으로 유의한 차이를 나타내 입증되었다(t=3.50, p=.001). 본 도구는 타당도와 신뢰도가 검증되었고, 낙상예방을 위한 더 안전한 환경의 개발과 관련된 추후연구에 기여할 것이다.

• 한국아동복지학
• /
• 제36호
• /
• pp.231-259
• /
• 2011

본 연구는 어린이집을 이용하는 부모의 이용만족도를 측정하기 위한 척도 개발을 위한 것으로, 신뢰도와 타당도가 검증된 김용석(2009)의 사회복지서비스 이용자 만족도 척도(Client Satisfaction Scale: CSS)가 보육서비스에 적용 가능한지 평가하는 것을 목적으로 하였다. 이를 위해 CSS 문항을 보육서비스의 특성에 맞게 수정한 21개의 문항, 2개 차원으로 이루어진 어린이집 이용만족도 예비척도를 구성하고, 만 1세부터 만 5세까지의 자녀가 어린이집을 이용하는 학부모 652명을 대상으로 조사를 실시하였다. 구인타당도 검증을 위한 요인분석 결과 2개 요인이 수렴되었으나, 각 요인에 해당하는 문항들은 CSS와 차이가 있었다. 2차원으로 구성된 본 척도의 동시타당도와 내적타당도 검증 결과 적절한 수준이었으며, 문항변별도 검증 결과 또한 모든 문항의 변별력 높은 것으로 나타났다. 이상의 결과를 통해 볼 때 어린이집 이용만족도 척도는 보육서비스를 이용하는 부모들에게 적용될 수 있는 타당성 있는 도구로 판단되는바, 추후 어린이집 이용만족도를 측정하는데 활용될 수 있을 것이다.