• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제16권
• /
• pp.201-215
• /
• 2003

이 연구에서는 창의적인 문제해결능력을 검사하는 도구로 널리 알려진 개방형 문항 5 문제를 수정 또는 번역하여 중학교 2학년 학생들에게 적용하고 그 결과를 분석하였다. 검사도구에 대한 양호도 분석 결과는 다음과 같다. 첫째, 문항 내적 일관성 신뢰도(Cronbach ${\alpha}$)의 계수는 0.8이다. 둘째, 문항반응이론에 근거한 문항의 적합도 지수는 모두 1.2미만으로서 분석모형에 적합한 문항이라고 볼 수 있다. 또한, 문항간의 난이도의 차이는 로짓트 점수가 0.6을 넘지 않은 범위에서 골고루 분포되어 있다. 셋째, 문항 신뢰도 지수가 모두 0.80보다 높은 것으로 나타나 사용된 문항들은 서로 잘 분리되어 창의적 문제해결력을 추정하고 변별하는데 무리가 없다. 학생들의 반응에 대한 분석 결과는 다음과 같다. 문항1에서 곡선을 이용한 반응은 영재학생들에서만 발견할 수 있었다. 문항2에 대한 각 반응의 독창성 점수는 모두 0이다 이것은 문항2가 널리 알려진 문제에 기인한 것으로 해석된다. 문항3은 영재학생들이 더 많은 반응을 보인 것으로 모든 반응이 독창성 점수를 부여받았다. 문항4에 대하여 일반학생들은 거의 반응을 하지 못하였다. 문항5는 대부분의 학생이 반응을 하였으며 반응의 종류도 가장 다양하였다.

• 과학교육연구지
• /
• 제47권2호
• /
• pp.211-224
• /
• 2023

본 연구의 목적은 예시 자료를 활용하여 자동문항생성을 기반으로 생성된 평가도구의 신뢰도를 산출하는 방안을 제시하는 데 있다. 이를 위해 학생들마다 다른 문항에 응답하는 설계와 평가 점수에 다중 오차요인을 반영할 수 있는 다변량일반화가능도이론을 예시 자료에 적용하여 분석하였다. G-연구분석 결과, 대부분의 설계에서 잔차 효과 다음으로 고전검사이론의 진점수에 해당하는 학생 효과가 크게 나타났다. 또한 문항 내용 영역을 고정한 설계에서 학생들의 상대적 순위는 문항 유형이나 문항에 따라 변하지 않았으며, 문항 유형을 고정한 설계에서 내용 영역에 따라 난이도는 거의 변화가 없는 것으로 나타났다. D-연구 분석 결과, 원자료는 적정수준 이상의 신뢰도를 확보하였으며, 수와 연산, 기하, 확률 및 통계 영역의 문항 수를 줄이거나 문자와 식과 함수 영역의 가중치를 높게 반영함으로써 원자료보다 높은 신뢰도를 산출할 수 있는 것으로 나타났다. 본 연구에서 제시한 효율적인 측정 조건은 예시 평가 자료에 제한되지만 본 연구에서 활용한 방법은 자동문항생성 기반의 다양한 평가 상황에서 측정학적 특성을 바탕으로 신뢰도를 산출하고, 효율적인 측정 조건을 탐색하는 데 적용 가능하다.

• 한국산학기술학회논문지
• /
• 제17권12호
• /
• pp.62-70
• /
• 2016

이 연구는 한국형 아유르베다 체질을 측정할 수 있는 도구를 개발하기 위한 기초 작업으로 검사지의 신뢰도와 타당성을 검증하는 것이다. 각 대상자는 63문항에 대하여 자기-기입식 설문지를 작성하였다. 아유르베다 체질을 7체질로 개념화하고 우선 271명을 대상으로 실시한 체질 검사의 신체 특성인 41문항에 대한 내적 일관성 신뢰도(Cronbach's ${\alpha}$)는 0.757로, 심리에 대한 질문 22문항에 대한 내적 일관성 신뢰도는 0.616으로, 그리고 전체 63문항의 내적 일관성 신뢰도는 0.840으로 유의미한 수준이었다. 신체에 대한 질문 4번과 심리 9번 문항의 경우 문항 총점과의 상관(item-total correlation)이 음의 값으로 응답의 일관성(신뢰도)이 떨어지는 것으로 나타났다. 그리고 순수 바따, 삣따, 까파 유형 대상으로 신체 4번, 심리 9번을 삭제 한 나머지 61문항의 신뢰도는 0.864로 나타났다. 위의 결과는 복합체질을 제외한 순수체질만을 대상으로 했기 때문에, 응답의 일관성을 나타내는 내적 일관성 신뢰도가 더 높게 나타났다. 그리고 타당도에서는 아유르베다 전문가의 판단과 검사지 응답의 문항점수 간의 일치도 카파(kappa) 계수는 0.619로 유의미한 수준이다. 따라서 본 연구는 한국형 아유르베다 체질 검사지의 개발을 위한 기초자료가 될 것이다.

• 컴퓨터교육학회논문지
• /
• 제17권2호
• /
• pp.39-51
• /
• 2014

서답형 문항이 포함된 대규모 평가에서 학생들의 답안이 어떻게 채점자들에게 분배되고 어떠한 체계적인 채점 과정을 거쳐야 하는 지에 대한 채점의 효율성은 전반적인 평가의 성공에 중요한 사안이다. 서답형 문항 채점에서 채점자 신뢰도를 확보하기 위해 채점자의 채점 결과가 얼마나 일관성이 있으며, 또한 채점자 간의 채점 결과 또한 서로 일관성을 유지해야하는 것이 중요하다. 이 연구의 목적은 지필 평가로 시행된 서답형 문항 채점을 위한 온라인 채점 시스템을 설계하고 개발한 후, 이를 시행한 결과를 기반으로 온라인 채점 시스템에 대한 신뢰도를 확인하고자 하였다. 이러한 서답형 문항 온라인 채점은 채점자들의 채점 과정에 대한 정보로, 기존의 전통적인 채점 방식과의 비교와 함께 채점자 내 및 채점자 간의 신뢰도를 제공하고 있다. 그 결과로 온라인 채점 시스템이 신뢰롭고 타당한 서답형 문항 채점 결과를 얻는데 효과적이었다는 것을 알 수 있었다.

• 한국콘텐츠학회논문지
• /
• 제13권5호
• /
• pp.332-341
• /
• 2013

복잡하고 긴박한 상황이 벌어지고 있는 병원 환경에서 환자에게 안전한 돌봄을 제공하기 위해서는 환자안전관리에 대한 병원 의료종사자들의 관심과 그 중요성에 대한 인식이 전제되어야 한다. 이에 본 연구는 병원에서 근무하는 다양한 의료종사자들을 대상으로 그들이 인식하는 환자안전관리 중요성을 측정하기 위한 도구를 개발하고 타당도와 신뢰도를 검정하고자 시도되었다. 환자안전관리 중요성 인식 측정도구는 기초문항 작성, 내용타당도 검정 및 사전조사의 과정을 통해 21문항이 구성되었다. 그리고 280명의 의료종사자를 대상으로 주성분 분석을 이용한 요인분석과 Cronbach's ${\alpha}$ 계수 산출을 통해 도구의 타당도와 신뢰도를 확인받았다. 전체 도구의 설명력은 60.4%였으며, '환자안전관리에 대한 관심(7문항)', '환자안전관리에 대한 자신감(5문항)', '환자안전관리를 위한 의지(5문항)', 그리고 '환자안전관리에 대한 인지(4문항)'의 4개 요인이 추출되었다. 측정도구 21문항의 신뢰계수는 Cronbach's ${\alpha}$=.86이었으며, 4개 요인의 신뢰계수는 .69-.87의 범위를 나타냈다. 추후 다양한 의료 영역에서 안전한 의료 및 간호 제공을 위해, 본 연구에서 개발되고 타당도와 신뢰도가 입증된 환자안전관리 중요성 인식 측정도구가 유용한 측정 지표로서 활용될 수 있기를 기대해 본다.

• 한국지구과학회지
• /
• 제31권1호
• /
• pp.95-105
• /
• 2010

본 연구의 목적은 집단논리적사고력검사의 이용 목적에 따라 일반화가능도이론을 적용하여 문항과 피험자만을 고려한 단일국면의 오차원, 그리고 문항과 피험자, 그리고 영역을 고려한 다국면의 오차원을 분석하는 데 있다. 연구는 지방 소재 초 중 고등학생 총 1016명을 대상으로 이루어졌으며, 21문항의 GALT 완본을 40분 동안 실시하고, 이 중 축소본에 해당하는 12문항을 별도로 추출하여 일반화가능도이론을 이용한 신뢰도 분석에 이용하였다. 자료의 분석을 위해 일반화가능도이론을 적용하여 $p{\times}i$설계와 $p{\times}(i:h)$설계로 나누어 G 연구와 D 연구를 실시하였다. 분석결과는 다음과 같다. 첫째, 완본과 축소본을 $p{\times}I$설계로 D 연구를 수행한 결과 완본의 경우 21문항을 평가했을 때 0.87로 적정 수준의 일반화가능도 계수인 0.80을 상회하였으며, 13문항에서도 적정 수준의 일반화가능도 계수에 도달하였다. 축소본의 경우 12문항을 평가했을 때 0.77로 적정 수준의 일반화가능도 계수에 미치지 못하였으며, 최소 15문항 이상에서 신뢰도가 적정 수준에 도달하였다. 둘째, 축소본을 $p{\times}(I:H)$설계로 D 연구를 수행한 결과 6영역에 대해 영역별로 2문항씩 구성될 경우 0.71로 적정 수준의 일반화가능도계수인 0.80 보다 낮게 측정되었으며, 최소 영역별 5문항 이상에서 신뢰도가 적정 수준에 도달하였다.

• 한국노년학
• /
• 제30권4호
• /
• pp.1095-1106
• /
• 2010

본 연구의 목적은 복부비만이 있는 노인의 자가 건강 평가를 위한 건강수준 측정 도구를 개발하는 것이다. 연구대상은 노인 총 255명 (예비조사 56명, 본 조사 199명)이며, 건강수준 측정 도구 설문지의 타당도와 신뢰도를 검증하였다. 조사기간은 2009년 6월에서 8월까지 실시되었고, 수집된 자료는 SPSS 12.0 프로그램을 이용하여 평균, 표준편차, 내적일관성 신뢰도 분석, 요인분석으로 분석하였다. 연구결과로는 첫째, 경험적 인터뷰 자료와 이론적 자료에 의한 개념으로 구성된 문항을 간호학과 교수 4인, 예방의학과 교수 1인에게 내용타당도를 검증받았다. 둘째, 요인분석 결과 사회적 수준(사회참여 6문항, 신체활동 2문항), 신체적 수준(질병인식 4문항, 신체지표 2문항), 심리적 수준(정서적 지지 2문항)으로 3개 영역 5개 하위요인으로 추출되었다. 셋째, 신뢰도 검사 결과 전체 문항에 대한 Cronbach's α는 .868로 높은 신뢰도를 나타냈고, 요인별 문항의 내적일관성 신뢰도 범위는 .806에서 .577이었다. 따라서 본 연구에서의 건강수준 도구는 한국 복부비만 노인의 특성을 반영하기 위해 개념구성에서 이론적, 실증적 자료를 기반으로 구성하여 예비조사, 본조사를 통해 타당도와 신뢰도를 검증하였기에 복부비만이 있는 노인의 건강수준을 측정할 수 있는 적절한 도구로 평가할 수 있다.

• 한국가정과교육학회지
• /
• 제29권1호
• /
• pp.35-56
• /
• 2017

본 연구의 목적은 가정과교사를 대상으로 가정교과교육학 지식의 구성요인을 확인하여 척도를 개발한 후 개발된 측정도구의 신뢰도와 타당도를 검증하는 것이다. 이러한 연구 목적을 달성하기 위해 문헌 연구를 기초로 문항을 구성한 후 현직 가정과교사를 통해 내용타당도를 검증하였으며, 예비조사는 우편조사를 통하여 137개 응답을, 본 조사는 온라인 조사방법을 이용하여 220개 응답을 수집 분석하였다. 연구결과는 다음과 같다. 첫째, 가정교과교육학 지식을 반영하는 29문항을 개발하고 현직 가정과교사와 함께 각 문항이 측정하고자 하는 목적에 타당한지 내용타당도를 검토한 후 7문항이 제거되어 가정교과관 지식(6문항), 가정과교육과정 지식(9문항), 가정과수업전략 지식(7문항) 등 3개 영역의 22개 문항을 확정하였다. 둘째, 내용타당도를 거친 22문항들은 예비조사에서 신뢰도 검사를 한 결과 가정교과교육학 지식 전체와 각 요인의 Cronbach ${\alpha}$는 모두 기준치 0.7 이상, 문항간 총간 상관계수도 기준치 0.5 이상으로 높은 신뢰도를 보였다. 셋째, 본 조사에서는 신뢰도와 구인 집중 판별 준거타당도를 검사하였다. 신뢰도검사를 한 결과 Cronbach ${\alpha}$와 문항간 총간 상관계수 모두 기준치 이상으로 나와 높은 신뢰도를 보였다. 확인적 요인분석을 통해 구인타당도를 검증하기 위해 적합도 지수를 알아본 결과(CFI=.92, RMSEA=.06, SRMR=.05), 세 요인으로 구성된 측정도구가 가정교과교육학 지식을 잘 반영하고 있음을 확인하였다. 집중 판별 타당도 검증을 위해 각 구성요인의 문항들이 해당 요인에 의해 잘 설명되는지를 검사한 결과, 세 잠재요인 모두 수용가능한 신뢰도 수준과 변별력을 보였다. 준거타당도는 교사효능감과 측정도구의 상관계수가 0.7로 나타났고, 단순회귀분석을 통해 가정교과교육학 지식이 높을수록 교사효능감이 높은 것으로 나타났다. 이와 같이 신뢰도와 타당도 검사를 통해 3개 요인 22개 문항으로 이루어진 가정교과교육 지식을 측정하는 도구가 검증되었다.

• 한국콘텐츠학회논문지
• /
• 제13권5호
• /
• pp.354-365
• /
• 2013

본 연구는 재가노인의 낙상환경위험평가 도구를 개발하고, 신뢰도와 타당도를 검정하는 방법론적 연구이다. 예비문항은 20인의 관련 전문가에 의한 CVI(내용타당도 지수)를 사용한 내용타당도 검정을 실시하여 최종 52문항을 선정하였다. 최종도구의 타당도 및 신뢰도 검정을 위해 65세 이상 재가노인 299명에게 자료수집을 실시하여 분석하였다. 그 결과 조사자간 신뢰도는 1개 문항을 제외한 51개 문항에서 모두 kappa 값이 0.80 이상으로 나타나 신뢰도가 인정되었고, 재조사방법을 통하여 나타난 일치율은 45개 문항에서 모두 80.0% 이상으로 나타났다. 구성타당도도 낙상군과 비낙상군간에 낙상환경위험평가 점수가 통계적으로 유의한 차이를 나타내 입증되었다(t=3.50, p=.001). 본 도구는 타당도와 신뢰도가 검증되었고, 낙상예방을 위한 더 안전한 환경의 개발과 관련된 추후연구에 기여할 것이다.

• 한국사회복지학
• /
• 제67권2호
• /
• pp.5-31
• /
• 2015

본 연구는 기업사회공헌활동 측정을 위한 척도를 개발하고, 신뢰도와 타당도를 검증하기 위한 것이다. 이를 위해 사회책임에 대한 국제표준인 ISO26000의 지침을 기업사회공헌활동에 적용하여 기초문항을 구성하고, 기업사회공헌 담당자를 대상으로 한 FGI와 개별면접, 자문, 예비조사를 거쳐 32개 예비문항을 선정하였다. 척도의 타당화를 위해 개발된 예비문항을 94개 기업의 사회공헌담당자를 대상으로 평가하였다. 연구결과 탐색적 요인분석을 통해 최종 6개 요인, 27개 문항을 확정하였으며, 확인적 요인분석을 통해 구성타당도와 판별타당도를 확보하였다. 또한, 알파계수방법, 측정의 표준오차, 문항분석 방법을 사용하여 신뢰도를 검증한 결과 안정적인 신뢰도를 보였다. 이러한 결과를 바탕으로 본 연구의 함의를 논하였다.