• 한국산학기술학회논문지
• /
• 제17권5호
• /
• pp.316-324
• /
• 2016

본 연구는 청소년기 부모 양육태도 불일치 측정을 위한 신뢰도 높은 도구를 찾기 위해 기존 연구동향을 검토하고, 신뢰도와 타당성에 많은 영향을 미치는 요인을 밝혀내어, 안정적인 측정항목을 구성하고자 하였다. 그로인한 본 연구는 선행연구에서 신뢰도 및 타당성이 높은 항목(애정 6문항, 돌봄 3문항, 관심 9문항, 요구 7문항, 방임 5문항, 학대 7문항 등 총 37개 문항)을 도출하여 전국에 있는 국공립, 사립에 재학 중인 고등학교 1~3학년을 대상으로 설문 수집을 실시하였고, 응답한 1,020명을 대상으로 통계분석을 진행하였다. 분석결과, 아버지(부)와 어머니(모) 등 각각 총 37개의 측정항목에서 요인의 적재 값(0.6 이하)이 낮게 나타난 문항을 1차적으로 제거하고, 이후 아버지(부)와 어머니(모) 각 항목들 중 동일하게 사용가능한 문항만을 추출하여 탐색적 요인분석을 실시하였다. 이에 관심 5문항, 요구 1문항, 방임 1문항, 학대 1문항 등 8문항이 삭제되어 최종 29문항이 측정도구로 선정되었다. 그리고 Cronbach's Alpha 계수를 이용하여 신뢰도 분석을 실시한 결과, 아버지(부)와 어머니(모)의 신뢰도 값은 최소 .857에서 최대 .931로 나타나 신뢰도가 매우 높게 나타났다. 따라서 본 연구에서 사용된 부모 양육태도 불일치의 검사 도구는 신뢰도와 타당성이 모두 확보된 도구임이 규명되었다.

• Journal of the Korean Academy of Child and Adolescent Psychiatry
• /
• 제9권1호
• /
• pp.91-97
• /
• 1998

저자들이 번안한 한국판 청소년용 식이태도 검사(Eating Attitude Test for Korean Adolescents, EAT-26KA)의 신뢰도 조사와 요인분석을 통한 개개의 문항에 대한 평가를 하고자 하였다. 경기도 소재의 1개 중 고등학교 학생 1,160명을 대상으로 하여 방문 조사 2주전 양호교사와 담임교사를 통해 설문지를 배포하고 1996년 6월 저자들이 직접 현장 방문을 하여 신체계측과 누락된 문항을 보강하는 검사를 하고 1개월후 이중 114명을 무작위 선정하여 동일한 방법으로 재검사를 시행하였다. 평가도구인 EAT-26KA는 영문판 EAT-26의 전 문항을 사용하였고 저자들이 대상연령의 지적 능력에 맞는 어휘를 사용하여 번역하였다. 내적 일관성 혹은 내적 합치도는 우수한 것으로 나타났다(Cronbach’s ${\alpha} =.83) 검사-재검사 신뢰도는 서구의 조사결과에 비해선 약간 낮게 나타났으나 통계적으로 유의한 수준이었고(r=.63 p<.01) 문항간 검사-재검사 신뢰도에선 두 개의 문항이 부적 상관(negative correlation)을 보였고 다섯 문항에서 문항간 상관이 낮게 나타났다(p>.05). 세 가지 요인으로 분류하여 요인분석을 시행한 결과 세 요인은 전체요인의 34.0%를 설명하였고 한 문항은 어느 요인으로도 분류되지 않았다. 각 요인으로 분류되는 문항구성도 영문판에 비해서 많은 차이를 보였다. 저자들이 번안한 EAT-26KA는 일반 청소년 인구(non-refered population)을 통한 신뢰도 검사 결과 우수한 내적 신뢰도를 갖추고 있고 통계적 유의성을 보이는 검사-재검사 신뢰도를 보여 조사도구로서 유용한 것으로 판단된다. 요인분석의 결과 어느 요인에도 속하지 않는 문항이 있었고 이 문항의 수정 또는 누락이 필요한 것으로 생각되며, 영문판 EAT-26과 비교해볼 때, EAT-26KA의 요인구조는 상이하게 나타나 실제검사를 통해 얻어진 결과의 해석은 서구의 경우와 차이가 있을 것이 예상되었고 구조화된 면담을 통해 타당도의 확립이 필요한 것으로 생각되었다.

• 한국컴퓨터교육학회 학술대회
• /
• 한국컴퓨터교육학회 2018년도 하계학술대회
• /
• pp.103-106
• /
• 2018

2015 개정 교육과정에서 컴퓨팅 사고력의 함양을 강조하고 있지만 컴퓨팅 사고력을 평가하기 위한 도구에 대한 개발이 미흡하다. 비버 챌린지 문항은 전 세계 60여개국의 정보 교육 전문가 집단이 약 1년 동안 공동 출제 및 검토를 통해 개발되는 문항이므로 문항의 타당도가 높다고 볼 수 있다. 다만 초기의 개발 목적이 평가도구로써 사용하기 위함이 아니었기 때문에 과연 컴퓨팅 사고력의 평가 도구로 사용할 수 있는 신뢰도를 가진 문항인가를 검증하기 위해 본 연구에서는 비버 챌린지 2017 그룹 III의 문항을 대상으로 문항내 적일관성신뢰도를 통계적으로 검증하였으며 그 결과 Cronbach ${\alpha}=.784$로 신뢰도가 높게 나타났다.

• 컴퓨터교육학회논문지
• /
• 제9권6호
• /
• pp.11-18
• /
• 2006

본 연구는 2005년, 2006년 대학수학능력시험 직업탐구영역의 "컴퓨터 일반" 문항을 질적 연구와 양적연구로 분석하였다. 질적 연구로 내용 타당도 검사를 실시하고, 양적연구로 2-모수 문항 반응 모형에 근거한 베이지안(Bayesian) 1.0을 이용하여 문항의 난이도 및 변별도를 측정하였으며 고전검사이론 프로그램인 테스트안(Testan) 1.0을 이용하여 문항의 신뢰도 및 오답지를 분석하였다. "컴퓨터 일반" 영역의 문항들을 분석하여 문항의 질을 높이고 난이도의 정확한 예측을 하여 보다 신뢰도와 변별력 있는 문항을 개발하기 위한 자료로 제시하고자 한다.

• 한국수학교육학회지시리즈A:수학교육
• /
• 제52권2호
• /
• pp.231-245
• /
• 2013

MTEBI는 미국에서 초등 예비 교사들의 수학 교수 효능감을 측정하는데 자주 이용되는 척도이다. 이 연구의 목적은 MTEBI를 한국의 중등 예비 교사들에게 사용하는 것이 적합한지를 탐색하는 것이었다. 이를 위하여, 미국에 있는 대학원에 다니며 영어와 국어 둘 다 말할 수 있는 박사 학생 두 명이 MTEBI를 브리슬린의 이론대로 국문으로 번역하였고, 그 뒤에 한국에 있는 다수의 수학 교사 교육자들이 번역된 척도를 면밀하게 검토하였다. 한글판 척도를 먼저 작은 표본에서 초벌 실험하였는데, 두 개 문항이 도구의 신뢰도와 타당도를 현저하게 떨어뜨렸다. 본 연구에서는 이 두 개의 유용하지 못한 문항을 대신할 두 개 문항을 더한 23개 문항으로 구성된 척도에 대하여 정규성, 신뢰도, 요인 타당도 등을 658명의 표본에서 검사하였다. 초벌 연구에서 발견된 두 개의 유효하지 않는 문항은 본 연구에서도 역시 그와 같아서, 그 두 문항은 척도에서 제거되었다. 최종적으로 얻어진 21 문항 척도는 한국의 예비 수학 교사들의 수학 교수 효능감을 측정하는데 적합한 척도이다. 앞으로, MTEBI 한글판을 이용하여 한국에서 교사 효능감에 대한 연구가 활발하게 일어나기를 기대한다.

• 한국노년학
• /
• 제41권1호
• /
• pp.149-168
• /
• 2021

본 연구는 만성질환 노인의 약물이행을 측정하기 위한 도구(Medication Adherence Scale in Elderly, MAS-E)를 개발하고 신뢰도와 타당도를 검증하는 방법론적 연구이다. MAS-E는 혼종모형을 이용한 내용 분석에 의해 개념적 기틀을 구성하고 이를 기반으로 문항을 구성하고 내용타당도를 검증하여 예비문항을 구성하였고 문항을 검토한 후 예비 조사를 실시하여 총 26문항을 최종 확정하여 본 조사를 실시하였다. 설문조사 자료는 일대일 인터뷰를 통해 지역사회에 거주하는 만성질환 노인 345 명으로부터 수집되었다. 도구평가를 위해 신뢰도와 타당도를 검증하고 검증결과를 기반으로 최종 문항을 확정하여 만성질환 노인의 약물이행 도구(MAS-E)를 개발하였다. 타당도 검증에서 문항분석, 요인분석, 총점-요인 간 상관관계를 통해 4개 요인과 18문항이 도출되었으며-약물사용 기억하기(2문항), 약물효과에 대한 기대(5문항), 처방과 지시에 따른 약물사용 실천(8문항), 의료인과의 소통(3문항), 전체 18문항은 분산의 69.7 %를 설명하는 것으로 나타났다. 최종 도구의 총점-요인 간 상관관계는 모두 유의한 상관관계를 나타냈다. 준거타당도 검증 결과, 개발된 도구는 Morisky Medication Adherence Scale (MMAS-8)과 유의하게 양의 상관관계(r = .72, p <.001)를 나타냈다. 신뢰도 검증에서 문항내적 일관성 신뢰도 Cronbach'α는 .906, Guttman 반분검사 신뢰도는 .804, 검사-재검사 신뢰도는 .912로 나타나 개발된 도구는 안정적이고 일관성을 확보하였다. 본 연구를 통해 개발된 MAS-E는 타당도와 신뢰도가 모두 검증된 도구로서 만성질환 노인의 약물이행 정도를 평가하고 약물이행 개선을 위한 중재연구의 효과 평가에 활용될 수 있을 것이다

• 대한지구과학교육학회지
• /
• 제9권3호
• /
• pp.276-291
• /
• 2016

본 연구는 학생들의 창의적 공학문제해결 성향을 측정할 수 있는 신뢰성과 타당성이 검증된 검사도구를 개발하는 것이다. 문헌 분석 및 전문가 협의 과정을 통해 예비 검사 도구 구성 요인을 동기, 환경, 성격, 공학 설계, 공학적 사고 습관, 공학과 공학자, 소통 및 협업 능력 7요인을 추출하였고, 구성 요인과 각 문항들의 조작적 정의 사이의 관련성을 바탕으로 구성 요인별 10개 내외의 예비 문항을 제작하였다. 7요인 40문항의 예비 검사 문항에 대해 전체 문항과 요인별로 문항 신뢰도 검사 및 세 차례에 걸친 탐색적 요인 분석을 실시하여 동기 3문항, 공학 설계 6문항, 공학적 사고 습관 9문항, 공학과 공학자 4문항, 소통과 협업능력 6문항으로 구성된 5요인 총 28문항의 창의적 공학문제해결 성향검사 도구를 개발하였다. 각 요인별 신뢰도는 .733에서 .892 사이의 값을 보였고 공학적 사고습관 요인의 신뢰도(${\alpha}=.892$)가 가장 높고, 동기 요인의 신뢰도(${\alpha}=.733$)가 가장 낮았다. 전체 문항의 신뢰도는 .906으로 검사 도구의 높은 신뢰도를 보였다. 이를 통해 3차에 걸친 요인 분석 결과 각 문항들의 요인에 대한 범주화가 잘 이루어졌고 내용의 구조적 타당도가 향상되어 신뢰 할 수 있는 검사 도구가 개발된 것으로 볼 수 있다. 본 연구 결과는 학생들의 창의성과 문제해결 성향을 동시에 진단할 수 있는 검사 도구로 활용될 수 있을 것이다.

• 한국과학교육학회지
• /
• 제40권3호
• /
• pp.253-269
• /
• 2020

본 연구는 2015 개정 과학과 교육과정에 제시된 성취기준에 기초하여 현대물리 개념지식에 대한 예비 물리교사의 이해를 진단할 수 있는 개념 진단지를 개발하고 타당도와 신뢰도를 확인하였다. Messick(1995)의 분류에 따른 5가지 타당도 중 검사내용에 기초한 타당도는 일련의 전문가 내용타당도 검사로 진행하여 확인한 후 24문항의 설문용 현대물리 개념 진단지를 구성하였다. 국내 15개 사범대학의 467명의 예비 물리교사에게 개발된 현대물리 개념 진단지를 적용하여 문항의 신뢰도와 Messick(1995)의 나머지 4가지 타당도를 확인하였다. 실제에 기초한 타당도는 Rasch 모형이 적용된 통계분석방법으로 문항적합도(MNSQ)를 확인한 결과, 23문항이 적합한 수준으로 나타났다. 이중 오타가 발생한 문항을 제외한 22문항에 대하여 내적구조에 기초한 타당도 분석을 하여 개발된 현대물리 개념 진단지의 일차원성을 확인하였다. 일반화에 기초한 타당도 확인 결과에 따르면 개발된 개념 진단지가 집단특성에 대해 독립적이라고 판단된다. 양자역학 수강 여부에 따른 검사점수의 t-검증 결과, 유의미한 차이가 나타났으며, 이를 외적준거에 기초한 타당도 확인으로 활용하였다. Cronbach alpha 및 Rasch 모형 분석에서의 피험자 신뢰도와 문항신뢰도 값은 검사자료가 적합한 수준의 신뢰도를 갖는다는 보여주었다. 또한 고전검사이론에 의한 문항분석 결과, 양호한 문항난이도를 보여주었으며 문항변별도는 두 문항이 준거값을 벗어났으나 다른 나머지 문항들은 양호한 값을 보여주었다. 양류상관계수는 한 문항을 제외한 나머지에 대해서 양호한 값을 나타내었다. KR-20과 Ferguson's delta 값 역시 검사지가 양호하다는 것을 보여주었다. 마지막으로 문항반응 이론에 의한 문항난이도(추정치)를 Rasch 모형 분석으로 추정하였으며, 이 값들은 피험자 집단 특성에 영향을 받지 않을 것으로 판단된다.

• Journal of the Korean Data and Information Science Society
• /
• 제22권3호
• /
• pp.487-494
• /
• 2011

본 연구는 글로벌 스포츠리더 양성의 기반이라 할 수 있는 스포츠영재의 심리사회특성을 알아보는데 있어 기본적인 요인인 자아존중감의 문항적합도를 파악하기 위한 목적으로 이루어졌다. 이를 위해 한국체육대학교 2010년 체육영재양성사업에 참여하여 체육영재로 선발된 아동 50명에 대해 설문을 실시하고 통계분석 하였다. 조사도구로는 Rosenberg (1965)의 자아존중감 척도를 사용하였으며, 총 8문항에 대해 4점 리커트 척도로 응답하도록 하였다. 점수가 높을수록 자아존중감 정도가 높음을 의미하며, 본 연구에서 신뢰도인 크론바 알파는 .785였다. SPSS 18.0을 사용하여 빈도분석, 기술통계, 신뢰도 분석을 수행하였다. 문항적합도를 산출하기 위하여 WINSTEPS 3.70 (Linacre, 2010)을 사용하여 피험자신뢰도, 문항신뢰도, 척도수의 적절성, 문항적합도와 문항난이도, 척도의 난이도에 따른 적절성을 산출하였다. 연구목적에 따른 통계분석 결과 첫째, 자아존중감 피험자 신뢰도는 내-외적합도 1.01~1.03 문항신뢰도는 내-외적합도 1.01~1.01로 적합하였다. 둘째, 척도 범주수의 적절성에서는 단계지수로 판단한 결과 4점척도가 적합하였다. 셋째, 문항적합도와 문항난이도분석에서는 문항 2, 7, 8번 3문항에서 문제점이 발견되었다. 넷째, 척도의 적절성에서는 스포츠영재의 능력분포와 척도자체의 난이도면에서 판단할 때, 2, 7, 8번 문항은 적절하지 못한 것으로 확인되었다.

• Communications for Statistical Applications and Methods
• /
• 제1권1호
• /
• pp.206-214
• /
• 1994

본 논문은 1994학년도 부터 부활된 대학별고사 실시에 따른 문항분석, 표준 점수제 그리고 검사동등화의 문제점을 지적하기 위하여 교육측정이론의 기본 개념을 소개하는데 있다. 대학별고사의 타당성과 신뢰성을 보장받기 위하여는 양질의 문항제작이 우선하여야하며, 이를 위하여 문항분석은 종전에 사용하던 고전검사이론 보다는 문항반응이론을 이용하는 것이 바람직하다. 문항반응이론에 의한 문항분석은 피험자 집단의 특성에 의하여 문항특성이 달리 분석되지 않는 특징을 지니고 있기 때문이다. 문항이 논술형일 경우 채점자간 신뢰도와 채점자 내 신뢰도를 간과하여서는 안될 것이다. 다양한 선택과목을 채택하는 대학별 고사에서 입학 사정을 위하여 원점수를 사용하거나, 표준점수 혹은 검사동등화 방법을 이용하고 있으나 이는 교육측정이론에 위배된다. 다른 과목에 대한 인가의 능력을 상대비교 할 수 없으며, 표준점수와 검사동등화는 동일 능력에 대한 상대비교를 위한 방법이다. 특히 검사동등화는 동일 특성, 공정성, 모교집단 불변성, 대칭성을 전제한다. 표준점수제에 의하여 수험생들의 다른 능력을 상대 비교하는 방법은 다른 능력이 점수로 표현되기 때문에 가능하나 그 점수가 무엇을 의미하는 가를 분석할 때는 교육평가의 기본 철학에도 위배된다.