• 제목/요약/키워드: assessment item analysis

검색결과 353건 처리시간 0.022초

초등 과학 포트폴리오 평가와 다른 과학 평가 방법 간의 상관관계 분석 (An Analysis of Correlations Between Portfolio Assessment and Other Assessment Methods in Elementary School Science)

  • 신현옥;이기영;김찬종
    • 한국초등과학교육학회지:초등과학교육
    • /
    • 제24권3호
    • /
    • pp.301-309
    • /
    • 2005
  • The purpose of this study was to investigate the measuring range of portfolio assessment on students' abilities, using correlation coefficients of portfolio assessment with four other assessment methods. A portfolio system was developed based on low units of elementary fourth grade science, and applied to three fourth-grade science classes in Daejeon Metropolitan area and Gyunggi-do. Four different assessment methods, multiple-choice (short answer type), essay-type item, mind-mapping and laboratory assessment were also administered and scored by two elementary teachers attending graduate school. Correlation coefficients between portfolio assessment and four assessment methods were calculated with SPSS. Portfolio assessment showed moderate correlation with multiplechoice (short answer), essay-type, and mind-mapping, and low correlation with laboratory assessment. Portfolio assessment showed high correlation with multiple-choice assessment in 'understanding' and 'application' domains, but showed low correlation in 'recall' and 'inquiry' domains. In conclusion, portfolio assessment could measure various abilities measured by other assessment methods.

  • PDF

Equating Two Health-related Quality of Life Instruments Applied to Cancer Survivors Who Underwent Palliative Care

  • Bongsam Choi;Heesu Kim;Sunhwi Bang;Byunggwan Kim;Jaekwang Shim
    • 한국전문물리치료학회지
    • /
    • 제30권1호
    • /
    • pp.32-40
    • /
    • 2023
  • Background: Equating is a statistical procedure used to create a common measurement scale across two instruments. Item-level information should be taken into consideration so that scores can communicate interchangeably across the instruments. Objects: To investigate a common measurement scale across two health-related quality of life questionnaires (HRQOL) applied to various cancer survivors who underwent palliative care in healthcare institutions. Methods: A total of 139 cancer survivors who underwent palliative care were recruited from two rehabilitation hospitals and an oriental medicine hospital. Participants consisted of various cancer survivors who presented to the sites for palliative care. They were asked to fill out Korean versions of the World Health Organization Quality of Life (WHOQOL-BREF) and EuroQOL-5 dimension (EQ-5D) questionnaires following the palliative care. For the item level comparison, the Rasch rating scale model was used to investigate how participants regarded individual test items of two instruments in relation to item difficulty calibrations. Results: All items except the three items fit the Rasch model. One item (anxiety/depression) of the EQ-5D and two items (dependence on medical aids and negative feelings) of the WHOQOL-BREF are misfit. The WHOQOL-BREF targets the survivors well, while the EQ-5D is able to target the survivors with lower HRQOL levels with some ceiling effects. By inspecting the item difficulty calibrations of the two instruments, five items of the WHOQOL-BREF are selected as common items in relation to the EQ-5D. These five items are considered compatible with each other. Differential item functioning (DIF) analysis reveals that the healthcare item of the WHOQOL-BREF vs the self-care item of the EQ-5D exhibits significant DIF. Conclusion: Findings suggest that one paired item should be taken into consideration when equating the WHOQOL-BREF and the EQ-5D applied to cancer survivors who underwent palliative care.

차량 내 네트워크 통신의 기능안전성을 위한 하드웨어 기본 설계 (Basic Design of ECU Hardware for the Functional Safety of In-Vehicle Network Communication)

  • 곽현철;안현식
    • 전기학회논문지
    • /
    • 제66권9호
    • /
    • pp.1373-1378
    • /
    • 2017
  • This paper presents a basic ECU(Electronic Control Unit) hardware development procedure for the functional safety of in-vehicle network systems. We consider complete hardware redundancy as a safety mechanism for in-vehicle communication network under the assumption of the wired network failure such as disconnection of a CAN bus. An ESC (Electronic Stability Control) system is selected as an item and the required ASIL(Automotive Safety Integrity Level) for this item is assigned by performing the HARA(Hazard Analysis and Risk Assessment). The basic hardware architecture of the ESC system is designed with a microcontroller, passive components, and communication transceivers. The required ASIL for ESC system is shown to be satisfied with the designed safety mechanism by calculation of hardware architecture metrics such as the SPFM(Single Point Fault Metric) and the LFM(Latent Fault Metric).

암환자 특이형 외상후 성장 측정도구 개발 및 타당화 (Development and Validation of the Cancer-Specific Posttraumatic Growth Inventory)

  • 정영미;박진희
    • 대한간호학회지
    • /
    • 제47권3호
    • /
    • pp.319-331
    • /
    • 2017
  • Purpose: The purpose of this study was to develop a scale to evaluate posttraumatic growth in patients with cancer and to examine the validity and reliability of the scale. Methods: A literature review, semi-structured patient interviews and an expert panel consultation produced a 27 preliminary item questionnaire. Participants were 150 cancer patients recruited to test the reliability and validity of the preliminary scale. Data were analyzed using item analysis, exploratory factor analysis, convergent validity and internal consistency. Results: Item reduction and exploratory factor analysis led to 23 items, grouped into five subscales which were labelled new possibilities (6 items), coping skills (5 items), preciousness of life (5 items), relating to others (4 items), and personal strength (3 items). Convergent validity was evaluated by total correlation with the Functional Assessment of Cancer Therapy-General (r=.45, p<.001). The final scale demonstrated satisfactory internal consistency (Cronbach's ${\alpha}$ =.94). Conclusion: Findings from this study indicate that the Cancer-Specific Posttraumatic Growth Inventory has validity and reliability and is considered to be appropriate for assessing posttraumatic growth in patients with cancer.

판구조론의 학습발달과정 개발을 위한 지구적 인지과정 평가의 횡단적 문항 반응 분석: Rasch 모델 (Cross-Sectional Item Response Analysis of Geocognition Assessment for the Development of Plate Tectonics Learning Progressions: Rasch Model)

  • 맹승호;이기영
    • 한국과학교육학회지
    • /
    • 제35권1호
    • /
    • pp.37-52
    • /
    • 2015
  • 이 연구는 판구조론(plate tectonics)에 대한 지구적 인지과정(geocognition)의 검사 문항을 중학생, 고등학생 및 대학생들에게 적용하여 문항별 응답 반응을 Rasch 모델에 근거하여 횡단적으로 분석하였다. 그 결과를 바탕으로 판구조론에 대한 학습 발달과정 및 교육과정 개발을 위한 기초 자료를 제안하고자 하였다. 판구조론의 개념적 구인은 '판과 관련된 지구 내부 구조의 이해, 판 경계에서 특징적인 지형, 판 경계의 지질 현상'으로, 지구적 인지과정의 구인은 시간적 추론, 공간적 추론, 과거역산적 추론, 시스템 사고로 선정하였다. 판구조론의 개념적 구인을 문항의 소재로 하여 지구적 인지과정의 추론 능력을 조사하는 통합적 형태로 9개의 평가 문항을 개발하였다. 문항의 그림 자료들은 모두 GeoMapApp을 활용하여 작성하였다. 전체 문항에 대한 학생들이 얻은 점수에 따라 학생들의 수준을 구분하고 이를 각 문항의 과제 곤란도와 비교하여 측정하는 Rasch 모델을 적용하여 학생들의 문항 반응 결과를 측정하였다. Rasch 모델 분석으로 중학생, 고등학생 및 대학생의 Wright map을 각각 작성하여 학생들의 능력과 문항 곤란도를 서로 비교하였고, Differential Item Functioning 분석을 통해 세 학교급 학생들의 문항 반응 결과를 종합하여 수행하였다. 연구결과는 다음과 같다. 첫째, 현행 과학 교육과정에서 판구조론에 대한 지구적 인지과정은 중학생, 고등학생에게 모두 평가 가능한 구인임을 알 수 있었다. 둘째, 중학교 ~ 대학교에 이르는 횡단적 분석에서 학생들의 발달 양상이 가장 두드러진 지구적 인지과정의 요소는 공간적 추론이었다. 셋째, 판구조론에 대한 지구적 인지과정은 적절한 교수활동의 도움과 지구과학 내용 지식을 비계(scaffolding)로 하여 더 높은 수준으로 발달할 수 있다. 넷째, 지구적 인지과정은 과제의 내용과 분리된 일반적 추론 능력이 아니라 과제의 내용과 연관된 내용-특이적(content-specific) 추론임을 알 수 있었다. 이 연구에서 수행한 횡단적 분석의 결과를 바탕으로 지구과학 교육과정에서 판구조론의 내용 체계를 재구성하기 위한 제언을 제시하였다.

기초공통개념으로서 에너지에 대한 3~9학년 학생들의 문항 반응 분석 (Item Response Analysis of Energy as a Cross-Cutting Concept for Grades 3 to 9)

  • 김영민;강남화;강훈식;맹승호;이준기
    • 한국과학교육학회지
    • /
    • 제36권6호
    • /
    • pp.815-833
    • /
    • 2016
  • 이 연구에서는 기초공통개념으로서 에너지에 대한 학습발달과정연구의 기초 자료를 제공하기 위하여 3~9학년 학생들의 평가 문항 응답 결과를 분석하였다. 검사 문항은 전기 회로, 낙하 물체의 역학적 에너지, 물질의 상태 변화, 용해 현상, 생물체의 생명 현상, 먹이 사슬, 태양과 지구의 복사평형, 및 물의 순환계에서 에너지에 대한 이해를 조사하는 순위 선다형 문항으로 구성되었다. 학생들의 응답 결과는 학년별, 선택지 수준별 응답 빈도에 따라 교차분석을 실시하였고, Rasch 모델을 적용한 문항반응 분석으로서 Wright map 및 DIF 분석을 수행하였다. 연구 결과, 8가지 주제들에 대하여 에너지 이해의 발달과정은 현상과 에너지의 관련성을 인식하거나 에너지의 종류를 파악, 에너지의 이동과 전달을 인식, 에너지가 다른 형태로 전환 및 변환됨을 인식, 에너지의 보존을 인식하는 순서로 진행된다는 경험적 근거를 확보할 수 있었다. 전체 학년에 걸쳐서 공통적으로 8개 주제에 대하여 에너지 보존에 대한 이해가 부족하였다. 학년이 높아짐에 따라 에너지의 전달과 전환에 대한 이해 수준은 주제들마다 다소 차이가 있었다. Rasch 모델을 적용한 문항 반응을 분석한 결과 학생들은 다른 현상의 에너지에 비해 용해 현상의 에너지를 가장 쉬운 과제로 인식하였고 물의 순환 과정에서 에너지 이해를 가장 어려운 과제로 인식하였다. 이 연구의 결과는 에너지의 관점에서 각 주제들이 초중등 과학 교육과정의 어느 학년에, 몇 번째 단원에 어떤 방식으로 배치되어야 할 것인지는 경험적인 연구 자료로서 활용될 수 있으며, 새 과학 교육과정의 내용 체계를 구성할 때 고려할 수 있는 중요한 시사점이 될 수 있었다.

A Study on the Quantitative Evaluation Method of Small-Scale Environmental Impact Assessment

  • Dong-Myung CHO;Ju-Yeon LEE;Woo-Taeg KWON
    • 웰빙융합연구
    • /
    • 제6권2호
    • /
    • pp.39-46
    • /
    • 2023
  • Purpose: The small-scale environmental impact assessment system in Korea was introduced and implemented in August 2000, but it has a problem that it cannot guarantee implementation due to the large proportion of qualitative reduction measures for each evaluation item. Therefore, when preparing a small-scale environmental impact assessment, research was conducted on how to improve the existing simple listing-type reduction measures and qualitative evaluation standards to quantitative reduction measures and evaluation standards reflecting regional characteristics. Research design, data and methodology: The small-scale environmental impact assessment system in Korea was introduced and implemented in August 2000, but it has a problem that it cannot guarantee implementation due to the large proportion of qualitative reduction measures for each evaluation item. Therefore, when preparing a small-scale environmental impact assessment, research was conducted on how to improve the existing simple listing-type reduction measures and qualitative evaluation standards to quantitative reduction measures and evaluation standards reflecting regional characteristics. Results: As a result of the analysis of qualitative and quantitative factors, the arithmetic sum of the qualitative factors of the total six projects is 160, accounting for 80% of the total number of reduction measures, and the quantitative factors are 40, accounting for 20%. Among them, the number of qualitative reduction measures reached 97.4% for animal and plant items, and more than 90% for air quality, noise and vibration, and eco-friendly resource circulation items. Conclusions: Therefore, it is necessary to avoid establishing qualitative reduction measures and set quantitative measures as the basis, but to specify the specifications, size, and installation location related to the reduction measures, and to calculate the numerical reduction efficiency.

한국과 일본의 국가수준 학업성취도 평가 문항 비교 분석 (Comparative Analysis of the National Level Academic Achievement Assessment Items between Korea and Japan)

  • 김부미;조형미
    • 한국학교수학회논문집
    • /
    • 제24권4호
    • /
    • pp.407-428
    • /
    • 2021
  • 본 연구의 목적은 우리나라와 일본의 최신 개정 교육과정에 따라 최초로 시행한 중학교 국가수준 학업성취도평가 수학 문항을 비교, 분석하고 이를 바탕으로 우리나라의 수학과 교육과정 및 교수·학습의 개선을 위해 국가수준 학업성취도평가에 적용가능한 시사점을 도출하는 것이다. 먼저 두 국가에서 시행되고 있는 국가수준 학업성취도평가를 개괄하였고, 두 국가의 중학교 수학 학업성취도평가의 문항을 내용영역, 맥락, 역량에 따른 분석틀에 따라 수와 식, 함수, 기하, 확률과 통계 영역에서 두 국가의 문항의 특성을 비교분석하였다. 이를 바탕으로 실생활 맥락을 강조하고 문제해결 과정과 결과를 반성할 수 있는 문항 개발, 교육과정 개정의 중점사항을 반영한 평가 문항 개발 등의 국가수준 학업성취도평가 개선방안과 2022 개정을 앞두고 '증명' 용어의 도입 필요성 및 방법 등 교육과정 및 교수·학습 개선방안을 제안하였다.

Miller Assessment for Preschoolers(MAP)의 국내 적용을 위한 번역 연구 (Translation Study of Miller Assessment of Preschoolers (MAP) for Using in Korea)

  • 홍은경;김경미
    • 대한감각통합치료학회지
    • /
    • 제16권1호
    • /
    • pp.35-44
    • /
    • 2018
  • 목적 : 본 연구의 목적은 국내에 Miller Assessment for Preschoolers(MAP)을 사용하기 위해 필요한 번역, 역번역, 문항수정을 실시하고, 내용타당도를 검증하는 것이다. 연구방법 : 연구는 작업치료(학)과 교수, 번역가, 또는 작업치료사들을 대상으로 번역, 비교 통합 I, 역번역, 비교 통합 II, 이해도검증, 문항수정의 절차를 거쳤다. 자료 분석은 Microsoft office의 Excel을 이용하여 Content Validity Indices(CVI)를 구하였다. 결과 : 원본 MAP를 번역하여 교수 집단을 대상으로 내용타당도 검증시 평균 $3.66{\pm}0.40$점이었고 item-level CVI(I-CVI) 0.94, overal scale CVI(S-CVI) 0.83으로 나타났다. 원본 MAP과 영어로 역번역한 MAP의 내용타당도를 살펴본 결과는 평균 3.14점으로 나타났고 오류내용은 생략 13회, 용어오류 11회, 대체 6회, 순서오류 6회, 추가 3회로 나타났다. 치료사 9명을 대상으로 이해도 검증을 한 결과, 평균 $3.66{\pm}0.27$점이었고 I-CVI 0.93, S-CVI 0.58로 나타났다. 결론 : MAP의 국내 사용을 위하여 동시타당도, 구성타당도, 검사-재검사신뢰도, 검사자간신뢰도, 내적일치도 연구 등의 연구가 추가적으로 필요하다.

The effects of scanning position on evaluation of cerebral atrophy level: assessed by item response theory

  • Mahsin, Md;Zhao, Yinshan
    • Communications for Statistical Applications and Methods
    • /
    • 제23권6호
    • /
    • pp.531-541
    • /
    • 2016
  • Cerebral atrophy affects the brain and is a common feature of patients with mild cognitive impairment or Alzheimer's diseases. It is evaluated by the radiologist or reader based on patient's history, age and the space between the brain and the skull as indicated by magnetic resonance (MR) images. A total of 70 patients were scanned in the supine and prone positions before three radiologist assessed their atrophy level. This study examined the radiologist's assessment of the cerebral atrophy level using a graded response model of item response theory (IRT). A graded response model (GRM) is fitted to our data and then item-fit and person-fit statistics are evaluated to assess the fitted model. Our analysis found that the cerebral atrophy level is better discriminated by readers in the prone position because all item slopes were greater than 2 at this position, versus the supine position where all the slope parameters were less than 1. However, the thresholds are very similar for the first reader and are quite different for the second and third readers because the scanning position affects readers differently as the category threshold estimates vary considerably between the readers..