• 제목/요약/키워드: Rater

검색결과 351건 처리시간 0.023초

기상청 동네예보의 영농활용도 증진을 위한 방안: 2. 강수량 분포 상세화 (Improving Usage of the Korea Meteorological Administration's Digital Forecasts in Agriculture: 2. Refining the Distribution of Precipitation Amount)

  • 김대준;윤진일
    • 한국농림기상학회지
    • /
    • 제15권3호
    • /
    • pp.171-177
    • /
    • 2013
  • 본 연구는 기상청에서 제공하는 강수 실황 혹은 예보로부터 농업부문에서 활용 가능한 수준의 상세한 강수분포도를 제작하기 위한 방안으로서, 레이더 반사강도를 KLAPS 5km 강수자료에 적용하여 1km 격자해상도로 상세화 하는 1단계와, 고해상도 DEM에 근거한 지표면 경사방향(지향면)에 따라 고도-강수량 회귀 계수를 달리하여 지형효과를 반영하는 2단계 등으로 이루어진 추정기법을 고안하였다. 이 기법의 현실세계 적용방법 모색 및 신뢰도 평가를 위해 경상남도 하동군 악양면을 실험 집수역으로 설정하고 2013년 1월부터 5월까지 총 19사례의 강수에 대해 기상청으로부터 KLAPS 강수자료를 수집하였다. 1단계로는 강수일의 24시간 적산 레이더에코 자료를 이용하여 1km 해상도로 자료의 규모를 축소하였다. 2단계로는 1km 격자점의 값을 가상의 관측자료로 삼아 270m 해상도에서 PRISM 기반의 지형효과를 반영한 강수량 분포도를 생성하였다. 실험 집수역에 13대의 무인기상관측장비를 다양한 고도 및 지형조건에서 설치하고, 추정된 강수분포도로부터 13개 지점에 해당하는 격자점의 자료를 추출하여 실측값과 비교하였다. 일 강수량 10mm 이상의 사례에서는 모든 관측지점에서 추정오차 감소효과가 인정되었으며, 특히 일강수량이 30mm 이상인 사례에서 평균 35% 이상의 오차감소효과를 확인하였다.

불면증 변증도구 신뢰도와 타당도 평가 및 심리검사와의 상관성에 대한 초기연구 (A Pilot Study of Evaluating the Reliability and Validity of Pattern Identification Tool for Insomnia and Analyzing Correlation with Psychological Tests)

  • 정진형;이지윤;김주연;김시연;강위창;임정화;김보경;정인철
    • 동의신경정신과학회지
    • /
    • 제31권1호
    • /
    • pp.1-12
    • /
    • 2020
  • Objectives: The purpose of this study was to evaluate the reliability and validity of the instrument on pattern identification for insomnia (PIT-Insomnia) and verify the correlation between PIT-Insomnia and psychological tests. Methods: Two evaluators examined the pattern identification of the participants who met insomnia disorder diagnostic criteria of the Diagnostic and Statistical Manual of Mental Disorder, Fifth Edition (DSM-5) and took the Insomnia Severity Index (ISI) score over 15 once manually and twice using the PIT-Insomnia to measure the inter-rater and test-retest reliability. We also conducted the following surveys: the Pittsburgh Sleep Quality Index (PSQI), the Korean version of Beck's depression inventory (K-BDI), the Korean version of the State-Trait Anxiety Inventory (STAI-K), the Korean Symptom checklist-95 (KSCL-95), and the EuroQol-5 dimension (EQ-5D), to measure concurrent validity and correlation between the PTI-Insomnia and psychological tests. Results: 1. The test-retest reliability analysis of the pattern identification results showed moderate agreement, and test-retest reliability analysis of each pattern identification score showed agreements from poor to moderate. 2. The inter-rater reliability analysis of the pattern identification results via manual showed slight agreement, when analysis was performed with calibration, the inter-rater reliability analysis of the pattern identification results via manual showed fair agreement. 3. The concordance analysis between results via manual and the PIT-Insomnia showed poor agreement, when the analysis was performed with calibration, concordance analysis showed fair agreement. 4. The concordance analysis between the PIT-Insomnia and the PSQI showed positive linear correlation. 5. The concordance analysis between the PIT-Insomnia and the PSQI, K-BDI, STAI-K, KSCL-95, and EQ-5D showed that non-interaction between the heart and kidney have positive linear correlation with the K-BDI, anxiety item of KSCL-95, dual deficiency of the heart-spleen have positive linear correlation with somatization item of KSCL-95, paranoia item of KSCL-95, heart deficiency with timidity have positive linear correlation with stress vulnerability item of KSCL-95, parania item of KSCL-95, phlegm-fire harassing the heart have positive linear correlation with K-BDI, paranoia item of KSCL-95, depressed liver qi transforming into fire have positive linear correlation with the anxiety item of KSCL-95, parania item of KSCL-95, all pattern identification have negative linear correlation with EQ-5D. Conclusions: The PIT-Insomnia has moderate agreement of reliability and reflects the severity of insomnia since it has some concurrent validity with the PSQI. There are some correlations between the PTI-Insomnia with specific psychological tests, so we could suggest it can be used appropriately in the clinical situation.

${\cdot}$ 골격장애 환자의 간호질 평가 도구 개발 (Development of and Evaluation Tool for the Quality of Patient Care in Musculo-skeletal Disorder)

  • 최순옥;김문실
    • 간호행정학회지
    • /
    • 제1권2호
    • /
    • pp.338-348
    • /
    • 1995
  • We need to continuously evaluate for nursing quality and the outcome to reflect nursing, to repair and improve of nursing. The first problem for nursing quality improvement is development of evaluation tool for the quality of nursing care. We need a system for quality assurance evaluation that is, development and framework of evaluation tool for nursing care quality. The purpose of this study was attempted to develop an evaluation tool for the quality of nursing care in musculoskeletal disorder patients. The approach method of nursing quality for the development of the tool in this study was process evaluation framework. The study were devided dvelopment process and reliability, validity verification process. The subjects of development process of this tool are three nursing export groups, and the subject of reliability, validity verification process are 20 samples of two university hospital in seoul, who were within discharge 3 months after admission treatment in musculo-skeletal disorder. Data for this study was collected from March 10 to April 13, 1995. The development process of the tool were as follows : 1. Make preliminary list of the tool by focal group were constituted 12 clinical nurses. 2. Modify and add preliminary list by 4 nursing expert panel. 3. Calculate content validity of the tool by 25 nursing expert panel of judge. 4. Verify reliability and validity of the tool. 5. Finalize an evaluation tool for the quality of the nursing care in musculo-skeletal disorder. The results of this study were as follows : 1) Development an evaluation tool for the quality of nursing care in musculo-skeletal disorder. (1) The evalution tool of this study was developed 5 standards, 33 criterias and 133 indicators. (2) 5 standards were divided according to Nursing Process. from standard 1 to standard 5, involved criterias were each 6(18%), 3(9%), 3(9%), 15(46%), 6(18%). 2) Verify reliability and validity of the tool. (1) Score of adequate degree for content validity of 33 criterias and 133 indicators were every average 2.82. (2) Inter-rater reliabilities(consentaneity score) of the tool by pearson correlation coefficient between three raters were : r=.7506, r=.8934, r=.6695. and Inter-rater reliabilities by single-facet crossed design were : r=.7464. (3) The alpha coefficient relating to internal consistency was .8524 over all 30 items of 33 criterias of developed tool. (4) Score of the quality of nursing care following to generaal characteristics of this study subjects were stastically significant differences according to educational level (F=2.93, p=.029)and diagnosing classification (F=2.50, p=.042). Through this study, I'm sure that the developed tool for the quality of patient care in musculo-skeletal disorder will show the way of more improvement of the quality of nursing care and effective nursing interventions.

  • PDF

협력적 문제해결 중심 교수모델에 기반 한 학생 인성 역량 평가 도구 개발 (The Development of Assessment Tool on Student's Character Competence based on Collaborative Problem-Solving Instruction Model)

  • 전란영;김희화;남정희;강유진;손정우;박종석
    • 한국과학교육학회지
    • /
    • 제38권3호
    • /
    • pp.419-430
    • /
    • 2018
  • 본 연구의 목적은 과학교육에 협력적 문제해결 중심 교수모델 적용에서 학생의 인성 역량을 평가하는 평가 도구를 개발하는 것이다. 문헌 분석을 통해 개방성, 공감, 관용, 배려, 성실, 자기조절, 정직, 책임, 협력의 9개 인성 역량 구성요인을 추출하였다. 기존 인성 역량 관련 척도를 바탕으로 전문가 협의를 통해 협력적 문제해결 중심 교수모델에 기반 한 학생 인성 역량 평가 문항을 개발하였다. 전문가 집단을 대상으로 88개의 예비문항에 대한 1차 조사를 하였고, 예비조사 결과를 바탕으로 문항을 수정 보완하였다. 재구성된 문항의 타당도를 확인하고자 중 고등학교 과학교사 71명을 대상으로 2차 내용타당도 조사를 하였고, 해당 문항의 신뢰도를 검증하기 위해 평정자간 신뢰도를 산출하였다. 평가 문항의 내용타당도 및 평정자간 신뢰도는 전반적으로 양호한 수준으로 나타났고 분석 결과를 토대로 53문항을 최종적으로 선정하였다. 본 연구에서 개발한 평가 도구는 협력적 문제해결 중심 교수모델을 통한 학생의 인성 역량 변화를 알아보고 과학교육에서 학생 인성 역량을 평가하는 데 유용하게 사용될 수 있을 것이다.

뇌졸중 환자의 말, 언어장애 선별에 대한 검사자간 신뢰도 및 훈련효과 (Inter-rater Reliability and Training Effect of the Differential Diagnosis of Speech and Language Disorder for Stroke Patients)

  • 김정완
    • 한국콘텐츠학회논문지
    • /
    • 제11권9호
    • /
    • pp.407-413
    • /
    • 2011
  • 뇌졸중 환자의 실어증 유무를 정확히 판별하고 환자의 미세한 언어적 변화를 적절히 관찰하기 위해서는 일차적으로 신뢰로운 검사도구를 사용하여야 하고, 또한 검사자가 해당 도구의 사용에 있어 충분히 숙지하고 있어야 한다. 본 연구에서는 뇌졸중 환자의 실어증 및 말장애 유무의 진단에서 검사자의 전공영역에 따른 관찰자간 신뢰도를 살펴보고 훈련 전과 후의 차이를 비교해보고자 하였다. 이를 위해, 침상에 있는 뇌졸중 환자 46명을 대상으로 언어치료사, 신경과 전공의, 그리고 간호사 각각 4명씩 총 12명이 동시에 실어증 및 말장애 유무를 평가하였다. 연구 결과, 서로 다른 전공 영역의 전문가들 간에 말명료도 과제와/아/모음연장발성 과제의 '음질' 영역에서만 'acceptable'로 나타났고, 나머지 하부검사 영역에서는 'good-excellent'로 나타났다. 관찰자간 신뢰도가 'acceptable'로 나타난 과제들에 대해 3주간의 비디오 훈련 전후의 점수 차이를 비교하였다. 그 결과, 훈련 후 말명료도 과제에서 검사자들 간의 평정 점수의 차이는 유의하게 줄어들었으며, '음질' 평정의 정확성도 유의하게 증가하였다. 임상 경험 정도와 각 하부검사에 대한 평정 정확성 간의 상관관계를 알아본 결과, 언어치료사들은 임상 경험 정도가 증가할수록 그림설명하기 과제와 말명료도 과제에서, 그리고 의사 및 간호사들은 그림설명하기 과제에서 판정 정확도가 높아지는 것으로 나타났다. 결론적으로, 이 연구 결과는 뇌졸중 환자의 의사소통장애 진단에 있어 신경언어장애 환자 중, 특히 말장애환자에 대한 꾸준한 경험과 훈련이 반드시 필요하며, 훈련을 통해 평정 신뢰도를 확보할 수 있음을 시사한다.

중등학교 과학 수행평가의 평가 유형과 채점 방식 및 신뢰도 분석 (Analysis of Assessment Types, Scoring Methods and Reliability of Science Performance Assessment in Middle and High School)

  • 이기영;안희수
    • 한국과학교육학회지
    • /
    • 제25권2호
    • /
    • pp.173-183
    • /
    • 2005
  • 본 연구에서는 중등학교 과학 수행평가가 어떤 평가 유형과 채점 방식을 사용하고 있는지 분석하였으며, 이를 토대로 일반화가능도 이론을 이용하여 과학 수행평가 점수가 얼마나 신뢰로운지 분석하였다. 연구 결과, 과학 수행평가의 유형은 크게 지필형과 과제형으로 나눌 수 있었다. 지필형으로는 중등학교 모두 응답제한형 서술형검사만을 실시하고 있었다. 과제형은 과정 평가와 결과물 평가로 나눌 수 있었다. 채점 방식은 1명의 교사가 모든 서술형문항과 수행과제를 채점하거나, 2명의 교사가 수행과제를 나누어 채점하고 있었다. 그러나 2명 이상의 교사가 서술형문항을 나누거나 교차하여 채점하는 경우는 없었다. 표집된 7개 중등학교 과학 수행평가의 신뢰도 분석 결과는 다음과 갇다: (1) 서술형 문항의 특성이 수행과제의 특성보다 학생들의 수행평가 점수에 미치는 영향이 더 큰것으로 나타났다. (2) 수행과제 채점에서 채점자가 피험자를 다르게 채점하는 정도는 학교에 따라 상당한 차이가 있었다. (3) 7개 중등학교 과학 수행평가의 일반화가능도(신뢰도)는 대부분 적정 수준인 0.80에 미치지 못하는 것으로 나타났으며, 적정 수준의 일반화가능도를 얻기 위해서는 지금보다 더 많은 수의 서술형 문항과 수행과제 그리고 채점자가 필요한 것으로 분석되었다.

UFOV(Useful Field of View test) 검사의 신뢰도 및 타당도 검증 (The Reliability and Validity of Useful Field of View Test)

  • 곽호성;정봉근
    • 재활복지공학회논문지
    • /
    • 제11권2호
    • /
    • pp.157-163
    • /
    • 2017
  • 본 연구의 목적은 국내에 거주하고 있는 뇌졸중 환자 및 일반인을 대상으로 국외에서 표준화된 운전 적합성 평가도구인 UFOV(Useful Field of View Test) 검사 도구의 신뢰도와 타당도를 분석하는 것이다. 2014년 10월부터 11월까지 서울시 소재 병원에 입원중인 뇌졸중 환자 19명과 일반인 23명을 대상으로 인구사회학적 정보와 UFOV 검사-재검사 신뢰도, 검사자간 신뢰도, UFOV와 TMT A&B, MVPT 점수를 비교한 동시타당도, 뇌졸중 환자와 일반인의 UFOV 검사결과로 판별타당도를 분석하였다. 그 결과 UFOV 검사의 검사-재검사 신뢰도는 하위항목 1~3에서 모두 .83(p<.01)이상을 보였으며, 검사자간 신뢰도(ICC=2,1)는 하위 항목 1~3에서 모두 .92(p<.001)이상을 보였다. 동시타당도를 알아보기 위한 TMT A&B, MVPT와 UFOV 검사의 세 하위항목과의 상관에서 모두 통계학적으로 유의한 관계를 보였으며, 판별타당도는 모든 항목에서 뇌졸중 환자와 일반인의 경우 통계학적으로 유의한 차이를 나타냈다(p<.001). 따라서 UFOV 검사는 작업치료 임상 분야에서 뇌졸중 환자의 운전사고 예방 및 운전능력을 평가하기 위한 도구로 사용될 수 있을 것이다.

지구과학 창의력 평가 문항 개발 방법에 관한 연구 (A Method for Developing Items to Assess Earth Science Creativity)

  • 이항로
    • 한국지구과학회지
    • /
    • 제24권3호
    • /
    • pp.150-159
    • /
    • 2003
  • 본 연구에서는 지구과학 지식과 창의력을 동시에 적용해야 해결할 수 있는 지구과학 창의력을 평가할 수 있는 문항의 개발 방법을 제시하고자 하였다. R&D과정을 거친 본 연구의 결과는 첫째, 조작적 정의를 통해 창의력과 과학창의력간의 인지능력 차이를 명료화하였고 둘째, 과학창의력을 구성하는 하위 요소들 중에서 문항 개발이 가능하다고 판단된 유창성, 융통성, 정교성, 독창성을 선정하여 각각에 대한 조작적 정의를 내린 후 각 요소들에 대한 평가와 채점의 준거를 제시하였다. 셋째, 평가도구의 구비 조건인 타당도, 신뢰도, 변별도, 난이도를 검증하기 위하여 3번의 현장검증을 실시하였으며, 본 연구에서 개발한 지구과학창의력 평가도구는 각 하위 요소별로 2문항씩 총 8문항으로 구성되어 있다. 넷째, 문항합치도 지수 평균은 .99, 문항 내적 합치도 지수인 Cronbach ${\alpha}$값은 .79, 각 문항별 평가자간 신뢰도는 0.78,각 하위 요소별 평가자간 신뢰도는 0.75, 변별도 지수인 점이연상관 지수는 .19, 문항 난이도 지수는 .00이었다. 이와 같이 평가도구의 구비조건들이 허용 범위 내에 있는 것으로 볼 때 본 연구에서 개발한 지구과학 창의력 평가도구는 유용한 것으로 판단할 수 있다.

선호도 재계산을 위한 연관 사용자 군집 분석과 Representative Attribute -Neighborhood를 이용한 협력적 필터링 시스템의 성능향상 (Performance Improvement of Collaborative Filtering System Using Associative User′s Clustering Analysis for the Recalculation of Preference and Representative Attribute-Neighborhood)

  • 정경용;김진수;김태용;이정현
    • 정보처리학회논문지B
    • /
    • 제10B권3호
    • /
    • pp.287-296
    • /
    • 2003
  • 추천 시스템에 있어서 협력적 필터링 기술은 많은 연구가 되고 있다. 그러나 협력적 필터링 기술을 이용한 추천 시스템은 초기 평가 문제와 희박성 문제가 발생한다. 이를 해결하기 위해서 본 논문에서는 선호도 재 계산을 위한 연관 사용자 군집과 베이지안 추정치를 이용한 사용자 선호도 예측 방법을 제안한다. 제안한 방법에서는 협력적 필터링 시스템에서 아이템의 속성을 고려하지 않는 단점을 보완하기 위해서 선호도에 가장 크게 영향을 미치는 대표 장르를 추출하여 유사한 이웃을 찾아 낼 때 예측에 이용하는 Representative Attribute-Neighborhood 방법을 사용한다. 협력적 필터링의 알고리즘에 군집 아이템 백터 내의 특정 아이템의 선호도를 재계산 하기 위한 연관 사용자 군집 분석을 적용하여 성능 향상을 하였다. 또 초기 평가 문제와 희박성 문제를 해결하기 위하여 Association Rule Hypergraph Partitioning 알고리즘을 사용하여 사용자를 장르별로 군집한다. 새로운 사용자는 Naive Bayes 분류자에 의해 이들 장르 중 하나로 분류된다. 또한, 분류된 장르 내에 속한 사용자들과 새로운 사용자의 유사도를 구하기 위해 Naive Bayes 학습을 통해 사용자가 평가한 아이템에 추정치를 달리 부여한다. 추정치가 부여된 선호도를 피어슨 상관 관계에 적용할 경우 결측치(Missing Value)로 인한 예측의 오류를 적게하여 예측의 정확도를 높일 수 있다. 제안된 방법은 기존의 방법보다 높은 성능을 나타냄을 보인다.

위암 수술 환자의 건강결과 측정을 위한 동반상병 측정도구의 유용성 연구 (Usefulness of Comorbidity Indices in Operative Gastric Cancer Cases)

  • 황세민;윤석준;안형식;안형진;김상후;경민호;이은경
    • Journal of Preventive Medicine and Public Health
    • /
    • 제42권1호
    • /
    • pp.49-58
    • /
    • 2009
  • Objectives : The purpose of the current study was to evaluate the usefulness of the following four comorbidity indices in gastric cancer patients who underwent surgery: Charlson Comorbidity Index(CCI), Cumulative Illness rating scale(CIRS), Index of Co-existent Disease(ICED), and Kaplan-Feinstein Scale(KFS). Methods : The study subjects were 614 adults who underwent surgery for gastric cancer at K hospital between 2005 and 2007. We examined the test-retest and inter-rater reliability of 4 comorbidity indices for 50 patients. Reliability was evaluated with Spearman rho coefficients for CCI and CIRS, while Kappa values were used for the ICED and KFS indices. Logistic regression was used to determine how these comorbidity indices affected unplanned readmission and death. Multiple regression was used for determining if the comorbidity indices affected length of stay and hospital costs. Results : The test-retest reliability of CCI and CIRS was substantial(Spearman rho=0.746 and 0.775, respectively), while for ICED and KFS was moderate(Kappa=0.476 and 0.504, respectively). The inter-rater reliability of the CCI, CIRS, and ICED was moderate(Spearman rho=0.580 and 0.668, and Kappa=0.433, respectively), but for KFS was fair(Kappa=0.383). According to the results from logistic regression, unplanned readmissions and deaths were not significantly different between the comorbidity index scores. But, according to the results from multiple linear regression, the CIRS group showed a significantly increased length of hospital stay(p<0.01). Additionally, CCI showed a significant association with increased hospital costs (p<0.01). Conclusions : This study suggests that the CCI index may be useful in the estimation of comorbidities associated with hospital costs, while the CIRS index may be useful where estimatation of comorbiditie associated with the length of hospital stay are concerned.