드림스타트 사업 평가지표의 신뢰도와 변별력 측정

An Analysis of Reliability and Discrimination Power on Evaluation Criteria of Dream Start Services

Abstract

본 논문은 드림스타트 사업평가에 사용된 평가지표가 '평가분야 및 영역별 신뢰도가 있는지'와 '평가지표별 변별력이 있는지'를 분석하고자 하였다. 이를 살펴보기 위하여 2018년 드림스타트 사업운영 평가를 받은 126개 시군구의 평가 자료를 바탕으로 실증적인 분석을 하였다. 연구결과는 첫째, 평가영역별 신뢰도를 살펴본 결과, 기본구성, 통합사례관리, 서비스 운영의 평가지표에 대한 신뢰도가 .6 이상으로 하위 평가지표들이 상위 평가분야와 같은 개념으로 볼 수 있는 최소기준을 충족하였다. 그러나 자원 개발 및 연계 분야는 신뢰도가 낮게 파악되었다. 평가영역별로 보면, 통합사례관리 분야에서 사례관리 과정에 대한 하위 평가지표의 신뢰도는 높았으나 기본구성 분야에서 사업운영 체계, 전담조직 및 인력을 확인하는 평가지표간의 신뢰도가 낮았고, 사례회의, 서비스 운영을 확인할 수 있는 하위 지표 간의 신뢰도가 낮게 나타났다. 둘째, 평가지표별 변별력을 측정한 결과, 28개 지표 중 18개 지표는 변별력이 높은 것으로 분석되었다. 반면 10개 지표는 변별력이 낮은 것으로 나타났다.

This research examines whether the evaluation index used Dream Start services operation evaluation has 'reliability in evaluation field and area' and 'whether there is discrimination according to evaluation index'. To do this, we conducted an empirical analysis based on the evaluation data of 126 municipal and provincial governments that received the 2018 Dream Start services operation evaluation. First, as a result of examining whether there is trust in each evaluation area, it was found that the reliability of the basic construction, integrated case management, and service operation field is higher than .6 and the lower evaluation indexes are the same Standards were met. However, the field of resource exploit and connectivity was not so reliable as the concept of sub-domains. Second, 'Are there discriminatory power according to the evaluation indexes?' The results showed that 18 of the 28 indicators were highly discriminative. On the other hand, 10 indicators showed low discrimination power.

Table 1. Dream Start Evaluation Index Form

Table 2. Dream Start evaluation Index Scores

Table 3. Dream Start Evaluation Index Reliability

Table 4. Correlation between Score and Total Score by Evaluation Index