A Study on the Relationship between Performance Evaluation System and Managerial Effectiveness of Responsible Administrative Agency: Focus on the Perception of Pulbic Employees in Local Statistics Offices

책임운영기관 성과평가 제도와 운영 효과성 간의 연계성에 대한 연구: 지방 통계청 공무원들의 인식을 중심으로

Abstract

This study aims to examine the relationship between performance evaluation systems and managerial effectiveness of responsible administrative agencies. Previous studies mainly emphasize the institutional changes of evaluation system and its impacts. This study articulate important factors in performance evaluation systems like interactive communications the credibility of performance indicators top manager's concern. A survey was conducted by 510 employees of local statistical office agencies and a structural equation modeling was used in order to test hypotheses. Results show that the credibility of performance indicators and top manager's concern about evaluation are positively related to performance results and procedural transparency and to managerial effectiveness. Interactive communication did not show statistically significant on managerial effectiveness. The empirical test results indicated that the interactive communication about the evaluation system of responsible administrative agencies should be considered.

본 연구는 정부 내 조직 관리상 자율성 증진 및 성과 중심 관리를 위하여 현재 운영 중인 책임운영기관에 대한 평가제도와 운영 효과 간 연계성에 대하여 살펴보았다. 이를 위하여 책임운영기관 중 지방통계청 공무원 510명을 대상으로 평가제도 운영에 대한 의사소통, 평가지표의 타당성, 기관장의 관심, 평가결과의 활용, 평가과정의 투명성, 책임운영기관 제도 운용상 효과성에 대한 설문 조사를 시행하였다. 구조방정식 분석결과에 의하면 평가지표의 타당성과 기관장 관심이 높을수록 평가결과의 활용과 평가과정의 투명성에 긍정적인 효과를 주며 제도운영에 효과성 또한 높게 인식하였다. 하지만 의사소통의 경우 평가 과정상 투명성에는 긍정적인 효과를 주었으나, 평가결과의 활용에는 효과가 나타나지 않았다. 이러한 연구결과는 책임운영기관 평가제도의 운영에 있어서 평가와 관련된 조직 내의 의사소통에 대한 고려가 필요하다는 점을 확인하였다는 데 의미가 있다.

Ⅰ. 서론

1. 문제 제기

1970년대 이후 2차에 걸친 석유파동과 사회서비스에 대한 수요의 급격한 확대에 따라, 영미권을 중심으로 공공부문에서도 정책 집행 및 조직 운영을 통한 성과 중심 관리를 다양한 제도들이 시행되었다[1]. 자원 배분의 제약에 따른 효율성 증진에 대한 요구와 사회서비스 증가에 따른 정부의 역할에 대한 변화와 관련되어 외부 행정환경의 변화는 공공부문에서 조직의 운영 및 정책 집행에 있어서 성과에 대한 강조로서 이어졌으며, 1990년대 이후 본격적인 정부 부처와 공공기관에 확산 되었다[2]. 이러한 공공서비스의 효율성 및 효과성에 대한 강조와 더불어 결과 중심의 조직관리에 대한 강조는 공공부문에서 중요한 운영원칙으로 도입되었으며, 우리나라 또한 IMF 경제 위기 이후 공공부문에 대한 여러 제도개혁의 일환으로서 논의되었다. 이처럼 선택과 효율성 증진과 연관된 여러 제도는 민간조직의 운영방식의 장점인 성과에 대한 강조와 효율성 및 효과성의 증진을 중심으로 공공 부분 운영상 변화를 시도하였다 [3-5].

이러한 환경 변화에 따라 2000년부터 행정서비스의 집행 과정상 이용자와의 직접적인 접촉 및 관련된 업무를 수행하는 기관에 대하여 기관장 임명 및 조직관리의 재량권 보장 등을 중심으로 자율적인 기관 운영을 도입하고자 책임운영기관 제도를 중앙행정기관 소속기관에 도입, 시행하였다[3]. 주로 획일적이며 수직적인 관리형 태로 운영되는 기존 공공조직 운영원리와는 달리 책임운영기관 제도의 경우 조직 운영의 공공성을 유지하면서 민간부문의 운영원리인 경쟁과 성과 중심 관리를 강조하였다[4]. 즉 조직 운영상 민간부문의 제도를 본격적으로 수용함에 따라, 탄력적인 조직관리와 성과 계약을 통한 목표 중심의 조직관리 등을 공공부문에 도입하여 조직 운영의 유연성을 높이고자 시도하였다[5].

하지만 책임운영기관 제도 도입의 기본 취지인 조직 운영에 따른 효과는 그간 다양한 논의들이 제기되고 있으나 제도 운영에 따른 효과와 관련해서는 다소 상반된 평가가 제기되고 있다[8-10][23]. 특히 책임운영기관 제도와 관련된 기존 논의들은 주로 제도 운영이나 평가 제도 기반 마련 등과 관련된 연구들이 다수이며 운영 효과성 및 평가제도의 운영 등과 관련된 실증적인 연구는 상대적으로 활발하게 나타나지는 않았다.

2. 연구목적

본 연구는 2000년 도입 이후 지속적인 확대를 통하여 2020년 현재 53개의 책임운영기관이 운영되고 있으나 평가제도의 운영 및 운영 효과성을 중심으로 하는 실증적인 연구가 많지 않은 점에 주목하였다. 이에 따라 책임운영기관 운영에 따른 성과 여부를 판단하는 과정인 성과평가제도와 실제 운영 효과성에 대하여 현재 책임운영기관에 근무하는 구성원들에 대한 설문 조사를 통하여 실증적으로 분석, 평가제도의 효과적 운영방안을 마련하는데 이바지할 목적으로 수행되었다. 2000년 도입 시 10개의 중앙행정부처 소속 행정기관이 책임운영기관으로 지정된 이후, 20여 년 동안 책임운영기관 제도는 효과에 대한 혼재된 평가에도 불구하고 점차 확대되어 운영되고 있다. 특히 보건복지부나 통계청의 경우 소속 국립병원과 지방통계청이 모두 책임운영기관으로 지정되어 운영되고 있으며, 특허청의 경우에는 중앙책임운영기관으로 지정되어 운영되고 있다. 이러한 양적인 확대에도 불구하고 실제 운영에 있어서는 영국 등 앞서 제도를 시행한 나라들보다 상대적으로 우리나라의 경우 기관장의 자율성이나 예산의 독립성, 조직 운영의 유연성 등이 아직 제한적이며, 제도 운용상 한계를 나타내고 있다는 지적이 꾸준히 제기되고 있다[9]. 특히 책임운영기관 성과평가 제도의 경우에는 제도 운영에 따른 성과와의 연계성이 높다는 분석과 소속부처와 행정안전부의 이중적인 평가로 구성된 중복성 및 비효율성에 대한 지적 등이 모두 나타나고 있다[9][12].

따라서 본 연구는 지속해서 확대되고 있는 책임 운영 기관에 대한 성과평가 제도와 운영 효과성 간 연관성을 실증 분석을 통하여 분석하고자 한다. 특히 성과평가 제도 운영상 중요 변수인 평가 과정상 의사소통과 평가 지표의 타당성, 평가제도에 대한 기관장의 관심, 평가 결과의 활용과 성과평가 제도 운영과정의 투명성 등을 중심으로 이러한 변수들이 책임운영기관 제도 운영에 따른 효과성에 어떠한 영향을 미치는지를 구조방정식을 통하여 검증하고자 시도하였다. 또한 평가 결과의 활용과 평가제도 운영 과정상 투명성의 매개 효과에 주목하여 평가제도 결과에 대한 적절한 활용 여부와 평가제도의 운용상 투명성 여부가 책임운영기관 제도 운영에 따른 효과성에 영향을 미치는지를 검증하고자 한다. 따라서 본 연구의 결과는 책임운영기관의 성과평가제도에 대한 운영 방향 및 고려사항 등을 위해 의미 있는 시사점을 제공할 수 있을 것으로 기대한다.

Ⅱ. 이론적 배경

1. 책임운영기관 제도

공공부문 조직 운영에 있어서 효율성과 능률성 및 효과성 등 성과에 대한 논의는 우리나라에서도 1960년대 경제개발계획의 본격적인 추진 이후 꾸준히 나타났으나, 정책 결정 및 집행단계에서 관료제의 기능에 대한 강화 및 이에 대한 통제를 중심으로 제기되었다[13]. 따라서 현재 운영 중인 민간부문의 기반을 둔 공공부문의 효율성 증진 및 성과개선과 관련된 여러 제도들은 주로 1980년대 이후 제기된 민간부문의 운영원리를 중심으로 공공부문에 대한 조직 운영상의 유연성 증진 및 성과 개선에 주안점을 두고 있다[16].

책임운영기관 제도는 과거 관료제로 대표되는 전통적인 투입 중심의 정부조직 관리에 대하여, 집행 및 업무처리를 통하여 얻어지는 산출이나 결과 중심 조직관리의 도입과 관련된 여러 제도 중의 하나이다[17]. 이러한 제도 도입의 목적은 공공조직의 업무 및 서비스와 연관된 이해관계자들에 대한 강조와 제공되는 서비스의 질적 향상, 업무 시행에 따른 성과의 강조 등을 포함한다[16-18].

현행 책임운영기관 제도는 공공성을 유지하는 가운데 ‘경쟁 원리에 따라 운영하는 것이 바람직하거나’, 또는 ‘전문성이 있어 성과관리를 강화할 필요가 있는 사무’를 대상으로 책임운영기관의 장에게 행정, 재정상 자율성을 부여하고 성과에 대한 책무성을 중심으로 유지하는 행정기관을 의미한다[19]. 따라서 법적인 규정을 준용할 경우 책임운영기관은 시장 중심의 경쟁 원리를 도입하거나, 기관 업무나 서비스의 성격상 전문성이 높은 분야로서 일반적인 행정기관의 산출지표와는 다른 성과지표 및 평가의 필요성이 대두된다.

최초로 책임운영기관을 설치한 영국을 비롯한 다수의 국가에서 책임운영기관 또는 이와 유사한 운영상의 제도를 시행하고 있으며, 주로 조직 운영상 자율성 보장, 제공 서비스의 질적인 개선, 업무성과에 대한 강조 등을 그 특징으로 한다[8]. 여러 국가에서 책임운영기관 제도의 도입은 도입 시기나 운영방식 등에서 차이가 있으나, 대상기관의 업무 및 성격은 정책 집행이나 행정서비스 제공과 관련성이 높으며 성과평가 제도를 중심으로 관리 및 운영이 이루어지고 있다. 특히 책임운영기관 제도를 도입한 영국의 경우, 1988년 차량 검사기관이나 정부인쇄소처럼 비교적 업무 내용이 반복적이며, 집행 성격이 강한 기관을 대상으로 제도가 도입되었다. 이후 기관 수는 변화을 거쳐 2015년 현재 약 36개의 책임운영기관이 운영 중이다. 캐나다의 경우 책임 운영 기관 제도와 유사한 특별운영기관 제도를 시행되고 있으며, 1990년 공공사업서비스 산하의 컨설팅 및 감사 부서를 대상으로 도입되어 2015년 현재 약 13개의 특별운영기관이 운영되고 있다[8]. 일본은 1997년 책임운영기관의 성격을 가진 독립행정법인을 설립·시행하였으며, 2016년 현재 약 88개 법인이 설립되어 운영되고 있다.

우리나라의 책임운영기관 제도는 1999년 ‘책임 운영 기관의 설치·운영에 관한 법률’이 제정되어 10개 기관을 책임운영기관으로 지정, 도입되었다. 책임운영기관 제도의 도입은 기관 성격상 주로 집행적 사무를 수행하며, 성과측정 및 관리의 필요성이 있으며, 자체적인 재정수입의 가능성 등을 고려하여 결정하였다[18]. 이러한 기준에서 책임운영기관으로 지정된 기관은 각 중앙 행정기관 내에 속한 기관 중 상대적으로 집행 및 서비스 전달기관 등을 대상으로 시행하였으며, 매년 대상 기관에 대한 조정 및 2002년의 법률 일부 개정과 2004년의 책임운영기관 성격에 따른 구분 도입 등으로 세부 운영 관련 사항이 변화하였다[19]. 또한 2006년에는 대상기관 추가지정 등의 사항과 2008년 기관장 협의 절차 폐지 및 특별회계가 적용되는 행정형 책임운영기관의 설치가 가능하도록 하는 등 관련 법률을 개정하였다. 이러한 다수의 제도적 변동 및 대상기관의 조정 등을 거쳐 2020년 현재 53개 기관이 운영되고 있다[22].

2. 책임운영기관 운영 효과성

책임운영기관 제도의 운영상 주된 목적은 공공부문의 행정 가치를 유지하면서 민간부문의 경쟁 원리를 도입하여 효율성 및 생산성 등 기관 운영상 성과를 개선하는 데 있다[16][23][24]. 책임운영기관은 중앙행정기관의 소속된 소속기관이나 일반 소속 행정기관보다 기관장 임명이나 인력 운영에 있어서 상대적인 자율성이 크며, 기존 일반행정기관보다 기관 운영 시 성과에 더욱 중점을 두어 운영하는 제도적 특징을 가진다[24]. 따라서 책임운영기관의 도입 및 운영을 통해 나타날 것으로 기대되는 효과는 주로 집행중심의 기관을 대상으로 기관 업무의 집행에 따라 얻어지는 산출이나 결과의 개선 및 향상 등을 우선적으로 고려할 수 있다[15][25].

이에 따라 책임운영기관 제도를 통하여 기대되는 운영 효과성은 업무처리 프로세스의 향상이나 처리 과정에서의 비능률적인 부분에 대한 개선 등을 통한 기관 업무 및 서비스의 전반적인 효율성 향상을 의미한다. 또한 성과평가를 통하여 이용자나 이해관계자들의 편의성, 필요성, 업무 결과에 관한 관심 및 수요에 대한 반응 등이 중요하게 고려되었다. 이러한 의미에서 이해 관계자들의 업무 및 서비스에 대한 인식과 관련된 이용 만족도의 향상이나 내부 조직구성원들의 업무 과정상 개선에 대한 인식 및 업무 관련 의사소통의 증진 등을 책임운영기관의 직접적인 운영 효과성으로 판단할 수 있다.

운영 효과와 관련된 기존의 연구 및 조사 또한 책임운영기관의 운영 효과는 주로 내부 프로세스의 향상을 통하여 내부 효율성을 증진하거나, 기관 업무 및 서비스와 관련된 이용자를 비롯한 외부 이해관계자들의 인식개선과 연관성이 높다고 제시되었다[9][26][27]. 영국의 경우 책임운영기관 제도 시행 결과 전체 공무원 수가 약 15% 정도 절감된 것으로 나타났으며, 제도 도입 초기에는 기관 운영에 필요한 경비가 전년 대비 약 4.7% 정도 절감된 것으로 보고되었다[26]. 우리나라 또한 고객만족도 및 서비스 수준, 재정자립도 등 주로 조직의 내부적 효율성과 관련된 부분이 책임운영기관의 주요 운영 효과로 제시되었다[28][10].

그러나 이러한 책임운영기관 제도 운영에 따른 가시적인 효과성에도 불구하고, 우리나라에서 현재 운영 중인 제도는 영국을 비롯한 다수의 나라에서 제도와 운영 원칙 및 주안점 등은 다소 차이가 큰 것으로 지적된다 [29]. 특히 여러 나라에서 시행 중인 책임운영기관 운영상 특징 중 하나인 소속 중앙행정기관에 대하여 일반행정기관보다 상대적으로 운영상 자율성을 보장하거나, 기관장에 대한 업무 및 조직관리에 대한 전반적인 권한을 위임하며, 성과관리의 도입에 따른 개인별 성과 보상 등과의 강한 연계성 등 제도의 특성을 최대한 고려하는 부분에서 다소 미흡한 점이 있는 것으로 나타나고 있다 [11]. 특히 일반행정기관과 운영상에는 사실상 큰 차이가 없으나, 상위행정기관의 주요 업무에 대한 성과평가와 기관 운영과 관련된 총괄기관으로서 행정안전부의 조직 운영상 성과평가가 각각 이중으로 매년 시행됨에 따라 기관 조직구성원들은 자율성 및 성과에 따른 보상은 높지 않은 가운데 행정부담만이 가중되었다는 각 기관 조직구성원들의 불만이 최근 들어 대두되고 있다 [12][30]. 이러한 맥락에서 현재 운영 중인 책임운영기관 제도의 운영 효과성은 내부 프로세스와 관련된 효율성 및 외부 이해관계자에 대한 반응성 증진과 같이 주로 기관 운영과 관련된 부분과의 연관성이 높다고 할 수 있으며, 현재 운영 중인 평가제도는 그 이중적인 평가구조로 인하여 기관 운영에 대한 사항을 제한적으로 반영하고 있다.

3. 책임운영기관 성과평가

책임운영기관은 제도의 운영 취지에 맞추어 기관 운 영상 자율성 증진 및 유연성 제고를 중심으로 성과 중심의 관리를 통하여 기관의 성과에 대한 전반적인 제고를 목표로 한다. 따라서 책임운영기관의 성과평가와 관련된 제도 역시 이러한 점을 고려하여 구성되었다. 특히 책임운영기관에 대한 성과 평가제도는 책임운영기관의 구조적 특징인 소속 행정기관과 기존의 직접적인 지휘·감독 관계와는 다른 계약관계인 점을 평가제도 운영구조에 반영하였다. 즉 책임운영기관 성과평가는 평가제도 수행을 위한 별도의 심의기구인 ‘책임운영기관 운영심의회’를 소속책임운영기관별로 설치하여 운영하며, 각 기관의 성과 여부를 결정하는 최종평가의 경우에는 현행 총괄기관인 행정안전부에 소속된 ‘책임 운영 기관 운영위원회’에서 수행하는 이원적인 구조로 되어 있다. 따라서 이러한 구조 내에서 책임운영기관에 대한 평가는 소속책임운영기관과 소속 중앙행정기관 내에서 수행되는 ‘고유사업평가’와 행정안전부의 주관으로 시행되는 ‘관리역량평가’로 구성된다.

이러한 현행 책임운영기관 성과평가 제도는 소속 책임운영기관에 대하여 주요 업무와 이와 관련된 기관의 제공 서비스에 따른 성과와 조직 운영과 관련된 업무 및 고객서비스와 관련된 결과에 대하여 각각 분리하여 평가함에 따라, 동일 성과에 대한 평가의 중복 및 관련된 성과관리 업무의 운영상 중복이 나타날 수 있다는 점에서 제도개선의 필요성이 지속해서 제기되고 있다 [20][21]. 이러한 이중적인 평가구조 내에서 행정안전부는 ‘책임운영기관운영위원회’를 통하여 관리역량 및 각 소속책임운영기관에 대한 소속 중앙행정기관이 시행한 평가에 대하여 적절성을 평가하며, 평가시행은 매년 평가단을 독립적으로 구성하여 운영되고 있다.

고유사업평가는 각 소속책임운영기관의 자체 사업의 운영성과 및 실적 등을 평가하며, 각 소속책임운영기관 의 제도개선과 조직관리와 관련된 내용 등을 중심으로 확인한다. 각 소속책임운영기관은 연도별 사업계획을 수립·제출하고, 소속책임운영기관심의회를 거쳐 전략목표와 성과목표 및 성과지표를 확정한 후 이를 기반으로 고유사업 및 관리역량평가를 시행하고 있다. 이러한 과정에서 중점을 둔 사항은 책임운영기관의 운영원칙 중 하나인 성과관리를 중심으로 하는 조직관리에 대한 강조이다. 즉 성과목표와 성과지표에 대한 부분을 중심으로 성과지표의 설계 및 목표치에 대하여 구체적인 기준을 설정, 적용함으로써 각 소속책임운영기관이 준수하도록 규정하고 있다[22].

이러한 책임운영기관 성과평가 제도의 이중적인 구조 운영은 각 소속 행정기관의 고유사업에 대한 성과평가와 행정안전부에서 주관하는 관리역량에 대한 성과 평가의 목표 및 방향, 성과지표의 성격 등에서 차이가 있으므로 성과평가 제도 운영을 통한 전반적인 업무 개선이나 평가에 관련된 의사소통의 증진, 조직 운영상 효과성 향상 등은 부분적인 효과만이 나타날 여지가 있다[31]. 따라서 본 연구는 책임운영기관 성과평가 제도에 주요 변수인 평가 운영상 의사소통과 평가지표의 타당성, 평가제도에 대한 기관장의 관심이 평가 결과의 활용 및 평가 운영 과정상의 투명성을 매개하여 제도 운영 효과성에 영향을 미칠 것으로 파악하여 검증을 시도하였다.

이와 같은 이론적 배경에서 본 연구는 다수의 선행 연구에서 책임운영기관 제도의 운영상 효과성에 대하여 다소 상반된 분석을 제기한 점과 현재 책임운영기관의 성과평가의 이중적인 운영구조에 대한 지속적인 개선 요구가 나타는 점에 주목하였다[20-22][31]. 따라서 본 연구는 책임운영기관에 대한 성과평가 제도와 기관 운영에 따른 효과 간의 연계성에 주목하였다. 즉 책임운영기관에 대한 성과평가 제도의 주요 변수들이 기관 운영에 따른 효과성에 어떠한 영향을 미치는지를 실증분석을 통하여 분석하였다.

4. 연구모형

책임운영기관 성과평가 제도는 상기한 바와 같이 이원화 된 절차로 구성, 집행됨에 따라 기관의 업무를 두 가지로 구분하여 평가하는 특징을 나타내고 있다[8]. 즉 기관 운영에 따른 업무 및 서비스 등에 대한 평가는 소속 중앙행정기관 내에 구성된 자체평가단을 통하여 소속 책임운영기관 운영심의회에서 결정하며 이러한 구조는 성과평가 객관성과 신뢰성의 한계를 내포하고 있다고 지적한다[32]. 또한 조직관리 및 인력관리, 재무성과 등 전체 책임운영기관에 대하여 공통적인 적용이 가능한 분야에 대한 관리역량 평가는 총괄부서인 행정안전부에서 매년 종합평가단을 구성, 평가한 후 소속책임운영기관 운영위원회에서 성과평가의 종합 결과를 정하는 구조이다. 따라서 성과평가의 최종결과는 주로 내부적인 프로세스나 기관장의 리더십 등 총괄부서 주관 업무와 관련성이 얼마나 높은지에 따라 결정되는 경향을 보이며 책임운영기관의 운영 효과는 주로 기관이 고유 업무에 대한 질적인 개선과 같은 면보다는 내부적인 행정 프로세스 개선 및 재무성과 부분을 중심으로 평가될 여지가 있다.

따라서 책임운영기관이 주로 정책 집행의 실무적인 부분을 다루는 일선 기관을 대상으로 운영된다는 점에서 제도의 운영 효과성과 관련된 성과평가 제도의 요소 들은 가시적인 업무효과 및 개선 등을 상대적으로 쉽게 나타낼 수 있는 성과지표가 제도 내에서 얼마나 적절히 마련되었는지 여부와 연관성이 높다고 할 수 있다. 또한, 각 책임운영기관의 정책 및 업무환경, 의사소통 스타일 등의 영향력 역시 평가제도 운영에 미치는 영향이 클 것으로 여겨지며 단년도 평가로 이루어지는 책임운 영기관 성과평가 제도의 특성상 얼마나 평가 결과를 중심으로 적절한 활용이 나타나는지가 제도의 운영 효과성에 영향을 미칠 수 있다. 이와 더불어 소속책임 운영 기관은 각 기관의 주요 업무에 대한 소속 중앙행정기관의 성과평가와 최종 성과평가의 경우 총괄 중앙행정기관이 시행하는 구조로 구성되는 점에서 얼마나 성과평가 제도의 평가과정이 객관적이며, 운영상 투명성을 확보하는지 여부 또한 제도의 운영 효과에 큰 영향을 준다고 할 수 있다[8]. 따라서 이러한 요인들을 고려할 때, 책임운영기관 성과평가 제도 중 평가 결과의 활용과 평가과정의 투명성이 얼마나 적절하게 이루어지는 여부가 제도 운영에 따른 효과성에 영향력을 미친다고 볼 수 있다.

이와 더불어 책임운영기관 성과평가 제도의 특성상 성과와 관련된 의사소통의 정도와 평가제도의 구성요소 중 가장 주안점을 두고 운영되는 성과 평가지표의 타당성 여부, 성과 계약으로 이루어지는 기관장이 얼마나 평가제도에 관하여 관심을 가지는지 여부 등이 평가 결과의 활용과 투명성에 영향을 끼친다고 파악할 수 있다. 이러한 연관 관계를 고려하여 본 연구의 모형을 설정하였다[그림 1].

그림 1. 본 연구의 분석모형

5. 가설

앞서 [그림 1]에서 제시한 본 연구의 분석 틀을 중심으로 책임운영기관 제도 운영의 효과성에 영향을 미치는 성과평가 제도 내 변수와의 연계성을 중심으로 가설을 설정하였다. 또한, 책임운영기관 성과평가의 경우 기존 행정조직보다 성과관리에 대한 주안점이 높은 특징을 가진 제도인 점을 고려하였다. 이러한 의미에서 책임운영기관 제도 시행을 통한 효과성의 여러 요인 중에서 본 연구의 사용된 변수들은 책임운영기관 성과평가 제도의 이원적 평가 제도상 특징을 고려하여 설정하였다. 따라서 책임운영기관의 특성상 성과평가 제도의 운영과 관련하여 이와 관련된 의사소통이 조직 내에서 얼마나 일어나고 있는지 정도는 제도가 실제 행정환경에서 적절히 운영되고 있는지를 판단할 수 있는 적절한 기준이라고 할 수 있다[33]. 또한, 성과지표의 경우 성과관리의 특성상 성과지표를 중심으로 해당 업무에 대한 측정과 평가가 이루어지는 점에 주목하여 목표 및 성과에 대한 판단기준으로서 성과지표가 얼마나 타당한지는 성과평가 결과에 대한 인식 및 결과 활용에 영향을 크게 미치며, 업무개선 여부와도 밀접하게 관련된다는 점을 고려하였다[34][35]. 이와 더불어 공공조직의 특성상 책임운영기관 또한 기관장이 얼마나 제도 운영에 관하여 관심을 보이는지가 제도의 유용성 및 효과에 크게 영향을 끼친다는 점을 중요하게 판단하였다 [36]. 책임운영기관 제도의 경우 성과 계약을 통하여 기관장 채용이 결정되며, 기관장 임기 및 성과급, 예산 활용 등이 성과평가 결과의 영향을 어느 정도 받기 때문에, 기관장이 얼마나 관심을 가지고 성과평가 결과를 활용하며, 운영과정에서 적절히 운영하는지 여부는 제 도운영 효과성에 영향을 미칠 수 있다.

성과평가 제도 운영의 목적은 지속적인 기관 운영상 성과개선이라는 점을 고려할 때, 성과평가 결과의 활용 여부는 제도 운영을 통한 효과성 증진과 높은 연관성을 가진다[35]. 특히 성과평가 결과의 활용은 조직 운영상 단순한 평가 결과에 따른 순위 및 달성도 여부보다는 적극적인 업무개선 여부와 관련되며[38], 책임운영기관과 같이 지속적인 운영 효과와 관련된 제도의 경우 그중 요도가 더욱 높다고 할 수 있다. 특히 책임운영기관 성과평가제도의 경우 각 기관의 핵심사업에 대한 평가와 기관 운영상 효율성과 관련된 평가가 이원적으로 운영됨에 따라 조직구성원들이 평가과정과 관련되어 얼마나 투명하고 적절하게 운영되고 있는지에 대한 인식은 성과평가 제도를 통한 운영 효과성의 증진에 영향을 크게 미칠 수 있다[39]. 이러한 의사소통, 성과평가지표, 기관장 관심 및 결과 활용과 평가과정 투명성의 운영 효과에 대한 매개 효과를 중심으로 본 연구의 가설은 다음과 같다.

가설 1-1. 성과평가 제도에 관한 의사소통이 많을수록 성과평가에 따른 평가 결과 활용 수준이 높아질 것이다

가설 1-2. 성과평가지표가 타당할수록 성과평가에 따른 평가 결과 활용 수준이 높아질 것이다.

가설 1-3. 성과평가 제도에 대한 기관장의 관심이 클수록 성과평가에 따른 평가 결과 활용 수준이 높아질 것이다

가설 2-1. 성과평가 제도에 관한 의사소통이 많을수록 평가과정의 투명성이 높아질 것이다.

가설 2-2. 성과평가지표의 타당성이 높을수록 평가 과정의 투명성이 높아질 것이다.

가설 2-3. 성과평가 제도에 대한 기관장의 관심이 클수록 평가과정의 투명성이 높아질 것이다.

가설 3-1. 성과평가에 따른 평가 결과 활용 수준이 높을수록 제도운영의 효과성은 높아질 것이다.

가설 3-2. 성과평가 과정의 투명성이 높을수록 제도 운영의 효과성은 높아질 것이다.

가설 4. 성과평가 제도에 관한 의사소통, 평가지표 타당성, 기관장의 관심은 평가 결과의 활용과 평가 과정 투명성을 매개하여 제도 운영의 효과성에 긍정적인 영향을 미칠 것이다.

Ⅲ. 연구 설계 및 분석

1. 자료수집 및 표본의 특성

본 연구에서 제시된 가설검증을 위한 분석대상의 선정을 위하여 책임운영기관은 2020년 기준 53개의 기관이 23개 부처에 걸쳐 소속되어 있음에 따라 외부환경에 대한 통제를 고려하였다. 즉 단일 중앙부처인 통계청에 속해있으며, 상대적으로 각 기관별 정원이 비교적 고르게 분포되어 있는 지방통계청을 대상으로 선정하였으며, 책임운영기관 제도에 대한 개선 요구가 지방 통계청을 중심으로 지속적으로 제기되고 있는 점 또한 고려하였다[12][30].

자료수집은 2017년 10월 중 약 2주에 걸쳐 현재 재직 중인 직원들에게 내부 전산망을 통하여 배포하였다. 설문대상은 약 1, 430명을 대상으로 하였으며, 약 510명이 설문에 접속, 참여하였다(참여율 36%). 최종분석에서는 결측값을 가진 표본을 제외하였으며, 총 505명이 활용되었다. 표본의 인구통계학적 특성은 [표 1]과 같다. 소속의 경우 지방청 본부 소속이 224명(44.45), 사무소 소속이 281명(55.6%)이었으며, 직급의 경우, 5급 이상 36명(7.1%), 6급 130명(25.7%), 7급 184명 (36.4%), 8급 115명(22.8%), 9급 40명(7.9%)으로 나타났다. 연령의 경우 20세에서 29세가 39명(7.7%), 30세에서 39세가 106명(21.0%), 40세에서 49세가 154명 (30.5%), 50세에서 59세가 154명(30.5%), 60세 이상 이 1명(0.2%)으로 나타났다. 업무 분야에 있어서 현장 조사가 279명으로 과반수를 차지하였고(55.2%), 다음으로는 조사행정 93명(18.4%), 회계 38명 (7.5%), 기획 및 성과 35명(6.9%), 인사 18명(3.6%)으로 나타났으며, 기타 분야는 42명(8.3%)이었다. 근무연수는 5년 이하 94명(18.6%), 6년에서 10년이 54명(10.7%), 11년에서 15년이 71명(14.1%), 16년에서 20년이 71명(14.1%), 21년에서 25년이 100명(19.8%), 26년에서 30년이 84 명(16.6%), 31년 이상이 31명(6.1%)으로 나타났다. 성별의 경우 남성 270명(53.5%), 여성 235명(46.5%)으로 나타났다. 학력의 경우 고등학교 이하가 48명 (9.5%), 전문대 65명(12.9%), 대학교 343명(67.9%), 대학원 이상이 46명(9.1%)으로 나타났다.

표 1. 표본의 인구 사회학적 특성

2. 변수의 측정 및 분석 방법

2.1 변수의 내용과 측정

본 연구에서 사용된 개념을 측정하기 위한 측정 도구는 다음과 같다. 본 연구의 종속변수는 책임운영기관 제도의 운영 효과성으로 선행연구 및 분석을 바탕으로 7개의 문항으로 구성하였다[10][21-23]. 구체적으로는 업무 프로세스 개선, 조직관리 개선, 업무 효과성 증진, 업무 효율성 증진, 업무 관련 의사소통 증진, 업무성과 관심 증진, 외부고객 서비스 개선으로 이루어졌다. 다음으로 의사소통은 총 6개 문항으로 측정하였으며, 담당자 피평가자 간 논의, 기관 운영 논의, 전략목표 설정 논의, 평가제도 논의, 보상제도 논의, 평가 결과 중심 과별 /개인별 논의로 구성되었다. 평가지표 타당성은 5개의 문항으로 측정하였으며, 업무 집행 문제점 판단기준, 업무 운영 방향 설정, 평가지표 구성 관련 담당자 간 논의, 업무 평가 기준, 논리성 등으로 구성되었다. 기관장 관심은 총 6개 문항으로 측정하였으며, 평가 결과 관심, 책임운영기관 제도 관심, 책임운영기관 운영과정 이해, 실무자와 주기적 의견교환, 책임운영기관 제도 운영 지원, 평가 결과 의견교환으로 이루어졌다.

매개변수인 결과 활용과 평가과정 투명성은 각각 7개 문항과 5개 문항으로 측정하였다. 결과 활용 측정에 사용된 문항은 직원 업무참고자료, 업무 신설 및 조직 개편, 인사이동, 예산 배정, 기관장 업무참고자료, 사업운영, 성과급 지급 등이며, 평가과정 투명성에 사용된 문항은 평가과정 타 부처 의견공유, 평가과정 타청 의견 공유, 평가과정 본청 의견공유, 평가내용 외부 전문가 의견공유, 평가과정 운영의 투명 여부 등으로 구성된다. 모든 설문 항목은 Likest 식 5점 척도(① 전혀 아니다 ② 대체로 아니다 ③ 보통이다 ④ 대체로 그렇다 ⑤ 매우 그렇다)를 사용하여 측정하였다.

2.2 분석 방법

본 연구의 가설을 검증하기 위해서 구조방정식 모형 (structural equation modeling)을 사용하였다. 구조 방정식은 독립변수의 측정오차(measurement error)를 분석과정에서 반영함으로써 추정값들의 신뢰도를 높이고 보다 더 정확한 분석을 가능하게 하며, 여러 변수가 상호 복잡한 구조적인 관계가 있는 경우, 직접 효과와 간접효과를 추정함으로써 변수 간의 인과관계를 한층 더 정확하게 파악할 수 있다는 장점이 있다. 이와 같은 이유로 인간의 인식과 행태연구에 있어서 복잡한 인과관계를 검증하는 경우 널리 활용되는 분석방법으로서 인정되고 있다[38]. 본 연구에서는 구조방정식 분석을 위해서 AMOS 18.0을 사용하였으며 가설검증에 앞서 변수의 타당도와 신뢰도를 검증하기 위해 탐색적 요인분석(exploratory factor analysis)과 크론바하 알파 계수를 활용한 신뢰도 분석, 그밖에 변수의 기초 통계 분석을 위하여 SPSS 18.0을 사용하였다.

Ⅳ. 분석 결과

1. 변수의 타당성 및 신뢰도 분석

본 연구에서 사용된 측정 도구의 타당도 검증을 위해 서는 총 3단계의 분석 방법을 사용하였다. 먼저 측정 도구들의 최적화된 조합을 찾기 위해 베리 맥스(varimax) 직교 회전 방식을 사용한 탐색적 요인분석을 실시하였으며, 이 과정에서 요인적재량(factor loading)이 0.4 이하로 나타난 항목을 제외하였다. 이 과정에서 의사소통 측정에 활용되었던 ‘평가 결과 중심 과별, 개인별 논의’, 평가지표 타당성 측정에 활용된 ‘평가지표 구성 관련 담당자 간 논의’ 문항은 최종분석에서 제외되었으며, 나머지 문항들은 모두 이론적 논의를 통해서 기대한 바와 같이 6개의 변수로 추출되었다. 최종적으로 분석에 사용된 문항은 다음 [표 2]에 제시되었다.

표 2. 타당도 및 신뢰도 분석 결과

다음으로 탐색적 요인분석을 통해 도출된 문항들로 구성된 변수의 타당성을 최종적으로 검증하고 관측변수와 잠재변수 간의 관계를 확인하기 위해 AMOS를 활용한 측정모형(measurement model)을 구성하여 확인적 요인분석(confirmatory factor analysis)을 하였다. 분석 결과, 측정모형의 모형적합도(model fit)는 CFI=0.902, IFI=0.911, NFI=0.882, RMSEA=0.074 등으로 대부분 기준을 충족하는 것으로 나타났다.

최종적으로 선정된 변수들의 신뢰도를 검증하기 위해 Cronbach’s alpha를 활용한 신뢰도 분석을 시행하였으며, 최소 0.885부터 최대 0.965로 나타나 일반적으로 제시되는 충족기준(0.7 이상)을 충족하는 것으로 나타났으며, 분석 결과는 [표 2]와 제시되었다.

2. 기술통계 및 상관관계 분석 결과

변수의 기술통계 분석 결과는 다음 [표 3]에 제시하였다. 본 연구의 종속변수인 제도 운영 효과성의 평균값은 2.93(표준편차=0.95)으로 나타나 보통 수준(3)보다는 다소 낮게 나타났다. 의사소통의 평균값은 3.52(표준편차=0.72), 평가지표 타당성은 3.55(표준편차=0.78), 기관장 관심은 4.03(표준편차=0.64)으로 보통 수준보다는 높게 나타나 비교적 긍정적인 인식이 높음을 알 수 있다. 매개변수의 경우, 평가 결과 활용의 평균값은 3.41(표준편차=0.62), 평가과정의 투명성 평균값은 3.40(표준편차=0.69)으로 나타나, 역시 보통 수준보다는 높게 인식하고 있음을 알 수 있다.

표 3. 기술통계 분석 결과

변수 간의 상관관계 분석 결과는 다음 [표 4]에 제시하였다. 제도 운영 효과성은 평가과정의 투명성과 가장 높은 상관관계를 가진 것으로 나타났으며 통계적으로도 유의미하게 나타났다(r=0.616, p<.01).

표 4. 상관관계 분석 결과

다음으로 평가지표 타당성(r=0.581, p<.01), 의사소통(r=0.530, p<.01), 평가 결과 활용(r=0.515, p<.01), 기관장 관심(r=0.361, p<.01) 순으로 나타났다. 그밖에 다른 변수 간의 관계에서도 모두 이론적 가정과 동일하게 정(+)의 상관관계를 갖는 것으로 나타났으며, 통계적으로도 유의미하게 나타났다.

3. 가설검증 결과

본 연구의 가설을 검증하기 위하여 최종적으로 구조 모형(structural model)을 구성하였다. 모형 구성 결과 구조모형의 적합도는 CFI=.904, IFI=.904, NFI=.875, TLI=.895, RMSEA=.076 등으로 대부분의 적합도 평가 지수는 일반적으로 분석에 적합한 기준값으로 제시되는 기준을 충족하는 것으로 나타났다. 변수 간의 직접 효과와 독립변수들이 종속변수에 미치는 간접효과를 검증하였으며, 분석 결과 제도 운영 효과성의 다중상관제 곱값(squared multiple correlations)은 0.434로 나타나 독립변수들에 의해서 약 43.4%의 변량이 설명되는 것으로 나타났다.

변수 간의 직접 효과에 대한 검증 결과는 [표 5]에 제시하였다. 평가 결과 활용에 대해서 평가지표의 타당성은 긍정적인 영향을 미치고 있으며(0.376, p<.001) 통계적으로도 유의미한 것으로 나타났다(가설 1-2 채택). 기관장 관심 역시 평가 결과 활용에 긍정적인 영향을 미치며(0.134, p<.01) 통계적으로 유의미하지만, 의사소통의 효과는 통계적으로 유의미하지 않은 것으로 나타났다. 따라서 가설 1-3은 채택되었으나 가설 1-1은 기각되었다. 평가과정 투명성에 대해서 모든 독립변수의 영향은 이론적 가정에서와 일치되게 긍정적인 것으로 나타났으며, 통계적으로도 유의미하였다. 평가지표 타당성의 경우 가장 큰 효과를 미쳤으며(0.395, p<.001), 다음으로 의사소통(0.267, p<.001), 기관장 관심 (0.117, p<.05) 순으로 나타났다. 즉, 가설 2-1, 2-2, 2-3은 모두 채택되었다. 제도 운영 효과성에 대해서는 평가 결과 활용은 정(+)의 영향을 미치고 있으며(0.400, p<.001) 통계적으로도 유의미하였으며, 평가과정 투명성 역시 긍정적인 효과를 미치는 것으로 나타났다 (0.795, p<.001). 즉 가설 3-1과 3-2도 모두 채택되었다.

표 5. 관측변수의 영향력 및 가설검증 결과 경로

다음으로 매개모형의 간접효과를 검증하기 위하여 부트스트래핑(bootstrapping)을 수행하여 의사소통, 평가지표 타당성, 기관장 관심이 매개변수를 통해 제도 운영 효과성에 미치는 전체 간접효과의 통계적 유의성을 검증하였다. 다음 [표 6]에 제시된 바와 같이 의사소통은 제도 운영 효과성에 대하여 긍정적인 영향을 미치고 있지만, 통계적으로 유의미하지는 않았다. 평가지표 타당성의 경우에는 긍정적인 영향을 미치며 통계적으로도 유의미한 것으로 나타났으며(0.353, p<.05), 기관장 관심 역시 통계적으로 유의미한 정(+)의 간접효과를 갖는 것으로 나타났다(0.101, p<0.1).

표 6. 매개효과(indirect effect)의 영향력 가설검증 결과

Ⅴ. 결론

본 연구는 제도 도입 이후 20년이 지난 책임운영기관 제도의 운영 효과성과 성과평가에 대하여 구성원들의 설문을 통한 실증적인 분석을 시도하였다. 책임운영기관 제도는 조직 운영상 자율성과 책임성을 강조하며, 집행기관의 성과와 고객 지향성을 향상하고자 제도 도입과 운영이 이루어져 왔다[5][8][22]. 이에 따라 책임운영기관 제도의 도입 및 운영에 따라 기관의 전문성 및 효율성의 제고와 성과향상이 나타날 것으로 기대하였으나, 아직 제도 운영에 따른 효과는 긍정과 부정이 혼재되어 제기되고 있다[20][21][41]. 본 연구는 이러한 책임운영기관 제도의 효과성에 대한 불명확한 평가에 대한 실증적인 분석 및 현재 운영 중인 책임운영기관 성과평가제도 간의 연관성을 분석하여, 실제 평가제도의 운영과정과 관련된 변수들이 운영 효과성에는 어떠한 연관성을 나타내는지에 대한 분석을 시도하였다[8].

본 연구결과에 따르면 책임운영기관 조직구성원들의 제도 운영 효과성에 대한 인식은 평균보다 낮은 수준으로(평균값=2.9/5점), 낮은 편으로 조사되었다. 특히 이러한 결과는 최근 책임운영기관 운영에 대한 소속 공무원 및 분석에서 제기된 제도 운영상 문제점과 같은 맥락으로 제도 운영 효과성 제고를 위한 정책적 고려가 필요한 점을 나타낸다고 할 수 있다[10][28]. 또한 본 연구의 분석 결과 책임운영기관 조직구성원들은 성과평가제도에 대한 타당성과 기관장들의 평가제도에 관한 관심은 높으며, 성과평가 제도의 운영 자체와 기관장들의 기관 운영에 관한 관심 여부는 긍정적으로 인식하고 있는 것으로 나타났다. 이는 책임운영기관의 긍정적인 효과와 관련된 기존 연구와 유사한 결과로서[7][8], 본 연구의 결과 역시 책임운영기관 제도의 운영 효과는 긍정적인 부분과 부정적인 부분이 모두 나타났음을 의미한다.

본 연구의 구조방정식 모델을 통한 가설검증 결과 의사소통이 평가결과 활용에 미치는 영향을 제외하고는 모든 경로의 통계적 유의미성이 입증되었으며, 이론적 논의를 통해 제시하였던 가설과 일치하는 방향으로 긍정적인 영향을 미치는 것으로 나타났다. 그중에서도 평가지표 타당성과 평가과정 투명성 간의 직접적인 효과와 평가과정 투명성과 제도 운영의 효과성 간의 직접적인 영향력이 가장 큰 것으로 나타났다. 평가지표의 타당성은 평가 결과의 활용에도 상대적으로 큰 영향을 미치고 있으며, 평가 결과의 활용에 대한 긍정적인 인식이 클수록 제도 운영의 효과성에 대한 인식에도 긍정적인 영향을 미치고 있는 것으로 나타났다.

이러한 결과는 책임운영기관의 운영과 관련된 제도적 측면인 성과지표와 성과 계약으로 이루어지는 기관장의 기관 운영 성과에 관한 관심 및 노력 등은 책임운영기관 제도 운영은 당초 의도된 방향으로 운영되고 있음을 나타낸다[20][30]. 특히 성과지표의 타당성이 책임 운영 기관 운영 효과성에 긍정적인 영향을 미치며, 평 가결과의 활용 및 평가 과정상 투명성과도 긍정적인 매개 효과가 있는 것으로 확인된 점은 책임운영기관과 같이 운영상 자율성과 재량권을 특징으로 하는 제도의 경우 성과지표가 평가제도 운영에 있어서 중요한 요소로 작용하고 있다는 것을 의미한다.

평가결과의 활용 및 평가과정 투명성의 매개 효과는 타당하게 선정된 평가지표가 기관의 전체적인 목표 달성을 위한 지침으로써 업무 과정에 반영되고 이를 통해 도출된 평가 결과가 기관의 운영을 위한 조직, 인사, 예산 등 전반에 걸쳐 활용되며 평가과정상 투명성이 확보되는 경우에는 성과평가와 조직운영에 따른 운영 효과성 간의 긍정적인 연관성이 있다고 할 수 있다.

하지만 책임운영기관 성과평가제도 운영에서 조직 구성원들과 기관장 및 소속 중앙행정기관과의 활발한 의사소통이 중요함에도 불구하고[34], 본 연구의 결과에 따르면 평가와 관련된 과정적 의사소통은 평가과정의 투명성에는 긍정적인 영향을 미치나, 결과 활용 및 운영 효과성에는 영향을 미치지 않는 것으로 나타나고 있다. 이는 책임운영기관의 운영 및 성과평가제도의 시행에 있어서 실제 업무를 담당하는 조직 구성원들이 조직 운영 및 성과평가제도에 대한 참여와 이해도가 높지 않은 점을 의미한다. 따라서 책임운영기관 운영 및 평가에 있어서 얼마나 조직 구성원들과 성과평가제도에 관한 의사소통이 나타나고 있으며, 조직 구성원들이 현재 성과평가제도에 대하여 어떠한 인식을 하고 있는지에 대하여 면밀하게 확인할 필요가 있다.

본 연구 결과에 따르면 책임운영기관제도의 운영 효과성에 대한 인식이 상대적으로 낮으며, 성과평가의 운영과 관련되어 의사소통이 평가자와 피평가자 등 이해관계자들 사이에서 활발하지 않으며, 성과평가 결과 활용 및 운영 효과성에 대하여 영향을 미치지 못하고 있는 점은 제도 운영에 있어서 추가적인 고려가 필요하다는 점을 시사한다고 할 수 있다. 따라서 평가와 관련된 이해관계자들 간의 소통 증진을 위한 제도적 고려가 요청되며, 이와 관련된 프로그램 및 과정상의 고려가 필요하며, 본 연구 결과가 이와 관련된 후속 연구에 다소나마 이바지하기를 기대한다.