An Example-based Korean Standard Industrial and Occupational Code Classification

예제기반 한국어 표준 산업/직업 코드 분류

Coding of occupational and industrial codes is a major operation in census survey of Korean statistics bureau. The coding process has been done manually. Such manual work is very labor and cost intensive and it usually causes inconsistent results. This paper proposes an automatic coding system based on example-based learning. The system converts natural language input into corresponding numeric codes using code generation system trained by example-based teaming after applying manually built rules. As experimental results performed with training data consisted of 400,000 records and 260 manual rules, the proposed system showed about 76.69% and 99.68% accuracy for occupational code classification and industrial code classification, respectively.

통계청에서 실시하는 통계 조사에는 한국 표준 산업/직업 분류 코드를 작성하는 작업이 많이 포함되는데, 현재 대부분의 코드 분류 작업은 수작업으로 이루어지고 있으며, 이로 인하여 막대한 노동력과 비용이 소모되고 작업결과의 일관성을 유지하기 어렵다는 문제점이 있다. 본 논문은 수동 코드 분류 규칙과 예제기반의 자동 학습을 이용하는 한국어 표준 산업/직업 코드 자동 분류 시스템을 제안한다. 제안된 시스템은 산업과 직업에 대하여 설명하는 자 연어를 입력받아 해당 산업/직업 분류 코드를 생성하는 시스템으로 수작업으로 구축된 규칙을 적용한 후 규칙이 적용되지 않는 레코드는 예제 기반의 학습을 이용한 자동 분류 시스템에 의해서 해당 코드를 할당한다. 수작업 규칙 260여개와 40만여개의 예제를 이용하여 학습한 시스템에 대하여 실험한 결과 제안한 시스템은 직업 코드 분류에서 76.69% 그리고 산업 코드 분류에서는 99.68%의 정확도를 보였다.