A Study on Phased Reading Techniques of Mathematical Expression in the Digital Talking Book

디지털 음성 도서에서 MathML 수식의 수준별 독음 변환 기법

Abstract

Until now, there were few supports on reading the mathematical expressions except text based expressions, so it is important to provide the reading of the mathematical expressions. Also, there are various of obstacles for people who are not visually impaired when reading the mathematical expressions such as the situation of presbyopia, reading the mathematical expressions in the vehicles, and so on. Therefore, supports for people to read mathematical expressions in various situations are needed. In the previous research, the main goal was to transform the mathematical expressions into Korean text based on Content MathML. In this paper, we expanded the range of the research from a reading disabilities to people who are not reading disabilities. We tested appropriacy of the rules we made to convert the MathML based expressions into speech and defined 3 math-to-speech rules in korean based on levels. We implemented the mathematical expressions by using 3 math-to-speech rules. We took comprehension test to find out whether our math to speech rules are well-defined or not.

1. 서 론

최근 독서 환경 개선을 위한 다양한 독서 장애인용 디지털 음성 도서 기술이 개발되면서 장애인용 전자책 시장이 활성화되어가고 있다. 특히 DAISY 형식으로 작성된 XML 기반의 전자책은 많은 독서 장애인들이 사용하고 있다.

현재까지는 텍스트를 제외한 특수 콘텐츠, 특히 수학 기호의 독음은 아직까지 미흡하여 수식 표현을 제공하는 것이 필요하다. 또한 시각 장애인뿐만 아니라 일반인이 여러 단말기를 통하여 웹을 접근할 때 나타날 수 있는 여러 장애가 존재한다. 예를 들어, 한 손으로 모바일 기기를 사용하는 상황, 버스에 앉아서 기기를 사용하는 상황, 노안으로 인해 기기를 정상적으로 볼 수 없는 경우 등이 있다. 그러므로 일반인이 사용하기에도 적합한 수식 독음을 위해 연구의 대상을 확장하는 것이 필요하다. 그러므로 다양한 환경 및 상황에 따른 대상자 확장을 통해 전자책 내에 표현된 MathML 수식 콘텐츠의 독음 연구가 필요하다.

본 연구에서는 독서 장애인 이외에도 일반인, 학생 등으로 연구 대상을 확대하고자 한다. 중학교 및 공통 수학 교과 과정에 포함된 수식을 대상으로 Content MathML로 표현된 수준별 독음 규칙을 정리하고, 이에 따른 독음 변환 기법을 연구한다.

 

2. 관련 연구

2.1 DAISY

DAISY(Digital Accessible Information SYstem)는 독서장애인을 위한 디지털 국제 표준(ANSI/NISO Z.39.86-2005) 문서 형식으로 현재 국내 여러 기관을 통해서 제작되고 있다[1]. 초기 디지털 음성도서는 시각 장애인과 독서장애인을 위해 낭독한 음성파일을 디지털화하여 CD 등에 저장한 도서 등이 주류였다. 하지만 단순히 음성을 디지털화하는 것뿐 만 아니라 디지털화한 음성의 녹음과 함께 추가적인 모든 정보를 제공하는 디지털 음성정보 시스템 (Digital Audio-based Information System, DAISY)으로 즉, 보존, 배포, 이용에 이르기까지 하드웨어와 소프트웨어가 한 세트로 된 것을 디지털 음성도서라 확대 정의하였다. 또한 정보 접근의 중요성에 입각하여 Digital Access Information System(DAISY)으로 추후 개정되었다. 따라서 DAISY는 ‘국제 표준의 독서장애인용 멀티미디어 콘텐츠(파일) 포맷’이다 [2].

DAISY는 텍스트북과 오디오북의 혼합 형태이며, DAISY 표준의 목적은 독서 장애와 상관없이 정보와 지식에 동등하게 접근하도록 하는 것이다. 1998년 DAISY 2.0이 발표되었고, 2005년에 ANSI/NISO Z.39.86-2005 표준으로 DAISY 3이 발표되었다[3].

2.2 수식 마크업 MathML

HTML과 이미지 파일을 이용한 기존 웹 상에서의 수식은 표현과 인코딩 면에서 문제점이 있다. 표현의 문제는 텍스트의 크기가 커지거나 작아지면 수식을 표현하는 이미지와 텍스트 간의 균형이 깨어진다는 것이 하나의 예가 될 수 있다. 인코딩의 문제는 수식 표현을 검색하고자 할 때 사용할 수 있는 유용한 도구가 없고, 특정 표현을 잘라 붙이는 것과 같은 과정이 매우 복잡하고 어렵다는 것들이다.

MathML은 이러한 웹에서의 수학적 표현의 한계를 극복하기 위해 만들어진 XML의 응용분야이다. 이는 컴퓨터 통신에 있어 수학적인 내용이나 표기를 다루는 방법에 대한 저수준 포맷으로 웹에서 수식을 표현하고, 처리, 공유하는 데에 필요한 많은 해결책을 제공하는 마크업 언어이다[4]. W3C에서는 2001년 2월 MathML 2.0의 표준안을 발표했고, 2010년 10월에 표준안으로 발표된 MathML 3.0은 MathML 2.0의 개정판이다. W3C는 2014년 4월에 MathML3 2nd Edition의 표준안을 발표하였다.

수식을 전달하기 위해서 사용할 수 있는 방법은 수식의 모양을 보이는 대로 설명하는 방법과 수식의 의미를 전달하는 두 가지 방법이 있을 수 있다. MathML에서는 두 가지 방법을 모두 사용하고 있다. 전자의 방식을 채택하여 수식의 표현에 중점을 둔 표현 MathML과 후자의 방식을 채택하여 수식의 의미 전달에 초점을 둔 내용 MathML이 있다. 사용자는 상황이나 목적에 맞게 두 가지 방법 중 하나를 선택하여 사용하거나 두 가지 방법을 적절히 섞어 사용할 수 있다.

2.1.1 표현 MathML

표현 MathML은 수학의 레이아웃 표현에 중점을 둔 마크업이다[5]. 표현 MathML은 레이아웃 박스 개념을 기초로 만들어졌고, 약 30개 정도의 요소와 50개 정도의 속성을 가지고 있다. 요소들은 수식에서 레이아웃 박스들을 기술하기 위한 것들로 구성되어 있고, 각 요소들은 하위 요소들이 어떻게 논리적으로 연결되는지를 설명해주는 레이아웃 스키마를 가진다.

수식은 토큰 요소들을 기본으로 구성되며 이들은 레이아웃 스키마들과 조합하여 하나의 수식을 완성하게 된다. 토큰 요소들은 직접적으로 문자 데이터를 포함할 수 있으며 식별자, 연산자, 그리고 숫자들이 각각의 요소들에 둘러싸여 나타나야 한다.

2.1.2 내용 MathML

내용 MathML의 목적은 식의 내부 수학적 의미에 중점을 두고 명확한 인코딩이 가능하게 하는 마크업이다[6]. 따라서 내용 MathML로 표현된 수식은 표현 MathML로 표현된 수식보다 모호성이 적고, 기계가 해석하기 편리하다는 장점이 있다. 내용 MathML은 전위 표기방식으로 수식을 표현한다.

대부분의 내용 MathML 요소들은 연산이나 수학적인 데이터 타입을 표시하며, 요소는 이러한 연산들과 변수들을 그룹화하는 역할을 수행한다. 내용 MathML에서 가장 보편적인 토큰 요소는 와 으로 이 두 요소는 식별자와 숫자를 의미한다.

2.2 내용 MathML 수식의 독음 변환 기법

선행연구에서는 전맹인에 대한 수식콘텐츠에 대한 접근성을 높이기 위해 수식 편집기 또는 MathML로 표현된 수식을 독음 텍스트로 변환하는 기법을 연구하였다. 장애인용 전자책 내에서 내용 MathML을 분석하여 중학교 교과과정부터 고등학교 공통수학까지 포함되는 수학 요소들을 정리하고 내용 MathML로 표현되는 수식 콘텐츠의 독음 규칙을 정의하였다. 만들어진 독음 규칙을 반영하여 XSLT를 이용한 내용 MathML 콘텐츠의 독음 변환프로그램을 구현하였다. 변환된 독음 텍스트에 태그를 추가하여 SSML 콘텐츠로 최종 출력되게 하였다.그 결과 연구에서 구현한 프로그램이 수식을 제대로 변환함을 확인하였다[7,8].

 

3. 다양한 상황에서의 독음 규칙 정의

3.1 상황별 독음 단계 결정

3.1.1 사용자 상황의 유형 설정

시각 장애인뿐만 아니라 일반인이 기기를 통하여 웹을 접근할 때 나타날 수 있는 여러 장애가 있다. 저시력인이거나 노안일 경우, 조깅하는 상황, 걸어가는 상황 등에서 일반인이 기기를 통하여 수학식을 접할 때 장애를 겪을 수 있다. 그러므로 하나의 정형화된 독음 규칙을 다양한 상황에 적용하는 것보다, 각 상황에 맞는 독음 규칙을 사용하는 것이 폭넓은 사용자를 수용할 수 있고, 일반인의 웹에서 표현되는 수식 콘텐츠에 대한 접근성을 증대시킬 수 있다.

본 연구에서는 선행 연구에서 진행한 전매인 이외에도 대상을 확대하여 전맹인에서부터 일반인의 다양한 상황 별 선호하는 독음을 조사하였다. 먼저, 몇 단계로 독음 단계를 나눌지 결정하고 상황별로 선호하는 독음을 판단하기 위하여 사전 선호도 조사를 실행하였다. 사전 선호도 조사를 위해 수학 교과서에 나오는 수식을 쉬운 독음에서 어려운 독음까지 임의로 4단계로 구분했고, 상황을 임의로 ‘A(전맹인)’, ‘B(저시력인)’, ‘C(조깅하는 일반인)’, ‘D(처음 학습하는 학생)’, ‘E(반복 학습하는 학생)’으로 나누었다.

3.1.2 수준별 독음 단계 설정 과정

독음 단계는 MathPlayer[9]의 독음 스타일인 Verbose, Brief, Super-brief와 Simple Speech를 재 구성하여 수준별로 4단계로 설정했다. 선호도 조사에 사용한 수준별 독음 규칙을 구분한 기준을 Table 1에 정리하였다. 각 단계는 연산자의 요소별로 그룹핑 독음 규칙(3.2.2 참고)을 차별적으로 적용한다. 1 단계는 ‘로그 시작’ 및 ‘로그 끝’과 같이 수식의 시작과 끝을 알리는 그룹핑 독음 규칙을 적용한다. 2단계는 수식에서 ‘밑’과 같은 중간 수식의 시작을 알리지 않고 끝만 알려서 부분적으로 그룹핑 독음 규칙을 적용한다. 3단계는 수식에서 모든 연산자의 끝만 알려서 부분적으로 그룹핑 독음 규칙을 적용한다. 4단계는 그룹핑 독음 규칙을 사용하지 않는다.

Table 1.Classification of reading rules

중학교 3학년 수학 교과과정과 고등학교 공통 수학의 5가지 영역에서 총 15개의 문제를 선정했다. 위에서 나눈 A~E의 상황에 따라 각 4명씩 총 20명을 대상으로 한글 독음으로 만들어진 수식을 녹음하여 들려주어 수식의 주관적인 선호도를 측정했다. 그 결과, 상황 A(전맹인)은 독음 규칙 1단계, 상황 B(저시력인)은 독음 규칙 2단계, 상황 C(조깅하는 일반인)과 상황 D(처음 학습하는 학생)은 독음 규칙 3단계, 상황 마E반복 학습하는 학생)은 독음 규칙 4단계를 선호하는 것으로 나타났다. 구분이 적절한지 확인하기 위해 객관적인 실험을 다음 절에서 하였다.

3.1.3 수준별 구분적절성 실험

본 실험에서는 사전 선호도 조사에서 제시한 독음 규칙 1∼4단계 구분의 적절성을 검토하여 최종 몇 단계의 독음 규칙으로 구분할지 판단하고자 하였다. 상황은 ‘A(저시력인)’, ‘B(운동중)’, ‘C(이동 중)’, ‘D (앉은 상태)’로 설정하였다.

실험 방법은 각 상황에 앞서 정의한 1∼4단계의 모든 독음 규칙을 듣고, 수식 15문제를 받아쓰기로 진행한다. 실험 대상자로 일반인 20명을 상황 별 5명씩 나누어 진행하여 15문제를 출제했고 한 문제당 2점씩 측정하였다. 실험의 적절성을 검사한 결과 1, 4단계는 점수 차가 있는 것으로 보아 적절하다 판단하며 2, 3단계는 점수 차가 없는 것으로 보아 적절하지 않음을 판단할 수 있다. 상황에 따른 독음 규칙의 이해도 검사 결과는 Table 2에서 확인할 수 있다.

Table 2.Result of comprehension test

Table 3.Classification of reading rules

이에 따라 독음 규칙 2, 3단계 정리를 위해 t-검정으로 유의성을 검사한 결과, 두 단계의 차이가 유의하지 않음을 검증하였다. 그러므로 독음 규칙 2, 3단계를 하나의 독음 규칙 단계로 정리하였다. 구분의 적절성을 실험한 결과, 독음 2단계와 독음 3단계를 합쳐 최종 독음규칙을 1, 2, 3단계로 확정하였다. 독음 규칙 구분은 기준은 Table 3과 같다.

3.2 수준별 독음규칙 정의

3.2.1 기본 규칙

∙ 메타 요소

선행 연구에서 메타 요소에 해당하는 요소들을 정리하였다. 현재 연구에서도 다음의 요소들은 한글 독음으로 변환하지 않는다. $요소는\; 루트요소이고,,요소들은\; 수식의\; 부가\; 정보를\; 표현하는\; 요소들이다.$

∙ 피연산자 요소

요소의 나머지 자식 요소에는 첫 번째 자식 요소인 연산자에 대한 피연산자 요소들이 있다. 피연산자 요소에는 토큰요소가 단말노드로 오거나 요소로 형성된 식 트리가 비단말 노드로 올 수 있다. 토큰 요소에는 수, 식별자, 상수 및 심볼 요소가 있을 수 있다. 요소가 비단말 노드로 올 경우, 요소가 중첩되어 사용되고, 그룹핑 독음 규칙이 필요한 경우가 있다.

∙ 연산자 요소

연산자 요소는 수식의 연산자를 표현하는 요소로, 요소의 첫 번째 자식요소에 등장한다. 연산자는 크게 (1) 기본 요소, (2) 산술, 논리, 대수, (3) 관계, (4) 집합 이론, (5) 기본 고전 함수로 분류하였다. 독음 규칙의 표기에서 [a]는 비단말 노드를 나타낸 것이다. 다음 Table 4는 산술, 논리, 대수에 관한 수준별 독음의 예시이다.

Table 4.Example of Arithmetic, Algebra and Logic Reading Rules

3.2.2 그룹핑 규칙

피연산자 요소에는 단말 노드인 토큰 요소들이나 비단말 노드인 요소가 올 수 있다. 중첩된 요소를 사용하게 될 때, 자식 요소와 부모 요소를 구분하지 못하므로 의미의 혼란을 줄 수 있다. 그룹핑 독음 규칙이란 자식요소에 등장하는 는 ‘괄호 열고’와 ‘괄호 닫고’라는 한정어를 요소의 앞뒤로 추가하는 것을 말하며 수식의 범위를 한정시키는 역할을 한다.

Table 5.Grouping Rules

자식요소에 등장하는 의 독음의 이중적 해석을 피하기 위하여 수준별 독음규칙에 그룹핑 독음을 적용해야 한다. 다양한 상황에서 이를 실험하였고, 1단계 독음에서는 그룹핑 독음 규칙을 사용하고, 2단계에서는 그룹핑 독음을 부분적으로 사용하여 그룹핑의 시작과 끝을 알리지 않고 요소의 앞뒤에 ‘괄호’를 추가한다. 3단계에서는 그룹핑 독음을 사용하지 않기로 한다. 하지만 분수, 루트, 로그와 같이 수식을 구성하는 각 요소가 위치에 따른 공식적인 명칭을 가지는 경우에는 이 그룹핑 독음 규칙을 적용 했을 때에는 수식의 전체적인 구조를 파악하지 못할수도 있기 때문에 다른 그룹핑 독음 규칙이 필요하다. 따라서 중복된 , 분수, 루트, 로그의 경우에는 Table 5와 같은 그룹핑 독음 규칙을 정의하였다.

 

4. 구현 및 이해도 검사

4.1 독음 변환 과정 구현

본 연구에서 제안하는 수식 콘텐츠의 수준별 독음변환 과정은 Fig. 1과 같다. 내용 MathML로 표현된 수식은 상황에 따라 3가지의 수준별로 작성된 XSLT 중 해당되는 것을 적용하여 독음 텍스트로 변환하게 된다. 내용 MathML로 표현된 수식이 수준별로 독음 텍스트로 변환된 후 추출된 독음 텍스트를 SSML 파일 형식으로 출력한다.

Fig. 1.Content MathML Converting Procedure.

4.2 XSLT 구현

독음 프로그램은 XSLT로 구현하였다. 내용 MathML로 표현된 수식을 XSLT가 읽어 들여 각 연산자에 맞는 독음 텍스트 변환 템플릿을 호출하여 독음 텍스트로 변환하게 된다. 내용 MathML로 표현된 수식이 독음 텍스트로 변환하게 되면 추출된 독음 텍스트에 음성 스타일 변환 템플릿을 적용하여 SSML 파일을 출력하게 된다.

내용 MathML로 표현된 수식은 $라는\; 루트\; 요소로\; 시작된다.\; 수식이\; 단일\; 요소,\; 즉\; 숫자나\; 변수,\; 상수일\; 경우에는으로\; 시작된다.\; 이\; 때에는\; 터미널\; 노드를\; 처리하는\; 독음\; 규칙에\; 따라\; 템플릿을\; 적용한다.\; 수식이\; 단일\; 요소가\; 아닌\; 경우에는()()()()$

내용 MathML에서 특수 독음 규칙에는 그룹핑 독음 규칙과 반복 독음 규칙이 있다. 그룹핑 독음의 대표적인 예로는 분수가 있다. 수준별 독음규칙의 1단계 독음규칙(모든 수식의 시작, 끝을 알리는 독음 규칙)의 경우 ‘분수 시작’과 ‘분수 끝’을 제일 앞과 제일 뒤에 변환하고, 분모나 분자가 단말 노드라면 노드의 값을 독음의 위치에 추가한다. 분모나 분자가 비단말 노드인 경우에는 ‘분모 시작’/‘분자 시작’, ‘분모 끝’/‘분자 끝’이라는 독음을 추가한다. 2단계 독음규칙(수식의 끝만 알리는 독음규칙)의 경우 ‘분수’와 ‘분수 끝’을 제일 앞과 제일 뒤에 변환하고, 분모나 분자가 비단말 노드이면 ‘분모’/‘분자’, ‘분모 끝’/‘분자 끝’이라는 독음을 추가한다. 3단계 독음규칙(그룹핑 제거한 독음규칙)에서는 제일 앞에 ‘분수’라는 독음을 추가한다. 분모나 분자가 비단말 노드인 경우, 범위에 관한 규칙은 독음하지 않는다.

음성 스타일 모듈을 적용하기 위해, 현재 음성 스타일 시트로 가장 활발히 사용되고 있는 SSML 파일을 바로 출력할 수 있도록 한다. XSLT를 적용할 시 최종적으로 추출된 수식의 독음 텍스트의 앞과 뒤에 SSML의 헤더 부분과 태그를 합성하여 SSML 파일을 출력한다.

4.3 샘플페이지 구현 결과

내용 MathML로 만들어진 수식 콘텐츠를 XSLT에 적용하여 한글 독음 텍스트를 추출하였다. 내용 MathML 요소들의 의미를 분석하여 각 수준별 독음 규칙을 XSLT로 구현하였다. Fig. 2는 독음 규칙 1∼3단계로 추출된 한글 독음 텍스트를 나타낸 화면이다. 각각의 수준별 독음 규칙 버튼을 누르면 그에 해당하는 음성이 나오고 A를 누르면 다음과 같은 독음 텍스트를 볼 수 있다.

Fig. 2.Sample Impementation Result Page.

4.3 수준별 독음의 이해도 검사

단계별 독음이 실제 사용자들에게 적합한지 확인하기 위해 이해도 검사를 실행하였다. 연구 범위에 해당하는 교과서 수식 중 난이도별로 분류된 수학식을 저시력인, 운동 중인 일반인, 앉은 상태와 같은 상황으로 나누어 2번의 실험을 하였다. 처음 실험은 사용자가 수식을 처음 접하게 되었을 때의 독음규칙의 이해도를 측정하게 되고, 두 번째 실험은 사용자가 반복학습을 할 경우의 독음규칙의 이해도를 측정하게 된다. 총 15개의 문제를 출제하여 문제당 1점씩 15점을 만점으로 하였다. 각 대상자는 독음 규칙 1, 2, 3으로 분류된 수식을 듣고 받아쓰기를 진행했고 받아쓰기 결과를 통해 수식 독음의 이해도를 측정하였다. 또한 수식을 복습했을 때의 단계별 독음의 이해도를 측정하기 위해 수식을 보여주고 받아쓰기를 진행하였다. 일반인 30명을 대상으로 그룹별 10명씩 나누어서 ‘상황 가(저시력인)’, ‘상황 나(운동중)’, ‘상황 다(앉은 상태)‘의 그룹으로 분류하여 2번의 이해도 검사를 실행하였다.

그 결과, 처음 수식을 접한 경우 모든 상황에서 2단계 독음의 이해도가 높게 측정되었다. 2단계와 1단계, 3단계의 t-검정 결과, 유의미한 차이를 보였다. 두 번째 실험 결과, 모든 상황에서 이해도가 높게 나왔지만, 1, 2, 3단계에 따른 뚜렷한 차이는 나타나지 않았다. t-검정 결과, 각 단계는 유의미한 차이를 보이지 않았다.

Table 6.Result of Comprehension Test When First Heard

Table 7.Result of Comprehension Test When Reviewed

4.4 선호도 조사

선호도 설문 조사를 통해 반복학습을 할 때 각 단계의 선호도를 조사한 결과, “처음 수학 수식을 듣는 상황에서 어느 독음 규칙이 듣기 편한가?”라는 질문에서는 2단계 독음규칙이 66.67%로 나타났고, 3단계 독음규칙은 20%, 1단계 독음규칙은 13.33%로 나타났다. “반복 학습을 하는 상황에서 어느 독음 규칙이 듣기 편한가?”라는 질문에서는 3단계 독음규칙이 53.33%로 우세하게 나타났고 그 다음이 2단계 독음규칙(33.33%), 1단계 독음규칙(13.33%)으로 나타났다.

 

5. 결 론

본 연구는 음성 도서의 대상자를 확대하고 상황에 따른 수식 독음 규칙을 제공하고자 선호도 조사를 통해 독음 규칙을 구분하였다. 구분 적절성 실험을 통해 독음 규칙의 적절성을 확인하였으며, 수준별 수식 독음 규칙 1∼3단계를 정리하였다. 적합성 검사를 통하여 상황에 따라 중학교 1학년에서부터 고등학교 1학년까지의 수학 교과서에 있는 대표 공식들의 수준별 독음의 변환을 확인했다. 또한 내용 MathML로n 표현된 수식을 독음 텍스트로 변환시키는 프로그램을 XSLT로 구현하여 단계별 독음 텍스트를 확인하였고, 이를 음성으로 출력하였다. 수준별 독음이 실제 사용자들에게 적합한지 확인하기 위해 이해도 검사 및 선호도 조사를 실행하였다. 본 연구를 통해 처음 수학 수식을 듣는 상황에서는 2단계 독음 규칙이 적합하고, 복습하여 수학 수식을 들을 때는 3단계 독음 규칙이 적합하다는 결론을 얻었다.

본 연구는 내용 MathML로 만든 수학 수식에 대하여 상황에 따른 수준별 독음 규칙을 정의하였다. 향후 표현 MathML로 만든 수학 수식에 대하여서도 독음 규칙을 정의하고, 상황에 맞는 수준별 독음 규칙을 만드는 것이 필요하다.