The Development of the Writing Software for the Electronic Blackboard Supporting the User Action Recognition Functions

사용자 동작 인식 기능을 지원하는 판서 소프트웨어 개발

Abstract

By the dissemination of the electronic blackboard systems, smart devices, and digital contents, the Korean government is recently conducting the project that replaces the classic education which utilizes paper textbooks with SMART education using various devices. Also, teachers in the field must be easily able to use SMART education infrastructure for the activation of SMART education. Especially, since the electronic blackboard is expected as a education device which will be most common for teachers, the writing software operated on the this device must supports a simple interface. And the usage of it must be simple. In this paper, we developed the writing software for the electronic blackboard which everyone can use easily. Our writing software supports the basic writing function, the human gesture recognition function which recognizes the user gesture and performs works corresponding with that gesture, and the automatic button alignment function based on the frequency of the usages.

최근 전자칠판 시스템, 스마트 기기의 보급과 더불어 다양한 디지털 콘텐츠가 등장하면서 종이 교과서를 활용하는 전통적인 교육에서 위 기기들을 활용하는 스마트 교육으로 진입하기 위한 작업이 정부 주도하에 진행 중에 있다. 스마트 교육을 활성화하기 위해서는 실제 현장의 강사들이 스마트 교육 인프라를 쉽게 활용할 수 있어야 한다. 특히, 전자칠판은 현장의 강사들이 가장 많이 활용할 것으로 예상되는 기기로 이 기기에서 동작하는 판서 소프트웨어는 복잡하지 않은 인터페이스를 제공하고 사용 방법이 간단해야 한다. 본 논문에서는 누구나 쉽게 활용할 수 있는 전자칠판용 판서 소프트웨어를 개발하였다. 개발된 판서 소프트웨어는 기본 판서 기능이외에 사용자의 제스처를 인식하여 그에 대응하는 기능을 수행하는 제스처 인식 기능과 판서 위치에 따른 동적 메뉴 배치 기능, 그리고 사용 빈도 기반의 자동 버튼 정렬 기능을 제공한다.

Ⅰ. 서 론

한편, 지난 몇 년 사이에 태블릿과 같은 모바일 기기의 보급률이 급격하게 늘어나면서 현재는 유선 인터넷을 기반으로 하는 e-러닝을 넘어서 모든 네트워크 기술과 디바이스들을 활용하는 u-러닝 시대로 진화하고 있다.

최근 이슈가 되고 있는 스마트(S: Self-directed, M: Motivated, A: Adaptive, R: Resource-enriched, T: Technical-embedded) 교육은 u-러닝의 초기 모습을 보여주는 것으로 유무선 통신 기술을 활용하여 전자칠판 시스템과 태블릿 등의 모바일 기기에서 교사와 학생이 디지털 콘텐츠를 공유하여 실시간으로 질의 및 응답이 가능하도록 하는 차세대 교육 패러다임이다[1-4].

2011년 정부는 스마트 교육 추진 전략을 발표하고 각종 시범사업을 통해 스마트 교육 인프라 구축에 힘쓰고 있으나 전자칠판시스템과 스마트 기기의 보급에만 치중하여 교육 현장에서 교사들이 활용할만한 콘텐츠와 소프트웨어가 턱없이 부족한 실정이다. 또한, 최근 조사에 따르면 현재 초·중·고교에서 재직 중인 교사 중상당수는 새로운 기기 및 소프트웨어 활용에 익숙하지 않아 많은 비용을 들여 구축한 스마트 교육 인프라가 방치될 수 있다는 우려를 낳고 있다. 실제로 스마트 교육 인프라를 활용하는 교사들 중 나이가 많은 교사들도 쉽게 활용할 수 있도록 사용자 편리성을 높여야 한다는 주장이 제기되고 있다[5,6].

스마트 교육의 활성을 위해 스마트 교육 소프트웨어는 다음의 세 가지 조건을 충족해야 한다. 첫째, 스마트교육 소프트웨어를 활용하는 대부분은 교사나 학생이므로 누구나 쉽게 사용할 수 있도록 사용 방법이 간단해야 한다. 둘째, 필수적인 기능만을 제공하여 사용자의 혼란을 최소화하고 스마트 교육 소프트웨어의 가격을 낮추어야 한다. 셋째, 다양한 포맷의 디지털 콘텐츠를 불러오고 저장할 수 있어야 한다.

따라서 본 논문에서는 위의 세 가지 조건을 모두 만족하는 스마트 교육을 위한 전자칠판용 판서 소프트웨어를 개발하였다. 개발된 판서 소프트웨어는 기본적으로 교재 열기 기능, 팔레트 기능, 펜 기능, 지우개 기능, 전체 지우기 기능, 페이지 넘김 기능, 종료 기능을 제공한다.

그리고 인간의 제스처를 인식하여 그에 해당하는 기능을 수행하는 제스처 인식 기능과 판서 위치에 따른 동적 메뉴 배치 기능, 그리고 사용 빈도 기반의 자동 버튼 정렬 기능을 제공한다.

본 논문의 순서는 다음과 같다. 2장에서는 현재 동향에 대해서 설명하고 3장에서는 개발한 전자칠판용 판서 소프트웨어를 소개한다. 마지막으로 4장에서 결론 및 향후 과제를 기술하였다.

 

Ⅱ. 관련 연구

스마트 교육이 활성화되기 위해서는 강사의 역할이 매우 중요하다. 무엇보다도 강사는 전자칠판과 태블릿 등의 스마트 교육 관련 기기들과 디지털 교과서를 능숙하게 다룰 수 있어야한다.

이를 위해 정부와 지방자치단체는 다양한 시범사업을 통해 전자칠판시스템과 태블릿을 보급하는데 주력하는 한편, 디지털 교과서의 표준화를 진행하고 있다. 또한, 강사들로 하여금 스마트 교육과 관련된 기기 및 소프트웨어의 사용 방법을 교육하는 방안도 마련되고 있다.

현재 시범사업을 통해 상당수의 학교에 스마트 교육 인프라가 구축된 상태이나 현재 초·중·고교에서 재직 중인 교사 중 상당수는 새로운 기기 및 소프트웨어의 활용에 익숙하지 않다. 사전 교육을 통해 이를 해결하고자 하지만 얼마나 효과를 거둘 수 있을지는 미지수이다. 그러므로 소프트웨어 개발 시에 많이 활용하지 않는 기능들은 제거하고 필수적인 기능만을 제공하도록 하여 누구나 쉽게 사용할 수 있도록 해야 한다.

모든 전자칠판에는 전자칠판용 판서 소프트웨어가 탑재되어 있다. 전자칠판용 판서 소프트웨어는 교사뿐 만 아니라 학생도 쉽게 사용할 수 있어야 하므로 사용자 접근성이 용이해야 하며 .ppt나 .pdf 형식의 전자책 포맷을 오픈 및 저장하는 기능을 지원해야 한다. 또한 제스처 인식 기능과 판서 위치에 따른 동적 메뉴 배치기능, 사용 빈도 기반의 자동 버튼 정렬 기능 등의 부가적인 기능들을 제공하면 원활한 강의 진행에 큰 도움을 줄 것이다.

 

Ⅲ. 사용자 동작 인식 기능을 지원하는 판서 소프트웨어

3.1. 소프트웨어 개발 환경

구현된 판서 소프트웨어는 Java를 이용하여 개발하였으며 개발 툴로는 Java 소프트웨어 개발에 적합한 Eclipse Indigo버전을 사용하였다. 또한 전자칠판시스템용 판서 소프트웨어에서 컴퓨터에 저장되어 있는 .ppt와 .pdf 포맷의 강의 자료를 불러오기 위해 각각 Apache POI API와 Apache PDFBox Library를 이용하였다. 표 1은 전자칠판시스템용 판서 소프트웨어 개발환경을 설명하고 있다.

표 1.판서 소프트웨어 개발 환경 Table. 1 Development Environments of the Writing Software

3.2. 기본 기능

개발된 전자칠판시스템용 판서 소프트웨어는 많이 활용하지 않는 기능들은 과감히 제거하고 필수적인 기능만을 제공한다. 표 2는 판서 소프트웨어가 제공하는 기본 기능들을 정리한 것이다.

표 2.전자칠판용 판서 소프트웨어의 기능들 Table. 2 Functions of the Writing Software for Electronic Blackboard

그림 1은 개발한 전자칠판용 판서 소프트웨어를 사용하는 화면을 보여준다. 개발된 소프트웨어를 실행하면 사용자는 그림 1과 같이 화면의 하단부에 메뉴가 나타나는 것을 볼 수 있으며 이 메뉴에서 기능들을 선택하여 판서 작업을 할 수 있다. 그림에서 보는 바와 같이 화면의 하단에 작은 크기로 메뉴가 배치되어 있어 대부분의 화면을 판서 작업에 활용할 수 있다는 장점이 있다. 그리고 기존의 다른 판서 소프트웨어와는 달리 메뉴에는 강의 진행에 필수적이면서 활용도가 높은 기능들을 배치하여 누구나 쉽게 활용할 수 있도록 하였다.

그림 1.개발된 전자칠판용 판서 소프트웨어를 사용하는 화면 Fig. 1 Screen Using the Writing Software for the Electronic Blackboard

그림 2는 개발한 판서 소프트웨어의 메뉴를 확대한 것으로 교재 열기, 팔레트, 펜, 지우개, 전체 지우기, 페이지 넘김, 종료 기능을 포함하고 있다.

그림 2.기본 기능을 제공하는 메뉴 Fig. 2 Menu with Basic Functions

개발한 전자칠판용 판서 소프트웨어의 사용법은 매우 간단하여 누구나 쉽게 사용할 수 있다. 사용법을 간단히 설명하면, 먼저 하단 메뉴에서 교재 열기 아이콘을 클릭해서 교재를 오픈한다. 그 다음 펜 아이콘을 선택해서 원하는 판서를 하고 이 판서를 지우개 아이콘을 선택해서 지울 수도 있다. 강의를 마치고자 할 때는 종료 아이콘을 클릭해서 소프트웨어를 종료한다.

그림 3은 교재 열기 아이콘을 클릭했을 때 나타나는 교재 목록창과 교재를 오픈했을 때의 화면을 보여준다. 현재 오픈할 수 있는 자료는 .ppt 및 .pdf 포맷이며 이 두 포맷의 자료는 오픈 될 때 각각 Apache POI API와 Apache PDFBox Library를 통해 이미지 포맷 중 하나인 .png 포맷으로 변환되어 현재 PC에 저장된다.

그림 3.교재 목록창과 교재 오픈 화면 Fig. 3 Window with Text Book List and Screen which the Textbook is Opened

오픈되는 .ppt 및 .pdf 형식의 자료는 페이지별로 .png 형식의 이미지로 변환되어 저장되며 이 때 개별 이미지의 파일명은 “강의 교재명 + 페이지 순서 번호”의 형식을 가지게 된다. 강의 도중에 페이지 넘김 아이콘을 클릭하여 다음 페이지나 이전 페이지로 페이지를 넘기면 이 페이지 순서 번호를 증가 또는 감소시켜 해당 이미지를 불러와 화면에 보여준다. 그림 4는 페이지 넘김 기능의 동작 화면을 보여준다.

그림 4.페이지 넘김 기능의 적용 Fig. 4 Adjustment of the Page Transition Function

3.3. 제스처 인식 기능

전자칠판용 판서 소프트웨어의 메뉴는 화면 하단부에 고정되어 있다. 이처럼 메뉴를 고정시키면 다음과 같은 문제점이 발생할 수 있다. 예를 들어, 전자칠판에 판서를 하다가 지우개 기능을 사용하고자 할 때 강사는 메뉴가 위치하는 곳으로 이동해야 한다. 이런 움직임은 원활한 강의 진행을 방해하는 큰 요소가 될 수 있다. 따라서 우리는 화면 하단에 위치한 메뉴로 이동하지 않고 현재 위치에서 화면의 한 지점을 1초간 눌러 제스처 모드로 변경한 다음 특정 패턴으로 화면을 터치하면 전자칠판용 판서 소프트웨어가 이를 인식하여 해당 패턴에 해당하는 기능을 수행하는 제스처 인식 기능을 추가하였다. 표 3은 전자칠판용 판서 소프트웨어가 인식할 수 있는 패턴의 종류와 그 기능들을 설명하고 있다.

표 3.제스처의 종류 Table. 3 Types of Gesture

전자칠판용 판서 소프트웨어가 사용자의 특정 제스처의 패턴을 인식하는 기능은 다음의 방법으로 구현하였다. 우선 판서 모드에서 제스처 모드로 변경한 후 화면을 터치해서 드래그하면 시작 방향이 결정된다. 여기서 방향은 화면을 사분면으로 분할하여 왼쪽 위, 왼쪽 아래, 오른쪽 위, 오른쪽 아래 총 4가지 방향으로 구분된다. 방향이 결정되고 계속해서 화면을 드래그하면 전자칠판 화면의 X 좌표 값과 Y 좌표 값을 계속 획득하여 좌표 값의 변화를 관찰한다. 4가지 방향 별로 X 좌표 값과 Y 좌표 값의 증가 혹은 감소 변화가 모두 다르기 때문에 화면을 드래그하면서 이전의 X, Y좌표 값과 새로운 X, Y 좌표 값을 비교하면 드래그 방향이 변화했을 때 방향이 변화한 것과 어느 방향이 변화되었는지 알 수 있다. 방향이 변화할 때마다 계속해서 변화된 모양을 저장하고 화면에서 손을 떼면 저장된 모양 이용하여 제스처 패턴을 인식하고 해당하는 제스처의 기능을 수행하게 된다.

3.4. 동적 메뉴 배치 기능

대부분의 전자칠판시스템용 판서 소프트웨어는 사용자가 전자칠판 화면을 터치했을 때 터치 이벤트가 발생하고 판서 소프트웨어는 해당 좌표를 획득하여 화면에 판서를 한다. 이 터치 이벤트에서 획득한 좌표를 이용하여 사용자의 현재 판서 위치를 분석하고 이 때 사용자의 판서 위치가 많이 이동하였다면 메뉴를 사용자와 가까운 곳으로 이동시킨다. 그림 5의 (a)와 (b)는 각각 사용자의 판서 위치에 따른 동적 메뉴 배치 기능의 의사 코드와 흐름도를 보여준다.

그림 5.동적 메뉴 배치 기능의 동작 흐름도와 의사 코드 (a) 동적 메뉴 배치 기능의 의사 코드 (b) 동적 메뉴 배치 기능의 동작 흐름도 Fig. 5 Pseudo-Code and Flowchart of Dynamic Menu Layout Function (a) Pseudo-Code of Dynamic Menu Layout Function (b) Flowchart of Dynamic Menu Layout Function

X와 Y는 각각 현재 사용자가 판서를 위해 손 혹은 전자펜을 터치하고 있는 전자칠판 화면의 좌표를 의미한다. 사용자가 판서를 위해 전자칠판 화면을 터치하게 되면 현재 판서 위치의 x, y 좌표를 받아온다.

그리고 현재 판서 위치가 완충 영역 안이 아닐 경우에 전자칠판 화면을 좌표 평면과 같이 분할하여 판서 위치가 어느 영역에 속하는지 판단하고 메뉴를 현재 판서 중인 영역의 가장 자리로 배치한다.

위 그림 6은 판서 위치에 따라 메뉴가 이동하는 것과 완충 영역을 보여준다, 사용자의 판서 위치는 좌표 평면과 같이 화면을 총 4개의 영역으로 분할하여 구분하였으며 영역들 사이에는 잦은 메뉴 이동을 방지하기 위한 완충 영역이 존재한다.

그림 6.판서 위치에 따른 메뉴의 이동 Fig. 6 Menu Movement Based on the Writing Position

3.5. 자동 버튼 정렬 기능

기존의 판서 소프트웨어의 메뉴에는 여러 가지의 기능 버튼들이 배치되어 있다. 구현된 소프트웨어에서는 어떤 기능을 사용하기 위해 버튼을 클릭할 때마다 사용빈도가 높은 버튼을 우선적으로 정렬시키도록 하여 사용자 편의성을 높였다. 그림 7의 (a)와 (b)는 각각 사용빈도에 따른 자동 버튼 정렬 기능에 대한 의사 코드와 흐름도이다.

그림 7.자동 버튼 정렬 기능의 동작 흐름도와 의사 코드 (a) 자동 버튼 정렬 기능의 의사 코드 (b) 자동 버튼 정렬 기능의 동작 흐름도 Fig. 7 Flowchart and Pseudo-Code of Automatic Button Alignment Function (a)Pseudo-Code of Automatic Button Alignment Function (b)Flowchart of Automatic Button Alignment Function

그림 7의 (b)에서 N은 판서 소프트웨어가 가진 버튼의 개수를 의미하며 MenuButton은 판서 소프트웨어가 가지고 있는 기능 버튼들을 배열로 정의한 것이다. 그리고 UseCountArray는 각 버튼의 사용 횟수를 저장하는 배열이며 ButtonIndex는 사용 빈도가 높은 순으로 배열 MenuButton의 인덱스를 저장하는 배열을 의미한다. 만약 어떤 버튼이 사용되면 임시 배열인 TempArray에 사용 횟수가 저장된다.

임시 배열이 버튼의 사용 횟수에 따라서 내림차순으로 정렬되고 만약 순서가 바뀌는 경우에 배열 ButtonIndex도 사용 횟수가 많은 순서로 버튼의 인덱스 값이 정렬된다. 배열 ButtonIndex의 정렬이 끝나면 MenuButtonArrange 함수를 호출하여 사용 빈도가 높은 순으로 메뉴에 버튼을 배치한다.

 

Ⅳ. 결 론

본 논문에서는 점점 현실화되고 있는 스마트 교육의 빠른 보급을 위해 강사가 쉽게 사용할 수 있는 전자칠판용 판서 소프트웨어를 개발하였다. 개발한 판서 소프트웨어는 사용자가 쉽게 사용할 수 있도록 직관적인 인터페이스를 제공하며 중요하지 않은 기능들은 제거하고 필수적인 기능만을 포함하여 사용자의 혼란을 최소화하였다. 또한 제스처 기능과 동적 메뉴 배치 그리고 자동 버튼 정렬 기능을 추가하여 원활한 강의 진행이 가능하게 하였다. 향후에는 구현된 판서 소프트웨어를 기반으로 스마트 기기용 판서 소프트웨어를 개발하고 전자칠판시스템용 판서 소프트웨어와 스마트 기기용 판서 소프트웨어간의 연동 기술을 개발 할 것이다.