Implementation of Muscular Sense into both Color and Sound Conversion System based on Wearable Device

웨어러블 디바이스 기반 근감각-색·음 변환 시스템의 구현

Abstract

This paper presents a method for conversion of muscular sense into both visual and auditory senses based on synesthetic perception. Muscular sense can be defined by rotation angles, direction changes and motion degrees of human body. Synesthetic interconversion can be made by learning, so that it can be possible to create intentional synesthetic phenomena. In this paper, the muscular sense was converted into both color and sound signals which comprise the great majority of synesthetic phenomena. The measurement of muscular sense was performed by using the AHRS(attitude heading reference system). Roll, yaw and pitch signals of the AHRS were converted into three basic elements of color as well as sound, respectively. The proposed method was finally applied to a wearable device, Samsung gear S, successfully.

1. 서 론

최근 세계 스마트폰 시장이 급성장하였고, 현재 시장의 성장률은 서서히 둔화하고 있다. 스마트폰이 시장 성숙기에 진입하면서 웨어러블 디바이스는 스마트폰의 빈자리를 채울 수 있는 새로운 수익 시장으로서 주목받기 시작하였다. 웨어러블 디바이스를 활용한 사물인터넷(IoT: Internet of Things)은 지능화된 사물들이 인터넷에 연결되어 네트워크를 통해 상황인식 기반의 지능적인 서비스를 제공할 수 있으며, 각종 센서, 클라우드, 빅데이터 기술 등과 융합된 기술로 발전될 것으로 보인다[1-2]. 현재 웨어러블 디바이스를 이용해 사람이 인지할 수 있는 감각 및 신체 정보를 데이터화하여 활용하는 연구들이 진행되고 있다[3-4].

공감각(Synesthesia)은 신체의 내부, 외부 감각에 자극을 주었을 때, 자극이 주어진 감각을 제외한 다른 감각을 자극하여 느낄 수 있는 현상을 말한다[5-6]. 공감각 현상은 모든 사람이 공통으로 느끼지는 않으나 일치하는 경우가 많고, 일반인보다 시각 및 청각 장애인이 발달한 경우가 많다. 상당수의 사람이 시각을 통해 공감각을 느끼거나 다른 감각을 통해 시각적인 공감각을 느끼는 경우가 많다. 이는 신체의 외부로부터 들어오는 자극 대부분이 시각을 사용하기 때문이다. 공감각을 응용하는 분야는 주로 색채와 시각적 요소에 많은 관심을 보인다. 청각을 중심으로 하는 공감각에 관련된 연구의 경우 상대적으로 적고, 촉각, 미각 또는 후각을 중심으로 하는 공감각 관련 연구는 더욱 발견하기 어렵다. 감각을 처리하는 신경계의 모든 부분은 서로 결합하여 있으므로, 그 가운데 어느 한 부분도 다른 부분에 영향을 주거나 영향을 받지 않고서는 반응할 수 없다[7].

현재 신체의 감각에서 유발되는 공감각을 이용한 감각 간의 변환은 공학적인 기초 연구가 부족하고, 본 연구 주제와 같이 신체의 움직임을 느낄 수 있는 근감각에서 다른 감각으로 전이되는 현상에 관한 연구는 시작 단계라고 할 수 있다[8]. 이는 공감각을 형성하는 체내와 체외를 포함한 감각들이 상호 복잡한 구조적 문제를 지니고 있으므로 인과 관계를 증명하기 힘들기 때문이다. 뇌의 특정 영역의 인지 기능을 통해 감각 전이 현상을 증명하려는 시도[9-10]가 있었고, 공감각 현상을 잘 느끼는 사람과 느끼지 못하는 사람의 신경반응을 비교하는 연구[11]가 있었지만, 공감각 인지에 관해 정확하게 파악하지는 못하였다.

본 연구에서는 신체의 외부 자극에 반응하는 감각과 내부 자극에 반응하는 감각 사이에서 공감각의 감각 전이 현상으로 감각 간 변환이 될 수 있다고 가정하였다. 신체의 외부 자극에 반응하는 감각으로는 오감 중에 사용 빈도가 높은 시각과 청각으로 변환하는 방법을 제안하였다. 즉, 근감각에서 색과 음으로의 변환은 근감각을 측정할 수 있는 데이터 중 롤(Roll), 피치(Pitch) 및 요(Yaw)를 이용해 시각 정보인 색과 청각 정보인 음으로의 변환을 시도하였다. 롤 신호는 HSI 컬러 모델의 명도(Intensity)와 청각의 요소인 옥타브(Octave)로 변환하고, 피치 신호는 HSI 컬러 모델의 색상(Hue)과 청각의 요소인 음계(Scale)에 대응하여 변환하였다. 또한, 요 신호는 HSI 컬러 모델의 채도(Saturation)와 청각의 요소인 음의 세기(Velocity)에 대응하여 변환하였다. 생성된 HSI 컬러 모델은 RGB 컬러 모델로 변환하여 최종 색상을 출력하였다. 청각의 요소성분인 옥타브, 음계 및 음의 세기를 외부 장비로 연주 정보를 송수신하기 위해 정해진 데이터 전송 규격인 MIDI(Musical Instrument Digital Interface) 신호로 변환해서 최종 음을 출력하였다.

본 연구 및 관련 연구가 활성화된다면 시각장애인 또는 청각 장애인을 위한 편의장비의 개발, 또는 인간의 공감각 기능을 지닌 지능형 로봇, 공감각 기반 새로운 휴먼 컴퓨터 인터페이스, 특히 시·청각 센서 모듈이 기본 탑재된 모바일 및 웨어러블 기기에서의 다양한 응용 어플리케이션의 개발 등 광범위한 분야에서 응용될 수 있을 것으로 기대한다.

본 논문의 구성은 다음과 같다. 2장에서 본 논문의 기본 개념인 공감각에 대해 설명하고 공감각을 학습해서 느낄 수 있다는 것을 사례를 통해 알아본다. 3장에서는 본 논문에서 사용하는 웨어러블 디바이스인 기어s에 대해 알아보고 근감각에 대해 설명한다. 4장에서는 논문에서 제안하는 근감각에서 색과 음으로 변환되는 알고리즘을 설명한다. 여기에서는 제안한 알고리즘의 전체적인 변환방법에 관해 서술한다. 그리고 5장에서는 제안한 알고리즘으로 기어s에 적용해 실험한 결과를 분석하고, 6장에서 결론을 맺는다.

 

2. 공감각

사람이 인지할 수 있는 감각은 인식하는 위치에 따라 외적 감각, 내적 감각 및 인식 감각으로 나뉜다. 외적 감각은 신체 외부의 변화를 인지할 수 있는 감각으로 시각, 청각, 촉각, 미각, 후각, 온도감각으로 나눌 수 있다. 내적 감각은 신체 내부의 변화를 인지할 수 있는 감각으로 생명감각, 운동감각 및 평행감각으로 나눌 수 있다. 인식 감각은 신체의 내적, 외적 변화와 관계없이 나타날 수 있는 감각으로 언어, 사고 및 자아 감각으로 나눌 수 있다[12].

공감각은 감각 간의 상호 융합을 의미하고 Table 1의 12가지 감각들이 상호 융합하며 일어난다. 이러한 감각 간의 융합은 공감각자 뿐만 아니라 연상 학습된 경우에도 많은 사람들이 감각적 융합 현상을 의식하게 된다[13].

Table 1.Classification of sense

사람은 여러 가지 감각 중에서 시각에 의존하는 경우가 많다. 이는 정보 대부분을 시각으로부터 받아들이고 빠른 정보 습득을 할 수 있기 때문이다. 이와 같이 감각의 빠른 정보 습득을 위해 상호 다른 감각을 변환하여 인지하는 것을 의도적인 공감각(intentional synesthesia)이라고 한다[14]. 의도적인 공감각은 실제 경험하는 공감각과는 다르게 사람이 의도적으로 구성하여 표현하는 것을 공감각의 영역으로 보는 것을 의미한다. 최근 연구에 따르면 공감각의 감각 전이 현상이 학습을 통해 습득할 수 있다는 연구가 발표되고 있다. 공감각의 학습에 관한 연구에서 공감각을 느끼지 못하는 비 공감각자들을 대상으로 9주 동안 공감각 훈련을 한 후 지능검사와 공감각 검사를 한 결과, 훈련을 하지 않은 그룹에 비하여 지능지수가 평균 12점이 높아졌고, 공감각자와 같은 경험을 할 수 있다는 결과가 나타났다[15].

또 다른 연구에서는 문자-색상 공감각자 중 문자-색상 매칭 패턴이 비슷한 인원을 대상으로 연구를 진행한 결과, 공감각자들이 어렸을 때 가지고 놀던 글자 장난감과 관련이 있다는 사실을 발견하였다. 실험에 참여한 공감각자들은 일관된 문자-색상 패턴을 나타내었고, 이 패턴은 어릴 때 가지고 놀던 장난감과 블록과 대부분 일치하였고, 같은 블록 장난감 제품을 사용한 공감각자들의 패턴이 유사하다는 연구 결과가 나왔다. 이는 의도하지는 않았지만, 자신도 모르는 사이 진행된 지각훈련을 통해 공감각 인지 능력이 학습되었을 수도 있다는 것을 의미한다[16]. 이와 같이 의도적인 공감각을 만들어 학습한다면 타고난 공감각자가 아니더라도 공감각 전이 현상을 느낄 수 있고 이용할 수 있을 것이다.

 

3. 웨어러블 디바이스와 근감각

본 논문에서 근감각 신호 측정 및 음과 색으로의 변환 알고리즘을 적용하는데 사용한 삼성 기어s는 2014년 9월에 출시되었으며, 곡면 AMOLED를 탑재하였고, 2G 또는 3G 통신을 지원해 어디서든지 인터넷에 접속할 수 있도록 만들어졌다. 심장박동 센서와 UV센서, 가속도, 자이로 및 콤파스와 GPS 등의 센서들이 기본 내장되어 사용할 수 있게 되어 있다. 그리고 블루투스를 이용해 스마트폰 또는 다른 디바이스와 통신을 할 수 있게 되어 있어 활용도가 높다. 기타 세부사항은 아래 Table 2에 나와 있다.

Table 2.Gear S specification

타이젠의 소프트웨어 플랫폼은 Fig. 1에서와 같이 크게 웹 프레임워크, 네이티브 서브시스템, 리눅스 커널의 세 계층으로 구성되어 있다. 타이젠은 리눅스 커널 위에 리눅스의 오픈소스와 모바일이나 다른 플랫폼을 위해 개발된 라이브러리로 구성된 네이티브 서브시스템이 안장되어 있고, 서브시스템 위에 HTML 5 기반의 애플리케이션을 실행할 수 있는 웹 프레임워크가 안장되어 있다[17]. 타이젠 웨어러블의 경우 기기에 따라서 MIDI 출력을 지원하지 않는 경우가 있다. 타이젠 웨어러블의 웹 프레임워크는 기존과는 다르게 여러 부분의 웹 API를 지원하지 않는다. 기어s의 경우 하드웨어 구성이 MIDI 출력을 지원하지 않기 때문에 본 논문에서는 변환된 MIDI 출력을 MIDI 소리를 녹음한 wav 파일을 불러와 사용하는 방법으로 음을 출력하였다.

Fig 1.Tizen Wearable Structure.

본 논문에서 다루는 근감각은 위치감각이라고도 불리며, 근육, 골막, 힘줄, 관절 등을 통해 근육의 이완 및 긴장 상태를 느낄 수 있는 감각을 의미한다. 이는 근감각을 통해 팔, 다리의 위치, 운동의 상태(방향, 속도)를 알 거나 관절의 굽은 정도를 다른 감각을 사용하지 않고도 느낄 수 있는 감각이다[18]. 예를 들면 눈을 감고, 양손의 팔꿈치를 구부리지 않은 채 위, 아래, 양옆으로 자유롭게 움직이다 멈췄을 경우 팔이 정지한 위치가 처음 상태에서 어느 방향으로 어느 정도 움직였는지 느낄 수 있는 것을 말한다. 근감각을 통해 알 수 있는 정보로서 움직이는 속도, 방향 및 관절의 굽어진 정도가 있다. 이러한 감각을 측정하여 디지털 신호로 변환하는 방법으로써 가속도 센서 및 자이로 센서 값을 계산하여 롤, 피치 및 요를 사용한다. 자세 계산은 자이로의 각속도를 적분하는 방법으로 계산되고, 누적되는 오차를 바로잡기 위해 가속도계의 출력을 이용한다[19]. 가속도 센서 값을 적분하면 움직이는 속도를 측정할 수 있고, 가속도 값을 x, y, z축으로 나타내기 때문에 운동의 방향도 측정할 수 있다. 롤, 피치, 요 값은 x, y, z축을 중심으로 회전하는 방향에 따라 값이 달라진다.

기어s에서는 근감각 측정에 사용할 수 있는 자이로, 가속도, 롤, 피치, 요 값을 웹프레임워크에서 쉽게 사용할 수 있도록 API를 제공한다.

기어s의 디바이스 모션센서의 범위는 Fig 2에서 보는 바와 같은 범위로 측정이 되고 롤과 피치의 경우 해당 범위 이상으로 위치가 변경되면 반전된 결과 값이 출력된다.

Fig. 2.Motion Sensor Direction of Gear S.

 

4. 제안된 근감각-색·음 변환

본 연구에서는 근감각 신호로 측정할 수 있는 데이터 중 롤, 피치 및 요 정보를 이용해 색과 음으로 변환을 시도하였다. 기어s의 가속도 센서, 자이로 센서 및 지자기 센서를 통하여 획득된 가속도와 각속도 방위각 데이터를 기반으로 계산된 롤, 피치 및 요 값을 사용한다. 이와 같은 세 가지 센서 값에 대응하는 시각과 청각 정보는 색과 음 사이의 유사성에 기초한 대응관계로서 정의하였다.

Fig. 3은 기어s를 사용하였을 때 근감각에서 색과 음으로 변환되는 전체 과정을 나타낸다. 기어s를 착용하여 움직였을 때, 리눅스 커널은 모션센서에 관한 정보를 디바이스 드라이버를 통해 전달받는다. 전달받은 센서정보를 서브시스템에서 웹 프레임워크 쪽으로 올려주고, HTML5에서 javascript로 구현된 프로그램에서 전달받은 모션센서 값을 색과 음으로 변환한다. 색과 음의 변환 과정은 Fig 3의 가운데에 표시하였으며, 왼쪽이 음의 변환과정이고, 오른쪽이 색의 변환과정이다.

Fig. 3.Process of Converting Muscular Sense into both Color and Sound.

기어s의 모션센서 롤 변화를 10단계로 나누어 시각 정보인 HSI 컬러 모델의 명도와 청각 정보인 옥타브의 변화로 대응시킨다. 즉, 옥타브의 변화는 동일 음계를 기준으로 가볍고 무거운 느낌으로 들리므로 밝고 어두운 명도와 대응하기 위해 약 10옥타브에 해당하는 가청주파수 대역을 고려하여 10단계로 나누어 정의하였다. 또한, 기어s 모션센서 피치 변화를 12단계로 나누어 시각 정보인 HSI 컬러 모델의 색상과 청각 정보인 음계의 변화로 대응시킨다. 즉, HSI 컬러 모델의 색상은 12음계와 대응시키기 위해 색상의 범위(0°∼360°)를 12등분하여 정의하였다. 마지막으로, 요의 변화를 10단계로 나누어 시각 정보인 HSI 컬러 모델의 채도와 청각 정보인 음의 세기에 대응한다. 이렇게 얻어진 HSI 컬러 모델을 RGB 변환 공식을 이용하여 RGB 컬러모델로 변환한다. 변환된 MIDI 값과 RGB 값을 각각 서브시스템의 멀티미디어와 그래픽&UI 쪽으로 보내주면 최종적으로 색과 음의 출력을 확인할 수 있다.

 

5. 실험 결과 및 고찰

Fig. 4는 실제 기어S를 착용하고 어플리케이션 동작을 실험한 사진이다. 결과 비교를 위해서 롤, 피치 및 요를 각각 조절하여 관찰하였다. 디스플레이에 출력되는 값은 위에서부터 차례대로 기어s 모션센서의 롤, 피치 및 요와 음으로 변환된 옥타브, 음계 및 음의 세기를 출력하고, 다음으로 HSI 컬러모델인 색상, 채도, 및 명도를 출력한다. 다음으로 HSI 컬러모델에서 RGB 컬러모델로 변환된 Red, Green, Blue 값을 표시한다. 음의 경우, 출력되는 음을 녹음하여 Praat[20] 프로그램을 이용해 출력을 분석하였다.

Fig. 4.Operating Experiments of Gear S.

기어s를 착용하고 애플리케이션을 실행하면 움직일 때마다 색과 음의 출력을 실시간으로 확인할 수 있다. Fig. 5와 같이 롤과 요를 고정하고 피치만을 조절 하였을 때 음계의 변화와 색상의 변화를 관찰할 수 있었다. Fig. 6은 롤과 피치를 고정하고 요만을 조절하였을 때의 출력으로 음의 세기와 채도의 변화를 관찰할 수 있었고, Fig. 7에서는 피치와 요를 고정하고 롤을 조절하였을 때의 출력을 나타내며, 옥타브의 변화와 명도의 변화를 관찰할 수 있었다.

Fig. 5.Color and sound output depending on Pitch after fixing Roll and Yaw.

Fig. 6.Color and sound output depending on Yaw after fixing Roll and Pitch.

Fig. 7.Color and sound output depending on Roll after fixing Pitch and Yaw.

 

6. 결 론

본 논문은 근감각을 색과 음으로 변환하는 방법을 제안하고, 제안한 변환 방법을 웨어러블 기기인 기어s에 포팅하여 결과를 확인하였다. 근감각에서 색으로 변환된 색상의 출력은 실험한 시스템인 기어s의 영상 출력장치의 사양에 따라 약간의 차이는 있겠으나 색상의 구별에는 문제가 없었고, 근감각에서 음으로 변환된 소리의 출력의 경우 MIDI 표준 출력을 사용하였기 때문에 동일한 음을 들을 수 있었다.

앞으로의 연구과제로서, 근감각에서 색과 음으로의 변환뿐만 아니라 가역 변환을 통해 상호 변환되는 시스템의 설계 및 구현이 필요하다. 또한 근감각에서 색과 음으로의 변환 또는 그 역변환을 학습을 통해 의도적인 공감각 지각 현상으로 만들 수 있는지에 관한 테스트도 필요할 것이다.