State Visualization Design of AI Speakers using Color Field Painting

색면추상 기법을 통한 AI 스피커의 상태 시각화 디자인 연구

Abstract

Recently released AI speakers show a pattern of interacting with the user by mainly with voice and simultaneously displaying simple and formal visual feedback through status LED light. This is due to the limitations of the product characteristics of the speaker, which makes it difficult to interact variously, and even such visual feedback is not standardized for each product, and thus does not give a consistent user experience. By maximizing the visual elements that can be expressed through color and abstract movement to assist voice feedback, the product can provide the user with an extended experience that includes not only functional satisfaction but also emotional satisfaction. In this study, after analyzing the interaction methods of the existing AI speakers, we examined the theory of color communication in order to expand the visual feedback effect, and examined the meaning and expression technique of Color Field Painting, an art genre that maximizes the emotional experience by using only color. Through this, the AI speaker's visual communication function was expanded by designing a way to feedback communication status using LED light.

최근 출시된 AI스피커들은 사용자와의 인터랙션에 있어 주로 음성으로 상호작용하면서 상태 표시LED를 통해 단순하고 정형화된 시각 피드백을 하는 패턴을 보이고 있다. 이는 스피커라는 제품 특성상 인터랙션의 제약이 많기 때문이기도 하지만 이러한 시각적 피드백마저 제품마다 통일되어 있지 않아 사용자에게 일관된 경험을 주지 못하고 있는 상황이다. LED 표시등으로 표현할 수 있는 시각 요소를 극대화하여 색과 추상적 움직임을 통해 음성 피드백을 보조한다면 사용자에게 기능성의 충족을 넘어 감성적 만족까지 포함하는 확장된 사용 경험을 제공할 수 있을 것이다. 본 연구에서는 기존 AI스피커들의 인터랙션 방식 분석 후, 시각 피드백 효과 확장을 위해 색채 커뮤니케이션 이론에 대해 고찰하고, 색채만으로 감성적 경험을 극대화한 미술 장르인 색면추상의 의미와 표현 기법을 조사하였다. 이를 통해 LED를 이용하여 커뮤니케이션 상태를 피드백하는 방식을 디자인함으로써 AI스피커의 시각 커뮤니케이션 기능성을 확장하고자 하였다.

I. 서론

1. 연구 배경 및 목적

라디오 혹은 음악을 듣던 용도로만 사용하던 스피커에 음성인식 기능과 클라우드, 인공지능 기술 등을 활용해 만들어진 스피커를 인공지능 스피커라고 한다.

KT그룹의 디지털 미디어랩 나스미디어가 펴낸 ‘2019 디지털 미디어&마케팅 전망’에 따르면 올해 국내 AI스피커 보급 대수는 800만 대에 이를 것으로 예측됐다. 인터넷 기업 네이버와 카카오, 통신사 SK텔레콤과 KT 등이 인공지능(AI) 스피커시장을 주도하고 있다.

음성 인터페이스로 사용자와 상호작용하는 AI스피커는 직관적인 정보 전달에 유리하지만, 표현할 수 있는 정보의 형태와 양에 한계가 분명하다. 때문에 AI 스피커에서는 사용자의 이해를 돕기 위해 음성과 함께 상황에 맞는 LED표시등의 색을 이용해 각각 다른 시각 피드백을 주고 있다. 시각적 인터페이스를 함께 사용함으로서 음성 등의 청각 요소로 소통함에 따라 나타나는 한계를 넘어 상황에 맞는 정보를 시각적으로 피드백할수 있다. 하지만 이 또한 단순하게 음성 정보를 문자화해서 전달하기보다 음성 상호작용의 경험을 시각 인터페이스로 극대화 할 수 있는 방향이 필요하다. 본 연구는 인공지능 스피커의 인터랙션에 관한 것으로 빛의 시각적 구성요소인 색과 움직임, 단순한 형태 요소를 통해 상황에 따른 음성 정보를 시각화하여, 사용자에게 색면추상화의 기법을 응용하여 감성적인 정보 전달과 상호작용이 가능한 새로운 표현방법을 제시하는 것이 목표이다.

2. 연구 방법 및 범위

먼저 시중에서 사용되고 있는 보편화된 가정용 인공지능 스피커의 사례를 취합하여 각 기기별로 빛의 구성요소와 표현방법에 대해 분석했다. 빛의 특성과 역할에 대한 선행연구를 통해 인공지능 스피커에서 보이는 LED표시등을 색과 형태, 그리고 움직임으로 나누었다.

인공지능 스피커의 기능을 단순한 정보 검색과 전달이 아닌 인공지능으로서 사용자와 교감하며 감성적 경험을 제공해야 한다고 보았으며 이에 따른 문제점을 찾아 비교분석하였다. 또한, 음성 정보에 맞는 LED 시각화를 설계하기 위해 색채가 가지고 있는 고유의 의미와 색채가 의사소통에 미치는 영향을 선행연구를 통해 분석하였고, 어휘에 따른 색채 연상과 색채가 주는 심리적 영향을 고찰하였다. 마지막으로 인공지능 스피커의 새로운 시각적 표현의 가능성을 제시하기 위해 앞서 정리한 내용을 적용한 인공지능 스피커의 정보 전달에 따른 LED등 표시 방식을 색면추상 기법을 활용하여 디자인하였다.

표 1. AI 스피커의 상황정보 표현 요소[1]

II. 현황 분석

1. 기존 AI 스피커의 시각화 방식 및 효과 분석

음성인식의 가장 큰 장점은 기존의 터치 인터페이스를 건너 뛴 상태로 언제든 활동할 수 있는 상태를 유지하는 음석인식 인터페이스다. 스피커 형태를 가지고 있는 디바이스이기 때문에 따로 화면 인터페이스를 사용하고 있지 않다. 대신 AI 스피커에서 음성과 함께 사용되는 인터랙션은 LED색상과 애니메이션이다. AI 스피커 기기의 작업 상태 시각화를 비교하기 위해 국내 대표 제조사 5곳의 AI스피커의 형태와 상태표시 LED의 색채 및 애니메이션 효과를 조사하였다.

5개의 제조사를 비교한 결과, 음성의 시각화를 위해 회전과 점멸 동작을 가진 애니메이션과 색상을 공통적으로 사용하였다. 흰색과 푸른색은 대부분 전원 켜짐,음성인식 대기 중과 같이 스피커의 긍정적인 상태를 시각화하였다. 반대로 배터리 부족, 에러 등과 같은 부정적 상태는 주황색과 빨간색을 사용하였다. 노란색은 제조사 5곳 중 3곳에서 사용하였으나 로고색을 혼합해서 쓴 구글 홈을 제외하면 음성명령 처리중과 같은 스피커의 중립적인 상태를 나타는데 사용하였다. 몇몇 공통된 상태에서 유사한 색상과 애니메이션으로 시각화 되었지만 각 제품들의 상태마다 다른 컬러를 사용하였으며애니메이션 또한 통일성이 없었다. AI 스피커의 상태표시등에 나타나는 흰색의 경우 음성명령에 답변하는 상태, 다운로드 상태, 음성인식 준비 상태, 음성을 인식하는 상태 등 다양한 상태에서 흰색을 사용하였으며 기기가 음성명령을 처리하는 상태에도 주황색, 흰색, 녹색을 사용하는 등 각 제품들마다 통일되지 않는 모습을 보였다.

[표 2]와 같이 AI 스피커 기기들은 상황별 LED표시등의 색상과 애니메이션 패턴이 통일되지 않은 상태였다. 이는 색상과 모션의 사용으로 사용자에게 스피커의 정확한 상태를 전달하고 커뮤니케이션하는데 있어 일관성이 확보되지 못한 것으로 보인다. 그렇기 때문에 앞서 언급한 바와 같이 인공지능 스피커의 음성 피드백과 조화를 이루는 시각적 표현이 일정한 규칙 하에 체계화하여 사용자에게 일관성 있는 피드백을 제공해야한다.

표 2. 제조사 5곳의 AI 스피커와 시각화 표현 방법 사례

2. AI스피커의 LED 시각화 요소 정의

위에 언급한 바와 같이 AI 스피커에서는 LED등의 색채 외에도 상태 표현을 설명해줄 수 있는 시각적 요소로서 움직임, 즉 모션을 활용하고 있다. 모션은 다양한 움직임을 통해 의사소통 하는 영상커뮤니케이션 언어이다. 모션그래픽은 특별한 의도를 가지고 제작한 시각매체로서, 일정한 메시지 전달을 목적으로 하는 명백한 커뮤니케이션 유형의 하나라고 할 수 있다. 영상은 문자로 이해하기 힘든 언어들을 움직임 및 이미지들을 통하여 해독할 수 있게 도와주며, 보는 이의 감성을 자극하기 때문에 메시지를 전달하는데 효과적이다[2].

위에 정리한 [표 2]의 내용과 선행연구에 따라 LED표시등에서 나타나는 기본적 움직임과 움직임에 따른 이미지를 정리하면 다음과 같다.

표 3. 인터페이스 요소로서 나타나는 움직임의 기본 형태[3]

Fade In은 주로 전원이 켜지거나 스피커가 음성 명령에 반응할 때 나타나는 효과로 긍정적인 이미지이다.반대로 Fade out은 전원이 꺼지거나 음성명령에 반응이 완료했을 때 주로 사용되는 효과이다. Blink는 깜빡이는 효과로 주의와 경고, 혹은 기다림의 상태를 표현하였으며 깜빡이는 속도에 따라 의미가 다양하다. spin은 회전하는 효과로 기다림을 의미하는 표현으로 주로 사용되는 효과이다. Rotate는 진행과 움직임의 이미지가 연상되는 효과이다. Grow/Shrink는 크기가 변화하는 것으로 크기가 커지면 생성을, 작아지면 소멸되는 효과를 표현한다. Rhythm, Cross는 역동적인 변화로Blink와 유사하지만 운율을 부여할 수 있어 더 풍부한 감성을 표현 할 수 있다. Scatter 은 흩어지며 사라지는 형태로 부정적이며 소멸의 이미지를 준다[4].

III. 색채와 감성

1. 색채와 커뮤니케이션의 관계

색채(color)는 사람의 감성에 영향을 미치며 텍스트보다 강력한 커뮤니케이션 수단으로 마케팅이나 광고뿐만 아니라 정치 선전 등 다양한 영역에서 활용되고 있다.

효과적인 커뮤니케이션을 위한 색채의 기능 중 하나인 연상은 색채가 가진 감성적 특징을 갖고 있으며 시대의 변화에 둔감하다. 그 중 색채의 특성과 색채에 관한 보편적인 감성적 이미지와 그에 따른 형용사[5-7]를 정리한 내용은 다음과 같다.

표 4. 색채의 감성적 이미지와 형용사

2. 색채와 감성

색채가 가지는 여러 기능이 있는데, 그 중 하나가 색채감성의 심미성이다. 색은 형태와 다르게 인간의 정서에 직접적인 영향을 끼친다. 물리학적 영향이 아닌 심리학적으로, 미학적으로 사람은 색에 대한 취향을 갖는다. 또 한가지는 색채감성의 의학성이다. 이는 색채가 사람의 감정을 자극한다는 것이다. 색채마다 사람이 받는 감정도 다양하며 색에 따라 달라진다.

색채조절(color conditioning) 또는 색채 요법(color therapy)이라고도 하는데, 이는 감정이나 기분에 색이 미치는 효과를 실생활에 적용하는 것을 말한다. 가장 대표적인 예는 아동 미술 심리 치료에 사용된다. 개인마다 색과 감정의 연결 상태는 다르지만 색채가 주는 시각적 자극의 감정효과는 형태보다 더 크다. 즉 색채는 정확하게 인간의 의사를 대변할 수 있는 커뮤니케이션 매체이면서 언어보다 먼저 선행되어 빠른의사소통의 역할을 하기도 하고 자신의 감성과 의사를 전달하는 농축된 커뮤니케이션의 표현 수단이 될 수도 있다[8].

때문에 본 연구에서는 이러한 색채 효과를 시각예술 측면에서 구현한 색면추상화의 색채 감성과 감성적 경험을 조사하고, 이를 바탕으로 AI 스피커의 음성 상태시각화에 색면추상화의 표현방법을 적용해 보고자 하였다.

3. 색면추상화의 감성적 효과

색면추상(色面抽象 Color-Field Abstract)은 1940년대에서 50년대에 걸쳐 일어난 추상표현주의의 한 흐름이다. 추상적인 부호나 이미지를 통일된 색채로 표현하고 인간의 내면을 관조(觀照)하여 명상적 성찰을 드러낸다. 색면추상의 특징은 화면 전체를 이용하는 올오버 페인팅(All Over Painting)을 통해 무중심, 상하좌우 관계를 해체한 무관계 회화(Non-RelationalPainting)를 보여준다[9]. 색면추상은 미국의 추상표현주의 미술가인 바넷 뉴먼(Barnet Newman)과 마크 로스코(Mark Rothko)등에 의해 주도되었다. 색면 회화는 화면의 전면 구성을 통한 회화 본래의 평면성에 주의를 기울이며 극도로 형태를 단순화하는 것을 추구하였다.

로스코와 뉴먼은 색면추상을 통해 예술 작품이 특정한 형상으로 존재하지 않더라도 인간의 감성을 얼마든지 자극할 수 있고, 그 존재 가치도 절대 가볍지 않음을 보여주었다[10].

하나의 색채로 칠해진 거대한 색면의 캔버스는 명상과 사색으로 관람자들을 이끈다. 색채는 인간 모두에게 내재되어 있는 모호한 의식을 떠오르게 한다. 로스코에게 색채는 인간의 기본적인 감정을 추구하게 하는 기본요소이다. 색채는 색 그 자체가 아니라 종교적인 빛의 신비를 분출하여 정신의 사유작용을 이끄는 절대요소가 된다.

로스코의 관심은 뉴먼과 마찬가지로 침묵과 고독, 비극과 좌절, 절망 등의 인간의 생과 사의 문제에서 발견되는 기본적인 감성이었다[11].

마크 로스코는 항상 세로로 긴 커다란 캔버스를 이용하였으며, 이 직사각형의 프레임 안에 직사각형의 색면을 배치했다. 그의 그림에서 커다란 직사각형의 색면은 안정감을 주는 동시에 관객이 존재 그 자체에 집중할 수 있게 하는 중요한 요소가 된다. 특히, 가장자리에서 약간 안쪽으로 떨어진 직사각형의 색면은 자유로우면서도 긴장감 있게 부유하는 듯한 느낌을 가져다준다[12].

거대한 사각형으로 구성된 로스코의 작품 앞에서 관객들이 ‘숭고(sublime)’를 깨닫는다고 주장한 로버트로젠블럼은 로스코의 색면회화에 감춰져있던 정신성과 종교성의 측면을 강조하였다[13]. 로스코가 “나는 색이나 형태에는 관심이 없다. 대신 비극, 아이러니, 관능성, 운명같은 인간의 근본적인 감정을 표현하는 것에만 흥미 있다. 내 그림 앞에서 우는 사람은 내가 그것을 그릴때와 같은 종교적 경험을 하고 있는 것이다.”라고 말한바와 같이, 마크 로스코는 고요한 작품에서 색채라는 세계 보편적인 미술 언어로 관람객들과 소통하고 있는 것이다.

색면 화가들은 화가의 감정이나 감성적 반응을 최대한 드러내지 않도록 절제하는 것을 그들의 회화에 부여하였다. 보이는 색채 자체와 색채 자율성을 뜻했으며, 색으로 된 형태, 즉 색면 자체에 의미를 둔 것이다. 그래서 로스코의 작품 제목은 <주황과 노랑><도판6>등 색의 이름만으로 존재하였다[14].

그림 1. 마크 로스코(Mark Rothko)_Untitled(red,orange) 233x176cm _ Oil on canvas _ 1968

뉴먼의 작품에서도 역시 형체는 존재하지 않는다. 수직 혹은 수평선으로 나누어진 색면이 전부이다. 바넷뉴먼의 <누가 빨강, 노랑, 파랑을 두려워하는가(Who'sAfraid of Red, Yellow, and Blue)>[그림 2]는 뉴먼의 모든 재현적 의도에서 벗어난 순수한 색채 자체의 표현적 가능성을 탐구한 전형적인 예이다. 거대한 캔버스에 채색된 뉴먼의 색채는 그림이라는 틀 내에 제한되지 않고 캔버스를 넘어 확장된다.

그림 2. 바넷 뉴먼_ 누가 빨강, 노랑, 파랑을 두려워하는가(Who's Afraid of Red, Yellow, and Blue)

본 연구에서는 극도로 단순화한 형태와 색채로 인간의 감성을 자극할 수 있다고 주장한 뉴먼과 로스코의 표현방법을 분석하고 그들의 색채 표현 방식과 감정 환기 효과를 바탕으로 AI 스피커의 상태 표시 LED등의 음성 시각화에 적용하고자 하였다.

IV. 음성의 시각화

1. 음성의 형태화와 색채화

오래전부터 연구되어 온 색청 공감각이란, 소리 자극에 반응하여 특정한 색을 보는 현상이다. 이는 음고에 따른 시각연상과 음량에 따른 시각 연상이 달라지는데, 선행연구에 따르면 고음에서는 고명도와 밝은 채도가 연상되며 시각적 높이는 높다. 반대로 저음에서는 저명도, 저채도의 색채가 연상되며 시각적 높이는 낮다. 중간 음역에서 가장 고채도의 색상이 연상된다. 음량에 대한 시각연상에서는 저음량은 명도가 작은 광원으로 연상되고 채도 역시 저채도로 연상된다. 고음량일수록 광원이 커지고 채도도 높아진다[15]. 이를 표로 정리하면 다음과 같다.

표 5. 음고와 음량에 따른 시각 연상

2. 시각화 방식 제안

앞에서 정리한 내용을 바탕으로 AI 스피커의 상황을 정리하면 크게 전원 켜짐 상태, 음성 인식 대기 상태, 음성 명령 반응 상태, 시스템 사용 불가상태로 나눌 수있다. 좀 더 세부적으로 나누면 전원 켜짐 상태, 시스템설정 중 상태, 음성 인식 대기 상태, 음성 명령 반응 중긍정적인 상태, 음성명령 반응 중 부정적인 상태, 음성명령 반응 중 중립적인 상태, 음성 명령 반응 완료 상태, 시스템 사용 불가 상태로 나눌 수 있다. 각 상황별반응은 상태에 따라 LED상태 등에 색상과 모션이 달라진다.

LED의 색상은 앞서 조사한 색채의 감성적 이미지와 형용사를 참고하고, 색채의 명도와 채도에 있어서는 음고와 음량에 따른 시각화를 정리한 표를 참고하였다. 다만 AI 스피커의 안내 음성에서는 음고나 음량의 높낮이가 일정한 특징을 보이기 때문에 색채의 감성적 이미지와 형용사의 단어를 참고해 상황에 담긴 감정을 유추하여 색채의 명도와 채도가 바뀌는 것으로 하였다.

색면추상화의 기법을 이용하여 시각화를 제안한 선행 연구[12]에 따라 AI스피커의 상태 표시 LED 디자인에 적용한 색면 추상의 표현 기법은 아래의 표와 같다.

표 6. 색면추상화 기법을 이용한 AI스피커 상태 표시 LED의 음성 시각화 제안

AI 스피커의 상태 표시를 상세하게 나눈 전원 켜짐상태-시스템 설정 중 상태-음성 인식 대기 상태-음성명령 반응 중 긍정적인 상태-음성명령 반응 중 부정적인 상태-음성 명령 반응 중 중립적인 상태-음성 명령반응 완료 상태-시스템 사용 불가 상태의 경우로 나누어 각 단계를 색면들과 모션으로 나타냈다. 각 단계는AI 스피커의 상태가 긍정적인지, 부정적인지, 중립적인지에 따라 적합한 색상의 색면과 모션으로 배치된다. 상태에 따라 각 색면들은 일반적인 AI 스피커의 모습인 직사각형으로 이루어져 있고 음성에 따라 구체적인 형상은 표시되지 않는다. 사각형들의 형태는 긍정적인 상태에서는 색면의 크기가 작고, 여러 겹으로 쌓여있으며 역동적인 움직임을 보이게 된다. AI 스피커를 사용할 수 없거나 음성 반응에 대해서 부정적인 상태이면 색면이 커지고 면들이 천천히 움직이게 된다. 또한 시스템 설정과 같이 중요한 상태, 혹은 사용자의 집중이 필요한 상태에 대해서는 띠 형태의 직사각형으로 변하며 상태가 끝날 때 까지 반복하는 모션을 보인다. 색면들의 움직임을 통해 사용자는 화면의 크기보다 깊이감을 느낄 수 있다.

표 7. 색면추상화 기법을 이용한 AI스피커 상태 표시 LED의 음성 시각화 제안

V. 결론 및 제언

본 연구는 AI 스피커의 상태 표시 LED의 색상과 모션을 색면추상화의 기법을 응용하여 개선하고자 한 연구이다. 음성 피드백 중심의 AI스피커에서 스피커의 음성을 상황별로 색채와 형태를 다르게 시각화하여 제공했을 때, 사용자에게 감성적인 피드백을 가져다 줄 수 있으며 AI스피커와의 소통에 더 몰입할 수 있을 것이라 판단하였다.

색채는 심리적인 연상과 상징적인 의미를 지각할 수 있게 해준다. 사람은 색에 무의식적으로 반응하는데, 이는 색이 정보 전달 효과 뿐 아니라 감성적인 효과와 심리적인 요인을 함께 가지고 있는 증거이다. 이러한 색채의 효과를 극대화한 AI스피커의 상태시각화는 AI스피커와 사용자 간의 단순 의사소통을 넘어 색과 형태, 그리고 움직임의 요소를 더해 새로운 커뮤니케이션 방식을 제공함으로 감성적인 상호작용을 가능하게 할 수있을 것이다. 본 연구에서 제안하는 방식을 활용한 AI스피커는 사용자에게 단순히 명령을 실행하는 음성기반 기기가 아닌 회화의 감성을 활용한 시각적인 커뮤니케이션 기능을 갖춘 의사소통 기기라는 경험을 제공해줄 수 있으며 시각적 피드백을 효과적으로 사용하여 다양한 인터랙션을 제공할 수 있을 것이다. 본 연구는 사례 분석과 이론적 고찰을 통해 도출한 아이디어를 구체상태 디자인 제안 색상과 모션화하는 것에 의의를 두므로 향후 프로토타이핑과 사용자 평가를 통해 기능적, 정서적 효과를 검증하는 후속연구가 이루어져야 할 것이다.