• 디지털융복합연구
• /
• 제14권7호
• /
• pp.331-337
• /
• 2016

본 연구의 목적은 사운드 데이터를 3차원 입체 이미지로 시각화하는 방법을 제공하는 것이다. 사운드 데이터의 시각화는 사운드데이터의 음역채널을 텍스트베이스형태의 스크립트 제작한 후 설정된 알고리즘에 따라 수행한다. 알고리즘은 음역 채널 설정단계, 사운드 시각화용 화면프레임 설정단계, 단위 입체이미지 구현체 특성정보 설정단계, 사운드 데이터 음역 채널 검출단계, 사운드 시각화단계등 총 5단계로 이루어지며, 마우스등의 입력장치로 최소한된 입력신호조작으로 3D 시각화를 수행한다. 일반적인 방법으로 애니메이터가 할 수 없는 양을 가진 사운드 파일을 이용해, 애니메이터가 작업하는 시간과 제시한 연구방법을 이용한 작업시간을 비교하여, 본 연구에서 제시한 3D 시각화 방법이 창의적 예술적 이미지를 제작에 저비용, 고효율 방법임을 부각하였다. 향후, 게임엔진에서 렌더링 과정을 거치지 않는 방법으로 사운드 데이터의 실시간 시각화 방법을 연구할 예정이다.

• 만화애니메이션 연구
• /
• 통권36호
• /
• pp.469-491
• /
• 2014

웹툰은 출판만화에서 사운드를 시각적으로 표현했던 방법을 발전시켜왔으며, 웹 기술의 발전을 토대로 직접 소리를 들려주기까지 한다. 직접 들리는 소리는 당연히 사운드 분석의 대상이 된다. 그러나 들리지 않는 사운드도 분석 대상이 될 수 있다. 본 연구는 들리지 않는 소리를 분석할 수 있다는 것의 이론적 토대를 인지심리학의 이중부호 개념에 둔다. 작가는 자신의 청각적 기억을 시각적으로 기호화할 수 있고, 독자는 기억과 인출의 과정을 통해 시각화된 기호를 보고 사운드를 떠올릴 수 있다. 이와 같은 웹툰의 들리지는 않지만 떠올릴 수 있는 사운드와 직접 들리는 사운드 두 경우를 본 연구는 함께 분석대상으로 한다. 구체적 분석을 위해서는 이론적 성과물이 있는 영화 사운드 분석 방법을 활용할 수 있다. 소리를 구성하는 세 요소인 음량, 음조, 음색은 음향학에서는 주파수 등으로 설명되고 직접 들을 때는 느낌으로 알지만, 시각적으로는 사운드를 표현한 글자나 이미지의 선의 굵기와 위치, 음원의 이미지 등으로 알 수 있다. 내화면 사운드와 외화면 사운드의 시각적 표현은 만화의 칸과 관련이 있다. 일반적으로는 칸 외부로 외화면 사운드를 표현하지만 웹툰에서는 듣는 자를 강조하는 방법으로 칸 내부에 외화면 소리를 표현하기도 한다. 그리고 영화의 호러 장르가 장르 효과를 높이기 위해 사운드를 많이 사용하는데 웹툰에서도 호러 장르가 같은 효과를 위해 사운드를 많이 사용한다. 이러한 영화 사운드 분석 방법을 활용해 사운드를 이미지로 표현한 작품들을 분석해볼 때, 초창기 출판만화에서부터 시작한 사운드의 청각적 표현들이 계속 발전해서 웹툰에서 창의적으로 표현되고 있음을 알 수 있다. 특히 세로 이동을 활용한 칸의 배치 및 소리표현의 방식들은 웹툰이 보여준 새로운 방법들이며, 칸 모양도 훨씬 다양해졌다. 직접 들려주는 소리로는 BGM이 가장 먼저 사용되었는데 최근에는 한 회의 분위기에 맞춰 음향효과까지 섞어 맞춤 작곡된 곡들이 사용된다. 그리고 스크롤 이동에 맞춰 소리를 들려주는 프로그램이 개발되면서 특정 순간의 음향효과나 특정 장면에 어울리는 음악들을 들을 수 있게 되었다. 특히 호러 장르에서는 특정한 이미지와 공포를 불러일으키는 사운드를 같이 사용하여 장르적 효과를 배가시킨다. 이렇게 웹툰에서는 다양한 사운드 시각화 방법이 계속 창조되고 있으며 기술과 접목된 새로운 시도들이 이루어지고 있다. 이러한 발전은 웹툰이 하나의 문화콘텐츠로서의 융합의 장이 될 수 있음을 보여준다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 추계학술발표대회
• /
• pp.656-659
• /
• 2018

통계적으로 일반인보다 청각장애인의 교통 사고율이 높은 것으로 나타나는데, 이는 청각 장애로 대표되는 차량을 포함한 위험 요소를 인식하기 힘든 상태나 조건에서 기인한다. 자동차가 접근하는 등의 소리를 듣지 못한다는 것은 결국 어떠한 위치에 위험요소가 존재하는지 인지하지 못함에 따라 사고로 이어질 가능성이 존재함을 의미하는데 이러한 문제점을 개선함과 동시에 대화중인 사람의 목소리를 시각화하여 정보를 제공함으로써 청각장애인으로 하여금 더 안전하고 쾌적한 삶을 누리게 하는 것이 청각장애인을 위한 사운드 정보 시각화 안경의 개발 목적이다. 위와 같은 배경을 통해 딥 러닝 기술에 기반하여 분류 과정을 거친 소리 정보의 판별을 통해 위험 요소를 인식한 후 시각화 하여 정보를 제공하는 디바이스를 제안한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2013년도 제48차 하계학술발표논문집 21권2호
• /
• pp.379-380
• /
• 2013

본 논문은 중국전통문화 오행문무(五行文武)와 인터랙티브 미디어 아트 개념을 결합한다. 중국 전통악기 고금(古琴, Gu Qui)을 레이저 다이오드와 빛감지센서를 이용하여 현을 하드웨어적으로 구현하고, VVVV를 활용하여 센서 인식, 음향재생, 프로젝션 화면 영상 시각화에 해당하는 소프트웨어를 구현한다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 1부
• /
• pp.184-189
• /
• 2008

본 연구는 기존에 저장되어 있는 응원이나 입력되는 사운드 데이터를 사용하여 게임 플레이상에 지형을 생성함으로서 사운드의 적극적인 황용을 도모하고 렌더링되는 화면과 입출력되는 오디오 간의 동기화를 통해 사용자들에게 공감각적인 상호작용을 제공한다. 사용자가 직접 사운드를 발생시키거나 원하는 음원을 입력하면 그 입력받은 사운드 진폭 데이터를 푸리에 변환하여 주파수 데이터로 변환하고 취득한 데이터로 분석 및 재가공하여 시간에 따라 변화하는 3차원 지형을 만든다. 지형이 생성될 때는 여러 가지 보간 처리를 통하여 에이전트들과 오브젝트들이 활동 가능하도록 지형을 보정하며, 확장 역시 용이하도록 디자인한다.

• 문화기술의 융합
• /
• 제8권5호
• /
• pp.171-176
• /
• 2022

본고는 20세기 중반 이후 펼쳐진 상호학제적인 융합적 예술실천의 핵심적 유형인 사운드아트 큐레이팅이 가지는 역사적 의미와 가치를 고찰한다. 이에 '사운드아트'의 시작에서 현재까지의 발전적 과정을 정리하되, '사운드'라는 재료가 기능한 시각예술의 맥락을 시대 순으로 살피고 주요한 사운드아트 전시의 큐레이팅 사례를 중심으로 '사운드'가 제공한 미학적 체험의 파장과 동시대적 의의를 분석하고자 한다. 이를 위하여 본문은 세 개의 섹션으로 구분하여 전개한다. 첫 번째 섹션에서는 19세기 후반 미래파와 다다이스트의 사운드 시에 뒤이어 1913년 마르셀 뒤샹이 음악악보를 시각예술과 접목했던 시도 등이 아방가르드 작곡가 존 케이지의 시각적 음악에도 깊은 영향을 끼쳤음을 인식한다. 이에 이러한 배경이 '사운드'를 새로운 미디어로서 다루는 전시의 등장을 야기했음을 설명한다. 두 번째 섹션에서는 1970년대 들어서면서 예술적 미디어로서의 사운드가 시각성이 지배하는 전시공간과의 비판적 관계성을 성찰하게 하는 역할을 하게 되었음을 설명한다. 세 번째 섹션에서는 1980년대 이후 현재까지 관객이 전시장의 조직 내에서 마치 하나의 시각적 오브제처럼 사운드를 체험하도록 하는 큐레토리얼 방법론을 분석한다. 본고는 이러한 과정을 통해 전시장에서의 지각적 구조를 관습화 했던 역사적 실천을 비평적으로 대하며 동시대 예술현장에서 생명력 넘치는 사운드의 역할을 고민한 사운드아트 큐레이팅의 유의미한 방법론을 사유해 본다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2017년도 제56차 하계학술대회논문집 25권2호
• /
• pp.257-258
• /
• 2017

본 논문에서는 청각 장애인들은 시각에 의존하지 않고는 소리를 인지할 수 없다는 문제를 해결하기 위해 사운드를 시각화하는 웨어러블 시스템을 구현하였다. 시스템의 음성 인식 센서가 음성을 인식해 웨어러블 디스플레이에 전송된 메시지를 확인하고, 기상 재난 메시지를 웨어러블에서 실시간으로 확인하여 안전사고를 예방할 수 있게 하여 청각장애인의 어려움을 해결하였다.

• 한국디자인학회:학술대회논문집
• /
• 한국디자인학회 2005년도 춘계 학술발표대회 논문집
• /
• pp.160-161
• /
• 2005

• 디지털융복합연구
• /
• 제18권7호
• /
• pp.369-374
• /
• 2020

제품을 홍보하는 영상 광고에는 다양한 감각 요소가 사용된다. 시각적 요소와 청각적 요소를 활용한 영상 광고는 마케팅의 대표적인 수단이라 할 수 있다. 이와 같은 감각 요소를 활용하여 제품을 홍보하는 광고 영상은 로고 혹은 특정 이미지, 문구 등 시각적 요소를 지속적으로 또는 반복적으로 노출시키며 시청자에게 각인시킨다. 그러한 시각적 이미지는 브랜드 이미지를 효과적으로 심벌화하는데 효과적인 방법으로 사용되고 있다. 대부분의 자동차 브랜드의 광고 영상에서 시각적인 요소를 심벌화하였다면, 기아 자동차 K5의 광고 영상에서는 청각적인 요소 즉 사운드를 심벌화하여 K5만의 차별화된 광고 영상을 제작하였다. 본 논문은 청각적 요소를 심벌화한 기아 자동차의 K5 광고 영상을 타사의 자동차 브랜드 광고 영상과 비교 분석하였으며, 광고 영상 제작에 활용된 기법과 효과를 연구하였다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.1075-1080
• /
• 2009

이 글은 Music Information Retrieval(MIR) 기법을 사용하여 오디오 콘텐츠의 리듬 정보를 자동으로 분석하고 이를 시각화하는 방법에 대해 다룬다. 특히 MIR을 활용한 간단한 시각화(sound visualization) 어플리케이션을 소개함으로써 음악 정보 분석이 디자인, 시각 예술에서 다양하게 활용될 수 있음을 보이고자 한다. 음악적 정보를 시각 예술로 담아내려는 시도는 20세기 초 아방가르드 화가들에 의해 본격적으로 시작되었다. 80년대 이후에는 컴퓨터 기술의 급속한 발전으로 사운드와 이미지를 디지털 영역에서 쉽게 하나로 다룰 수 있게 되었고, 이에 따라 다양한 오디오 비주얼 예술작품들이 등장하였다. MIR은 오디오 콘텐츠로부터 음악적 정보를 분석하는 DSP(Digital Signal Processing) 기술로 최근 디지털 콘텐츠 시장의 확장과 더불어 연구가 활발히 진행되고 있다. 특히 웹이나 모바일에서는 이미 다양한 상용 어플리케이션이 적용되고 있는데 query-by-humming과 같은 음악 인식 어플리케이션이 대표적인 경우이다. 이 글에서는 onset 검출(onset detection)을 중심으로 음악적 리듬을 분석하는 알고리즘을 살펴보고 기본적인 조형원리에 따라 이를 시각화하는 어플리케이션의 예를 소개한다.