• 한국멀티미디어학회논문지
• /
• 제19권3호
• /
• pp.642-649
• /
• 2016

This paper presents a method for conversion of muscular sense into both visual and auditory senses based on synesthetic perception. Muscular sense can be defined by rotation angles, direction changes and motion degrees of human body. Synesthetic interconversion can be made by learning, so that it can be possible to create intentional synesthetic phenomena. In this paper, the muscular sense was converted into both color and sound signals which comprise the great majority of synesthetic phenomena. The measurement of muscular sense was performed by using the AHRS(attitude heading reference system). Roll, yaw and pitch signals of the AHRS were converted into three basic elements of color as well as sound, respectively. The proposed method was finally applied to a wearable device, Samsung gear S, successfully.

• 감성과학
• /
• 제16권2호
• /
• pp.187-194
• /
• 2013

본 연구는 컬러영상에서 특정소리를 연상시킬 수 있는 공감각 인지현상에 기반하여 컬러이미지에서 음악요소로 변환하는 시스템의 구현을 최종 목표로 한다. 이는 빛과 소리의 물리적 주파수정보사이의 유사도를 기반으로 이루어진다. 입력 컬러영상은 우선 컬러모델변환이론에 기초하여 색상(Hue), 채도(Saturation) 및 명도(Intensity)영역으로 변환된다. 음계, 옥타브, 크기 및 시간길이 등의 음악적 성분들이 HSI 컬러모델의 각 영역으로부터 추출된다. 기본주파수(F0, Fundamental Frequency)는 색상 및 명도 히스토그램에서 추출되고, 크기 및 시간길이성분은 명도와 채도 히스토그램에서 추출된다. 실험에서, 제안된 시스템은 표준 C 및 VC++ 기반에서 실현되었고, 최종적으로 WAV 포맷의 사운드파일이 생성되었다. 시뮬레이션 결과를 통해서 입력 컬러영상에서 추출된 음악적 요소들이 출력 사운드신호에 반영됨을 알 수 있었다.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제12권2호
• /
• pp.101-107
• /
• 2012

This study describes a proposed method of converting an input sound signal into a color image by emulating human synesthetic skills which make it possible to associate an sound source with a specific color image. As a first step of sound-to-image conversion, features such as fundamental frequency(F0) and energy are extracted from an input sound source. Then, a musical scale and an octave can be calculated from F0 signals, so that scale, energy and octave can be converted into three elements of HSI model such hue, saturation and intensity, respectively. Finally, a color image with the BMP file format is created as an output of the process of the HSI-to-RGB conversion. We built a basic system on the basis of the proposed method using a standard C-programming. The simulation results revealed that output color images with the BMP file format created from input sound sources have diverse hues corresponding to the change of the F0 signals, where the hue elements have different intensities depending on octaves with the minimum frequency of 20Hz. Furthermore, output images also have various levels of chroma(or saturation) which is directly converted from the energy.

• 한국콘텐츠학회논문지
• /
• 제15권12호
• /
• pp.8-17
• /
• 2015

본 논문은 공감각의 한 부분인 색청(colored-hearing) 공감각을 이용한 사운드-컬러 신호 변환에 관한 연구로서, 인간이 인지 할 수 있는 오감 중 공감각적 변환이 가장 많이 일어나는 청각과 시각을 이용한 실시간 변환 시스템의 구축을 목표로 한다. 본 논문에서 제안하는 음-색 실시간 변환 방법으로서, 입력으로 사용하는 MIDI(Musical Instrument Digital Interface) 신호에서 음계(scale), 옥타브(octave) 및 음의 세기(velocity)를 추출한 후 HSI 컬러모델의 기본 요소인 색상(hue), 명도(intensity) 및 채도(saturation)에 각각 대응하여 변환하는 방법으로 단순하지만 직관적인 방법을 사용한다. 변환된 HSI 컬러 모델은 모니터 출력을 위해 RGB 컬러 모델로 최종 변환하여 출력한다. 실험에서, MIDI 입력신호 전송 H/W 시스템과 VC++ 기반 해당 사운드-컬러 변환 입 출력 S/W 모니터링 시스템을 구축하여 사운드에서 컬러로의 출력이 제안한 방식에 따라 값이 출력됨을 확인하였다.

• 한국음향학회지
• /
• 제30권3호
• /
• pp.142-148
• /
• 2011

본 연구는 컬러이미지에서 특정 사운드를 연상하는 인간의 공감각적 기능을 모방하는 지능로봇의 개발을 최종 목표로 하고 있으며, 이는 컬러이미지와 사운드의 상호변환에 기초하여 이루어질 수 있다. 최종 목표의 첫 번째 단계로서, 본 연구는 컬러 이미지에서 사운드로의 변환을 이용한 기본 시스템의 구축에 초점을 맞추었다. 본 연구에서는 빛과 소리사이의 물리적 주파수 정보로부터 그 유사성에 기초하여 컬러이미지에서 사운드로 변환하는 방법을 제시한다. 컬러이미지에서 사운드로 변환하는 방법은 RGB-to-HSI 컬러모델 변환을 통한 HSI 히스토그램을 사용하고 Microsoft Visual C++을 이용하여 코딩함으로써 구현되었다. 두 가지 컬러이미지를 사용하여 시뮬레이션 실험을 하였고, 그 결과, 각각의 입력 컬러이미지의 색상(Hue), 채도 (Saturation) 및 명도 (Intensity)를 사운드의 기본주파수 (F0: Fundamental Frequency), 하모닉 (Harmonics) 및 옥타브 (Octave)로 각각 변환한다. 제안된 시스템을 통하여 변환된 사운드 요소들을 Csound를 이용, 합성함으로써 웨이브(wav) 파일 포맷 음원을 최종 생성하였다.

• 감성과학
• /
• 제15권2호
• /
• pp.231-238
• /
• 2012

본 연구는 하나의 감각으로 인해 다른 영역의 감각을 불러일으키는 공감각 현상을 기초로 하여 사운드에서 컬러이미지를 유추하여 생성하는 응용 시스템의 구현을 최종 목표로 한다. 이를 위해 사운드의 특징정보인 기본주파수(F0, Fundamental Frequency)에서 음계(Scale) 및 옥타브(Octave) 성분을 추출한 후, HSI 컬러모델인 색상(Hue), 명도(Intensity) 성분에 각각 매핑한다. 본 논문에서 채도(saturation)값은 고정된 값을 사용한다. 이를 다시 RGB 컬러모델로 변환한 후 최종 BMP 포맷으로 컬러 이미지를 출력한다. 본 연구에서 제시한 사운드-컬러이미지 변환 방법을 토대로 기본 변환 시스템을 구현해 본 결과, 기본주파수에서 추출된 음계 및 옥타브 성분의 변화에 따라 색상 및 명도가 상이한 다양한 컬러가 나오는 것을 확인할 수 있었다. 또한 하드웨어적 구현을 위해 TMS320C6713 DSP Board에 포팅하여 실험한 결과 제안된 시스템의 시뮬레이션 결과와 동일한 컬러 이미지가 출력됨을 확인하였다.

• 한국지능시스템학회논문지
• /
• 제20권2호
• /
• pp.251-256
• /
• 2010

본 논문은 컬러이미지에서 소리를 연상하는 인간의 공감각적 기능을 모방하는 지능로봇의 개발을 위하여 색-음 상호변환에 기초한 응용 시스템의 구축을 목표로 하고 있다. 그 첫 번째 단계로서 컬러 이미지를 소리로 변환하는 방법론에 관한 기초 연구 및 이에 기반한 기본 시스템을 구현하고자 한다. 본 연구에서는 컬러 영상이 갖고 있는 색상과 소리의 파동, 즉 상호 주파수 특성에서의 유사성을 이용하여 가시영역에서 가청영역으로 변환하는 방법을 제시하고, 컬러모델 변환 및 변환된 모델에서의 히스토그램을 이용하여 컬러 영상을 소리의 청각적인 요소로 변환 가능하게 하는 색-음 변환 방법을 제시하고 있다. 또한 본 연구에서 제시된 색-음 변환 방법을 토대로 Microsoft Visual C++을 이용하여 코딩하고 실제 기본 응용 시스템을 구현해 보았다. 그 결과 색채와 소리의 상호 연관성 즉, 색채의 색상(Hue), 채도(Saturation)및 명도(Intensity)를 음의 높이(Fundamental Frequency), 하모닉(Harmonics) 및 옥타브(Octave)에 각각 대응시키고, 변환된 음향 요소를 Csound로 합성하여 웨이브 파일로 변환됨을 확인하였다.

• 한국지능시스템학회논문지
• /
• 제24권5호
• /
• pp.462-469
• /
• 2014

본 논문은 공감각의 공학적인 응용 및 표현방법에 관한 기초연구로서, 인간이 인지할 수 있는 감각들 중 근감각을 시각 및 청각 요소로 변환하는 기본 시스템의 구축을 목표로 한다. 구축방법으로서, 근감각 신호를 3축 가속도 센서 및 2축 자이로센서로부터 계산된 롤(roll), 피치(pitch) 신호를 통하여 근감각 신호 데이터를 획득하고 그 데이터에서 시각적 컬러 정보와 청각적 정보로 변환하는 방법을 제안한다. 롤 신호는 HSI 컬러 모델의 명도(Intensity)와 청각의 요소인 옥타브(Octave)로 변환하고, 피치 신호는 HSI 컬러 모델의 색상(Hue)과 청각의 음계(Scale)에 대응하여 변환한다. 추출된 HSI 컬러모델의 요소성분들을 기반으로 RGB 컬러모델로 변환한 후 실시간 컬러 출력신호를 얻는다. 또한, 청각의 요소인 옥타브 및 음계 성분을 기반으로 MIDI 신호로 변환, 합성한 후 실시간 사운드 출력신호를 얻는다. 실험에서, 신체의 움직임 즉 근감각을 표현하는 롤과 피치 값에서 색과 음 사이의 유사성에 기초한 변환관계에 따라 정상적인 색과 음이 출력되는 것을 확인하였다.