• 예술인문사회 융합 멀티미디어 논문지
• /
• 제9권5호
• /
• pp.811-821
• /
• 2019

사람에 대한 이미지 메이킹은 외모나 인상, 자신감 등 자신을 표현할 수 있는 다양한 요소들을 개선하는 방법이다. 사람들은 이미지 메이킹을 위하여 전통적인 방법으로서 거울이나 카메라를 이용하여 자신의 모습을 확인하거나 발표 연습을 수행한다. 최근에는 스마트 미러가 여러 분야에서 널리 활용됨에 따라 스마트 미러가 거울을 대신하여 이미지 메이킹 도구로 사용하고자 하는 시도가 빈번하게 등장하고 있다. 스마트 미러는 쉽게 접근이 가능하다는 거울의 특성을 가질 뿐만 아니라 카메라나 마이크 등 다양한 기기를 부착할 수 있으므로 이미지 메이킹 서비스를 제공하기 위한 도구로서 적합하다. 본 논문에서는 사용자에게 이미지 메이킹 서비스를 제공하는 스마트 미러 소프트웨어인 BuddyMirror와 이를 유연하게 동작시키기 위한 전용 모바일 앱의 개발에 대하여 기술한다. BuddyMirror는 사용자의 요청에 따라 발표준비, 모의면접, 스타일링 서비스를 제공하고 전용 모바일 앱과의 연동 기능을 제공한다. 이를 위하여, 본 논문에서는 개발된 새로운 서비스를 널리 사용되는 스마트 미러 개발 플랫폼인 MagicMirror의 모듈로서 구현하고 동작시키기 기법을 설명한다. 전용 모바일 앱은 사용자가 이미지 메이킹 서비스를 제공 받기 위해 발표 자료를 스마트 미러에 전달하거나 촬영된 영상을 다운로드하는 기능을 제공한다.

• Spatial Information Research
• /
• 제19권4호
• /
• pp.21-31
• /
• 2011

최근 대규모 재난 재해의 발생빈도가 증가하고 있으며 이로 인한 인명 재산 피해를 최소화하고 신속한 복구를 위하여 긴급 상황에 빠르게 대처해야 한다. 긴급 상황에 보다 효율적으로 대처하기 위하여 발생 지역의 공간정보를 신속 정확하게 취득하는 것이 중요하다. 따라서 본 연구에서 신속하게 대상지역의 고해상도 공간정보를 취득할 수 있는 저고도 무인 항공기 기반의 근접 실시간 공중 모니터링 시스템을 개발하고 있다. 근접 실시간 공중 모니터링 시스템은 항공 플랫폼과 디지털카메라, 레이저스캐너, GPS/IMU와 같은 멀티센서, 센서의 지원모듈로 구성되는 항공부문과 지상 차량, 항공부분으로부터 실시간 센서 데이터를 수신하는 수신부와 고속으로 공간 정보를 생성하는 처리부로 구성되는 지상부문으로 이루어진다. 항공부문은 저고도 무인항공기를 플랫폼으로 하며 저가 경량의 센서들과 자체 개발된 지원시스템으로 이루어지는 구성의 독창성을 가지며 지상부문은 센서데이터를 실시간으로 수신 및 처리하여 대상지의 공간정보를 고속으로 제공한다는 차별성을 가진다. 현재 시스템의 하드웨어는 개발 완료된 상태이며 개별 소프트웨어 통합 및 시스템 검증을 수행하고 있다. 본 논문에서 개발 중의 시스템을 소개하고 현재까지의 연구 성과, 향후 기대되는 최종 성과를 제시하고자 한다.

• 한국정보통신학회논문지
• /
• 제19권4호
• /
• pp.825-840
• /
• 2015

적응 비트 레이트 (ABR) 스트리밍은, 이를 사용하는 넷플릭스나 아마존과 같은 콘텐츠 제공자와 더불어 대역폭 효율을 증가시키고, 채널 상태가 좋지 않은 경우에서도 최고의 사용자 실감을 제공한다는 측면에서, 많은 멀티미디어 전달 시스템 중에서 매우 중요한 기능이 되었다. 이러한 시스템에 의하여 대역폭 이용 효율의 개선이 이루어지는 분야는, 실시간 영상전송을 위한 인지형 폐루프 제어가 가능한 비디오 인코딩 분야이다. 본 연구에서는, 지능적으로 해상도를 결정하기 위하여, 사용자 선호도를 학습함으로써, 공간 및 시간적으로 채널 상태에 적응된 비디오 스트림을 제공하는 스트리밍 카메라 시스템을 제시한다. 제시된 시스템은 비디오 압축을 위하여 하드웨어 H.264 / AVC 인코더를 사용한다. 대역폭이 변동할 때 인코딩 매개변수는 사용자 또는 사용자를 대신할 수 있는 인지형 시스템에 의해 구성될 수 있다. 본 연구에서 개발된 인지형 비디오 클라이언트는, 시간이 지남에 따라 프레임 전송률 대비 비디오 크기와 같은 사용자 선호도를 학습하고, 채널 상태가 변동할 때 지능적으로 인코딩 매개변수를 적응 구성하게 된다. 개발된 인지형 해상도 결정 시스템에서는, 공간 및 시간적 해상도를 적절히 선택하여 비디오 대역폭을 제어할 수 있을 뿐만 아니라, 학습을 통하여 그 해상도를 적응적으로 결정할 수 있다는 것을 실험을 통하여 입증하였다.

• 방송공학회논문지
• /
• 제11권2호
• /
• pp.207-221
• /
• 2006

이 논문에서 우리는 작은 휴대형 단말기에서 축구영상을 화면에 보여주는 자동적이면서도 효율적인 방법을 제안하고자 한다. 정보통신 기술의 급속한 발전으로 작은 LCD 패널을 가진 멀티미디어 장치의 사용이 대단히 빠른 속도로 증가하고 있다. 이러한 작은 장치들의 증가 추세에도 불구하고 일반 TV나 HDTV 용으로 녹화되는 대부분의 동영상들은 작은 이동형 기기 사용자들이 화면 내의 상황을 인식하는데 있어서 많은 불편한 경험을 갖게 한다. 예를 들어, 원거리 샷 카메라 기법으로 찍힌 축구 경기 동영상의 경우, 운동장 내의 공과 선수들의 모습이 매우 작아서 작은 화면으로 알아보기가 힘든 경우가 발생한다. 따라서 소형 디스플레이 시청자들의 원활한 이해를 위해 지능형 디스플레이 기술을 제안하고자 한다. 이를 위한 핵심기술의 하나가 관심 영역을 자동으로 결정하는 일이다. 여기서 관심영역이란 시청자들이 화면 내에서 다른 부분에 비해 더욱 관심을 갖게 되는 부분을 말한다. 이 논문에서, 우리는 소형 단말기를 위한 축구 경기 비디오의 지능적 디스플레이에 초점을 맞춘다. 화면 내에서 시각적으로 현저한 부분의 검출에 관심을 갖는 방법 대신, 축구 경기 비디오 고유의 특징을 이용하는 도메인 한정적인 접근법을 이용한다. 제안된 알고리즘은 크게 세 단계 - 그라운드 색 학습과 샷 분류, 관심영역 결정으로 구성된다. 실험 결과를 통해 제안된 알고리즘이 이동형 단말기 상에서 지능형 디스플레이를 위한 좋은 해결책임을 보이고자 한다.

• 한국멀티미디어학회논문지
• /
• 제16권6호
• /
• pp.720-734
• /
• 2013

본 논문에서는 사용자들이 손쉽게 마커기반과 제스처 상호작용 방법들을 적용한 증강현실 콘텐츠를 제작할 수 있는 증강현실 저작도구 시스템을 제안한다. 기존의 증강현실 저작도구들은 가상의 객체를 증강하는데 초점이 맞춰져 있었고, 이러한 증강현실 콘텐츠와 상호작용을 하기 위해서는 사용자가 마커나 센서를 이용하는 방법을 사용하였다. 우리는 이러한 제한적인 상호작용 방법의 문제점을 마커기반 상호작용 방법과 깊이 인식 카메라인 Kinect를 사용한 제스처 상호작용 방법을 적용시킴으로써 해결하고자 한다. 제안하는 시스템에서는 사용자가 인터페이스를 통하여 간단한 형태의 마커기반 증강현실 콘텐츠를 쉽게 제작할 수 있다. 또한, 능동적으로 사용자가 증강현실 콘텐츠와 상호작용할 수 있는 방법들을 제공하고 있다. 본 연구에서 제공하는 상호작용 방법으로는 마커기반의 상호작용 방법으로 2개의 마커를 이용한 방법과 마커의 가림현상(Occlusion)을 이용한 방법이 있다. 그리고 사용자의 맨손을 인식, 추적하여 객체의 확대 축소, 이동, 회전이 가능한 제스처 상호작용 방법을 제공한다. 저작도구 시스템에 대한 사용성 평가와 마커 및 제스처 상호작용에 대한 사용성을 비교평가하여, 본 연구의 긍정적 결과를 확인하였다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제13권3호
• /
• pp.165-178
• /
• 2007

최근 멀티미디어 신호처리 및 통신 기술의 발전에 힘입어 작은 LCD 패널을 통한 스포츠경기 시청이 증가하고 있다. 하지만 멀티미디어 단말에 방송되는 대부분의 영상들은 주로 경제적인 이유로 일반 TV나 HDTV 용으로 제작되어 단순히 크기만을 변환하거나 추가적인 편집 없이 녹화되고 있는 실정이다. 이는 작은 이동형 단말 사용자들이 경기화면 내의 상황을 인식하는데 있어서 많은 불편함을 겪는다. 예를 들어, 원거리 샷 카메라 기법으로 찍힌 축구 경기 동영상의 경우, 운동장 내의 공과 선수들은 매우 작아서 알아보기가 힘든 경우가 발생한다. 또한 경기 진행 시간이나 점수를 포함하는 점수상자(scorebox)의 내용 역시 시청자가 쉽게 알아보기 힘들다. 따라서 소형 디스플레이 시청자들의 원활한 이해를 위한 지능형 디스플레이 기술이 필요하다. 이를 위한 핵심기술의 하나가 관심 영역을 자동으로 결정하고 확대하여 보여주는 일이다. 여기서 관심영역이란 시청자들이 화면 내에서 다른 부분에 비해 더욱 관심을 갖게 되는 영역을 말하며 축구경기 비디오의 경우, 주로 상단 모서리에 존재하는 점수상자나 원거리 샷에서의 공을 둘러싼 주변영역 등이 해당된다. 본 논문에서 우리는 이동형 단말기 시청자들을 위한 시청경험 향상을 위한 방법을 제안한다. 경기장면에서 관심영역의 추출을 위해 화면 내에서 시각적으로 현저한 부분의 검출에 관심을 갖는 방법 대신, 축구 경기 비디오 고유의 특징을 이용하는 도메인 한정적인 접근법을 이용한다. 제안된 시스템은 크게 두 가지 모듈 관심영역 결정, 점수상자 추출로 구성된다. 실험 결과를 통해 제안된 알고리즘이 이동형 단말기상에서 지능형 디스플레이를 위한 좋은 해결책임을 보이고자 한다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제21권1호
• /
• pp.64-69
• /
• 2015

본 논문에서는 시각, 음향, 위치 정보를 포함하는 멀티모달 센서 입력 정보로부터 사용자가 위치한 장소의 환경 정보를 학습하고 기계학습 추론을 통해 장소를 인식하는 방법을 제안한다. 이 방법은 음영 지역에서의 정확도 감소나 추가 하드웨어 필요 등 기존 위치 정보 인식 방법이 가지는 제약을 극복 가능하고, 지도상의 단순 좌표 인식이 아닌 논리적 위치 정보 인식을 수행 가능하다는 점에서 해당 위치와 관련된 특정 정보를 활용하여 다양한 생활편의를 제공하는 위치 기반 서비스를 수행하는데 보다 효과적인 방법이 될 수 있다. 제안하는 방법에서는 스마트폰에 내장된 카메라, 마이크로폰, GPS 센서 모듈로부터 획득한 시각, 음향, 위치 정보로부터 특징 벡터들을 추출하여 학습한다. 이때 서로 다른 특성을 가진 특징 벡터들을 학습하기 위해 각각의 특징 벡터들을 서로 다른 분류기를 통해 학습한 후, 그 결과를 기반으로 최종적인 하나의 분류 결과를 얻어내는 앙상블 기법을 사용한다. 실험 결과에서는 각각의 데이터를 따로 학습하여 분류한 결과와 비교하여 높은 성능을 보였다. 또한 사용자 상황인지 기반 서비스의 성능 향상을 위한 방법으로서 제안하는 모델의 스마트폰 앱 구현을 통한 활용 가능성에 대해 논의한다.

• 한국멀티미디어학회논문지
• /
• 제8권11호
• /
• pp.1496-1509
• /
• 2005

본 논문에서는 투영면 컨벌루션과 결정트리 분류기법을 사용하여 주변 환경이 복잡한 차량영상으로부터 실시간으로 번호판을 추출하고 인식하는 적응적 차량번호판 인식 시스템을 제안하였다. 일반적으로 고속도로 톨게이트와 주차장 출입구에서의 차량영상은 설치 카메라와 도로 환경에 따라 차량번호판의 크기, 각도변화, 주변잡음 등으로 매우 다양하므로 번호판 추출과 분할이 어렵다. 따라서 본 논문에서는 차량 영상을 획득한 후 번호판 후보영역을 검출하고 진입 위치 변화에 따라 번호판의 기울기와 크기를 자동으로 보정하여 인식하는 알고리즘을 제안하였다. 제안한 인식 방법은 차량의 에지누적 분포와 번호판의 일정한 명암값 변화 빈도수를 누적한 투영면 컨벌루션과 체인코드를 사용하여 크기와 기울기가 일정하지 않은 번호판으로부터 번호판영역을 정확히 추출하고, 적응적 이진화 기법을 이용하여 문자를 분할하였다. 본 논문에서 제안한 방법으로써 실험한 결과 복잡한 영상에서 전방 및 후방 차량영상으로부터 번호판 인식이 가능하였으며 각각 $98.8\%$와 $95.5\%$의 추출률과 분할된 문자영역에서 $97.3\%$와 $96\%$의 인식률 개선 결과를 나타내었다.

• 전자공학회논문지
• /
• 제50권9호
• /
• pp.127-135
• /
• 2013

저조도 환경에서 카메라로 영상을 획득하기 위해 일반적으로 가시광 플래시를 사용하거나 장노출 기법을 사용하게 된다. 그러나 가시광 플래시를 사용할 때 플래시 광에 의한 색 왜곡이나 적목 현상, 눈부심에 의한 거부감을 발생시킨다. 또한 장노출을 사용하게 되면 물체의 움직임에 의한 흔들림 현상이 발생하게 된다. 따라서 최근에는 이러한 단점을 극복하고, 저조도 환경에서 고화질의 영상을 획득하기 위하여 멀티 스팩트럴 플래시(Multi-spectral flash image)를 이용하여 영상을 획득하는 방법이 소개되었다. 이 방법은 가시광과 UV/IR스펙트럼의 다섯 채널을 이용하여 가시광영상의 색 정보와 UV/IR 스팩트럼 영상의 세부정보를 최적화하여 영상을 획득하는 방법이다. 하지만, 픽셀 기반의 최적화 과정에 있어 색 왜곡과 다른 잡음을 발생시키게 된다. 따라서 본 논문에서는 이러한 색 왜곡과 잡음을 개선하기 위해 영역 기반의 가중치 맵을 최적화 방법에 적용하여 색 왜곡을 개선하는 알고리즘을 제안한다. 먼저, 영상에 대하여 Canny 에지 검출 방법을 사용하여 영상의 윤곽을 검출하였다. 이를 가중치 맵으로 최적화방법에 적용함으로, 세부 영역에 대하여 UV/IR 플래시 영상의 정보에 가중치를 부여하고, 평탄한 영역에 대하여 가시광 영상의 색 정보를 가중치를 부여하여 색 왜곡을 개선하였다. 제안한 방법을 평가하기 위하여 실험을 통하여 제안한 방법과 이전방법을 비교하였고, 객관적 평가와 주관적 평가 모두 제안한 방법이 우수한 성능을 나타내었다.

• 한국멀티미디어학회논문지
• /
• 제7권11호
• /
• pp.1597-1609
• /
• 2004

립리딩은 잡음 환경에서 저하되는 음성 인식률의 보상과 음성을 청취하기 어려운 상황에서의 음성인식보조 수단으로 많은 연구가 시도되고 있다. 기존 립리딩 시스템은 인위적인 조명 환경이나 얼굴과 입술 추출을 위하여 미리 정해진 제한된 조건에서 실험되어 왔다. 본 논문에서는 화자의 움직임이 허용되고 컬러나 조명과 같은 환경 변화에 제한조건을 완화한 영상을 이용하여 실시간 립리딩 시스템을 구현하였다. 본 논문의 시스템은 범용으로 사용되는 PC 카메라를 통해 입력받은 영상에서 얼굴과 입술 영역을 실시간으로 검출한 후, 립리딩에 필요한 영상정보를 추출하고 이 입술 영상 정보를 이용하여 실시간으로 발성 단어를 인식할 수 있다. 얼굴과 입술 영역 검출을 위하여 조명환경에 독립성을 갖는 색도 히스토그램 모델을 이용하였고 움직이는 화자의 얼굴 추적을 위하여 평균 이동 알고리즘을 이용하였다. 검출된 입술 영역에서 학습과 인식에 필요한 영상 정보를 추출하기 위하여 PCA(Principal Component Analysis)를 사용하였고, 인식 알고리즘으로는 HMM을 이용하였다. 실험 결과 화자종속일 경우 90%의 인식률을 보였으며 잡음이 있는 음성과 합병하여 인식률 실험을 해 본 결과, 음성 잡음비에 따라서 음성 인식률을 약 40～85%까지 향상시킬 수 있었다.