• 지능정보연구
• /
• 제29권2호
• /
• pp.115-127
• /
• 2023

동영상 안정화 기술은 최근 1인 미디어 시장이 거대화됨에 따라 그 중요성이 점점 커지고 있는 카메라 기술 중 하나이다. 딥러닝 기반의 기존 방법들에서는 안정화 전/후 동영상 데이터 쌍을 사용하였으나 동영상의 특성상 동기화된 안정화 전/후 데이터를 만드는 것은 많은 시간과 노력이 필요하다. 최근 이러한 문제를 완화하기 위하여 안정화 전 데이터만을 사용하는 비지도 학습 방법이 제시되고 있다. 본 논문에서는 비지도 학습 방법의 하나인 Convolutional Autoencoder 구조를 사용하여 안정화 전/후 동영상 데이터 쌍 없이 안정화 전 영상만으로 안정화 궤적을 학습하는 네트워크 구조를 제안한다. 네트워크 입력 및 출력으로 옵티컬 플로우를 사용하고 네트워크 경량화 및 노이즈 최소화를 위해 옵티컬 플로우를 Grid 단위로 맵핑하여 사용했다. 또한 비지도 학습 방법으로 안정화된 궤적을 생성하기 위해 옵티컬 플로우를 부드럽게 만드는 손실함수를 정의하였고 결과 비교를 통해 손실함수의 의도대로 부드러운 궤적을 생성하도록 네트워크가 학습되었음을 확인했다.

• 한국멀티미디어학회논문지
• /
• 제20권8호
• /
• pp.1166-1174
• /
• 2017

In general, the detection of the vehicle license plate is a previous step of license plate recognition and has been actively studied for several decades. In this paper, we propose an algorithm to detect a license plate area of a moving vehicle from a video captured by a fixed camera installed on the road using the Convolution Neural Network (CNN) technology. First, license plate images and non-license plate images are applied to a previously learned CNN model (AlexNet) to extract and classify features. Then, after detecting the moving vehicle in the video, CNN detects the license plate area by comparing the features of the license plate region with the features of the license plate area. Experimental result shows relatively good performance in various environments such as incomplete lighting, noise due to rain, and low resolution. In addition, to protect personal information this proposed system can also be used independently to detect the license plate area and hide that area to secure the public's personal information.

• Journal of Information Processing Systems
• /
• 제19권6호
• /
• pp.730-744
• /
• 2023

The topic of this paper is the recognition of human activities using egocentric vision, particularly captured by body-worn cameras, which could be helpful for video surveillance, automatic search and video indexing. This being the case, it could also be helpful in assistance to elderly and frail persons for revolutionizing and improving their lives. The process throws up the task of human activities recognition remaining problematic, because of the important variations, where it is realized through the use of an external device, similar to a robot, as a personal assistant. The inferred information is used both online to assist the person, and offline to support the personal assistant. With our proposed method being robust against the various factors of variability problem in action executions, the major purpose of this paper is to perform an efficient and simple recognition method from egocentric camera data only using convolutional neural network and deep learning. In terms of accuracy improvement, simulation results outperform the current state of the art by a significant margin of 61% when using egocentric camera data only, more than 44% when using egocentric camera and several stationary cameras data and more than 12% when using both inertial measurement unit (IMU) and egocentric camera data.

• 한국콘텐츠학회논문지
• /
• 제11권6호
• /
• pp.98-105
• /
• 2011

최근의 기술발달은 개인용 컴퓨터를 이용하여 실시간 영상처리 및 특수효과 처리를 가능하게 하였다. 본 논문에서는 개인용 컴퓨터를 이용하여 제작하고 시연한 실시간 인터렉티브 비디오 시스템을 기술하고 분석한다. 본 작품의 동기는 해변에서 파도가 부서지는 시각적 모습으로 부터 파도소리를 대체하는 사운드를 생성하고 자연과 하나가 되어가는 경험을 제공하기 위한 것이다. 이를 위하여 해변의 모습을 촬영한 실사 영상을 컴퓨터 비젼 기법인 옵티컬 프로우(Optical Flow)에 의하여 처리함으로써 프레임간의 변화에 대한 정보를 얻어 이를 카메라에서 실시간으로 캡쳐 받은 관객의 실루엣 이미지와 마스킹(masking)에 의하여 결합하고 그 결과를 프로젝터를 통하여 보여준다. 결과 이미지의 특성을 반영하여 미디 피아노 사운드가 함께 생성된다. 이는 하나의 인터렉티브 비디오 작품으로써 의도된 개념을 반영하여 상호작용 공간을 창출한다.

• 한국콘텐츠학회논문지
• /
• 제14권2호
• /
• pp.39-47
• /
• 2014

개인용 스마트 디바이스의 빠른 발전과 역동적 보급은 개인 사용자들을 영상시청 중심의 소비자에서 영상의 촬영에서 공유로 확장된 프로슈머로 변화 시키고 있다. 이러한 변화 속에서 방송영상에 비견되는 소비가 발생되고 지속적으로 생산 및 공유되는 사용자 제작 영상(User Created Video,UCV)이 다양한 콘텐츠 서비스가 가능한 플랫폼으로 주목을 받고 있다. 특히 경험의 공유 목적으로 제작되는 UCV는 복수의 사용자들이 한정된 시간, 공간의 동일한 이벤트로부터 촬영된 것으로, 방송영상과 유사하게 동일한 이벤트를 다양한 앵글의 카메라로 촬영된다. 본 논문에서는 UCV의 다시점적 특성을 제시하고, 이러한 특징을 기반하여 동일한 이벤트에서 촬영된 UCV를 앵글 전환하며 시청할 수 있는 다시점 UCV 서비스를 제안하였다. 또한 사용자 만족도 설문을 통해 중복영역이 포함된 UCV의 시청방식으로 다시점 UCV 서비스를 기존의 선형적 시청방식보다 더 선호함을 알 수 있었다.

• 한국산학기술학회논문지
• /
• 제21권10호
• /
• pp.454-460
• /
• 2020

최근 들어, 동영상의 간편한 촬영 그리고 인터넷을 통한 동영상의 보급 및 시청이 기하급수적으로 늘어남에 따라서 개인 정보의 외부 노출로 인한 피해가 발생하고 있다. 본 논문에서는 연속적으로 들어오는 영상으로부터 사람의 개인 정보가 노출된 목표 객체 영역을 강인하게 추출한 다음, 추출된 객체를 위치 예측 알고리즘을 이용해 빠르게 추적하면서 영상 블러링 기법을 통해 동시에 블로킹하는 새로운 방법을 제안한다. 본 논문에서는 먼저 입력받은 컬러 영상으로부터 개인 정보 영역이 노출된 목표 객체 영역을 인공 신경망 기반의 학습 알고리즘을 이용하여 정확하게 추출한다. 그런 다음, 검출된 객체를 위치 예측 알고리즘을 이용하여 빠르게 추적하면서 영상 블러링을 적용하여 블로킹한다. 실험 결과에서는 제안된 방법이 받아들인 다양한 종류의 컬러 영상 데이터로부터 개인 정보가 노출된 목표 객체를 기존 방법에 비해 2.5% 보다 정확하게 추적하면서 동시에 블러링함으로써 개인 정보 영역을 효과적으로 차단한다는 것을 보여준다. 본 논문에서 제안된 물체 차단 방법은 개인 정보의 보호, 비디오 감시 및 보안, 객체 검출 및 추적 등과 같은 많은 실제적인 응용 분야에서 유용하게 활용될 수 있을 것으로 기대된다.

• 한국전자통신학회논문지
• /
• 제12권6호
• /
• pp.1135-1142
• /
• 2017

본 논문에서는 개인방송서비스에서 실감 음향을 구현할 수 있도록, 화면 변화에 따른 음향 데이터의 변화를 추적하여, 자동적으로 화면과 음향을 믹싱하도록 도와주는 알고리즘을 제안하고자 한다. 실험을 통하여 화면의 회전각도 변화에 따른 음원에서의 고주파 대역에서의 음압 변화를 확인하였고, 소리의 명료도와 관련되는 주파수 대역인 2kHz, 4kHz, 8kHz에서의 음압 변화를 회귀분석을 통하여 각각 -1.17 dB/degree, -2.0 dB/degree, -2.44 dB/degree로 음압의 감쇄 변화 추세를 파악하였다. 이 실험결과는 음압열화를 보완하여 실감음향을 향상시키는 믹싱 알고리즘에 사용되어, 실감 개인방송 서비스 보급에 유용할 것으로 기대된다.

• 한국융합학회논문지
• /
• 제11권3호
• /
• pp.77-83
• /
• 2020

최근 지능형 예측감시 시스템이 등장하고 있다. 지능형 예측감시 시스템의 추론을 위해서는 현재 및 과거의 데이터가 필요하며, 이러한 데이터의 분석을 통하여 곧 발생할 상황에 대한 예측을 가능하게 한다. 그러나, 이러한 과정에서 영상 객체의 개인정보를 취급하게 될 소지가 높으므로, 개인정보보호를 위해서는 보안에 대한 고려가 필수적이다. 특히, 개인의 생활패턴, 주요 이동 경로 등에 대한 정보가 해킹을 통하여 공개적으로 노출된다면 프라이버시 측면에서 문제가 될 것이다. 기존의 영상감시 프레임워크는 개인정보보호 측면에서 한계점이 있으며, 특히 개인정보보호에 취약한 측면이 있다. 본 논문에서는 개인정보보호를 고려한 지능형 예측감시 시스템을 위한 보안 프레임워크를 제안하였다. 제안한 방법에서는 단말, 전송, 감시, 모니터링 계층으로 구분하여 단위별 세부 구성요소를 명시하였으며, 특히 객체 단위별 세부 접근제어와 비식별화를 지원하여 영상감시 과정에서의 능동형 개인정보보호가 가능하다. 또한, 데이터 전송시 보안 기능과 RBAC 제공을 통한 접근제어의 장점을 갖는다.

• 한국정보통신학회논문지
• /
• 제24권2호
• /
• pp.172-178
• /
• 2020

최근 널리 이용되고 있는 동영상 공유 서비스에서는 콘텐츠 추천 시스템이 매우 중요한 요소이다. 콘텐츠 추천을 위해서 일반적으로 사용자 선호도와 동영상(아이템) 유사도를 동시에 고려하는 협업 필터링을 사용하고 있다. 그러한 서비스는 주로 사용자의 검색 키워드와 시청시간과 같은 개인 선호도를 활용하여 사용자의 편의를 도모한다. 또한 동영상에 지정한 키워드를 중심으로 랭킹화한다. 그러나 한정된 키워드만을 이용한 동영상 유사도를 분석한다는 한계가 있다. 이런 경우 지정한 키워드가 아이템을 제대로 반영하지 못하는 경우 그 문제가 심각해진다. 이 논문에서는 교육 동영상으로부터 차별화된 의미를 갖는 모든 단어를 고려하여 유사도를 분석하며, 이런 경우 데이터와 연산의 규모가 방대하기 때문에 빅데이터 클러스터에서 처리하는 방법을 적용한다. 제안한 시스템은 빅데이터 영상 분석을 통해 동영상 공유 서비스 플랫폼의 기본 모듈로 활용될 것으로 기대한다.

• 디지털융복합연구
• /
• 제19권4호
• /
• pp.251-257
• /
• 2021

뉴 미디어의 발전으로 인해 사람들의 정보 습득 방식에 커다란 변화가 생기고 있다. 글이나 사진보다 콘텐츠 내용을 더 입체적인 전달할 수 있는 영상콘텐츠 활용이 그 변화다. 2016년 이후 실시간 라이브 방송 콘텐츠는 제공자와 사용자 모두 증가하는 추세이다. 본 논문은 Youtube Live 또는 DouyuTV를 플렛폼으로 하는 개인의 실시간 라이브 방송 콘텐츠를 연구 대상으로 하였다. 개인의 실시간 라이브 방송 사례에 수록된 디지털화된 정보 내용의 특징 또는 필요성을 분석하였다. 2020년에 코로나19로 인한 온라인 생활의 변화는 실시간 라이브 방송을 더 다양한 분야로 확대될 수 있음을 보여주었다. 디지털 첨단기술을 용합한 실시간 라이브 방송은 내용적인 측면 뿐만 아니라 영상콘텐츠를 소비하는 대중들의 영상 소비 문화에도 다양성을 제공하여 더 많은 사회적 가치를 만들 것으로 예측된다. 그러므로 향후 실시간 라이브 방송콘텐츠의 사회적 책임에 관한 심도 있는 연구가 필요하다고 생각한다.