• IEIE Transactions on Smart Processing and Computing
• /
• 제5권1호
• /
• pp.1-4
• /
• 2016

In this paper, we present an algorithm for adjusting the position of a user-specified object considering image aesthetics. Specifically, the user-specified object is positioned according to the rule of thirds by inserting or deleting unimportant seam lines from the image. To find such seam lines, a novel weight map is designed using the spatial and color distances from the object. We also design and analyze two approaches to seam carving and insertion. Experimental results show that the proposed method can be used as an effective semi-automatic image recomposition scheme.

• 방송공학회논문지
• /
• 제16권4호
• /
• pp.573-583
• /
• 2011

본 논문에서는 가상 시점 영상을 생성하는 과정에서 발생하는 가려짐 영역(occlusion region)을 보상하는 기법을 제안한다. 기존에 제안되었던 가려짐 영역 보상 기법들이 가려짐 영역이 발생한 주변 화소를 그대로 이용하거나, 평균값 또는 중간값을 이용하여 보상하기 때문에 시차의 분포 특성을 고려하기 어렵고 따라서 보상된 영역에서 시차의 정확성이 보장되지 않는다. 이러한 문제점들을 해결하기 위하여 본 논문에서는 에너지 편향치 또는 특징점 기반의 영상 크기 조절 방법인 심카빙(seam carving) 기법의 기본 원리를 응용하여 가려짐 영역을 보상하는 기법을 제안한다. 제안한 기법에서는 먼저 소벨 마스크(Sobel mask)를 사용해 영상의 에지 맵을 검출하고, 이진화 과정과 세선화 과정을 거친 후 심카빙 기법을 응용하여 원 영상과 세선화 된 에지 맵의 에너지 패턴을 구한다. 구한 에너지 패턴으로 가려짐 영역을 보상하게 된다. 다양한 영상에 적용하여 제안된 기법의 성능을 실험하였고, 그 결과 기존의 보상 방법에 비해 영상의 중요 정보를 손상시키지 않고 가려짐 영역을 비교적 정확하게 보상하는 것을 확인하였다.

• International journal of advanced smart convergence
• /
• 제5권3호
• /
• pp.1-7
• /
• 2016

In existing Convolutional Neural Network (CNNs) for object recognition task, there are only few efforts known to reduce the noises from the images. Both convolution and pooling layers perform the features extraction without considering the noises of the input image, treating all pixels equally important. In computer vision field, there has been a study to weight a pixel importance. Seam carving resizes an image by sacrificing the least important pixels, leaving only the most important ones. We propose a new way to combine seam carving approach with current existing CNN model for object recognition task. We attempt to remove the noises or the "unimportant" pixels in the image before doing convolution and pooling, in order to get better feature representatives. Our model shows promising result with CIFAR-10 dataset.

• 대한전자공학회논문지SP
• /
• 제48권1호
• /
• pp.80-89
• /
• 2011

본 논문에서는 동영상이 가지고 있는 컨텐츠를 보존하면서 영상의 크기를 조절할 수 있는 실시간 동영상 표가 변환 기법을 제안한다. 제안하는 방법은 동영상 내의 연속하는 두 프레임 사이에 존재하는 상관성(correlation)을 이용하여, 이전 프레임의 seam 정보로부터 현재 프레임의 seam을 결정한다. 따라서, 전체 프레임들을 분석하지 않으면서도 컨텐츠의 떨림 현상을 발생시키지 않는다. 먼저, 전체 동영상 내에서 특정이 서로 비슷한 프레임들을 scene으로 구분하고, 각 scene 내의 첫번째 프레임은 정지영상의 seam carving을 사용하여 최대한 컨텐츠를 보존할 수 있도록 크기를 변환한다. 이 때, 영상의 크기를 변환하기 위해 추출한 seam에 대한 정보를 저장하고 그 이후의 프레임들은 이전 프레임에서 저장된 seam 정보를 참조하여 프레임 단위로 영상의 크기를 조절한다. 실험 결과는 제안하는 방법이 처리 속도와 메모리 사용량 면에서 실시간 처리에 적합하고, 영상이 가지고 있는 컨텐츠를 보전하면서 영상의 크기를 조절할 수 있음을 보여준다.

• 한국컴퓨터정보학회논문지
• /
• 제18권11호
• /
• pp.77-86
• /
• 2013

본 논문에서는 동영상의 주요 컨텐츠를 보존하면서 영상의 크기를 변환하는 고속 동영상 리타겟팅 기법을 제안한다. 기존의 Seam Carving에서는 seam을 하나씩 구할 때마다 누적 에너지의 갱신이 발생하며, 여기서 누적 에너지는 동적계획법을 이용하여 계산하기 때문에 전체 연산시간의 지연은 불가피하다. 본 논문에서는 전체 동영상을 특징이 서로 비슷한 scene으로 나누고, 각 scene의 첫 프레임에서는 seam이 될 수 있는 모든 후보들 중 복수개의 seam을 추출하여 누적 에너지의 갱신과정을 줄여 고속화한다. 또한 scene의 두 번째 프레임부터 인접한 프레임 상호간에 상관성을 이용하여, 연속하는 프레임은 누적 에너지를 계산하지 않고 이전 프레임의 seam 정보를 참조한 계산만으로 모든 seam을 추출한다. 따라서 제안하는 시스템은 누적 에너지에 계산되는 연산량을 대폭 줄였으며 전체 프레임의 분석도 필요하지 않아 고속화가 가능하고, 컨텐츠의 떨림 현상은 발생하지 않는다. 실험 결과는 제안하는 방법이 처리 속도와 메모리 사용량 면에서 실시간 처리에 적합하고, 영상이 가지고 있는 컨텐츠를 보존하면서 영상의 크기를 조절할 수 있음을 보여준다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2019년도 춘계학술발표대회
• /
• pp.579-582
• /
• 2019

이미지의 특정 객체를 제거할 때, 주변 환경을 고려하면서 제거하기에 어려움이 있다. 본 연구는 특정 객체가 제거되면서 생기는 빈자리를 자연스럽게 보완하기 위해서 이미지 내용을 기반으로 이미지를 변경하는 Seam Carving 알고리즘을 이용하여 보다 자연스러운 결과 이미지를 생성하는 프로그램을 구현했다.

• 반도체디스플레이기술학회지
• /
• 제14권3호
• /
• pp.23-26
• /
• 2015

A seam carving based micro-crack detection method is proposed which aims at detecting the micro-crack regions in heterogeneously textured surface of polycrystalline solar cells. By calculating the seam which is a connected path of low energy pixels in the image, the micro-crack regions can be detected. Experimental results show that the proposed seam carving based micro-crack detection method has superior efficiency in detecting the micro-crack without background noise pixels and the algorithm's computation time is less than the conventional algorithm.

• 대한전자공학회논문지SP
• /
• 제48권5호
• /
• pp.63-71
• /
• 2011

본 논문에서는 영상이 가지는 컨텐츠를 보호하면서 영상의 크기를 실시간으로 변환하는 영상 리타겟팅 방법에 대하여 제안한다. 기존의 컨텐츠 기반의 영상 리타겟팅 기법인 seam carving은 영상의 크기 조절 시 다이나믹 프로그래밍(Dynamic Programming) 기법을 사용하기 때문에 반복적인 누적 최소 에너지 맵의 갱신 과정이 반드시 필요하다. 이 갱신 과정에서 전체 영상을 탐색해야 하므로 많은 연산량이 요구되며, 이로 인한 처리 시간 지연이 불가피하다. 제안하는 방법은 이러한 누적 최소 에너지 맵의 갱신으로 인한 처리 시간 지연을 개선하기 위하여, 우선 계산된 누적 최소 에너지 맵에서 seam이 될 수 있는 모든 후보들이 영향을 미치는 영역을 계산한다. 이 후보들의 영역을 이용하여 여러 개의 seam을 동시에 추출함으로써 누적 최소 에너지 맵의 갱신 횟수가 줄어들기 때문에, 전체 연산량이 줄어들어 빠른 처리가 가능하면서도 영상의 화질은 기존의 seam carving 기법과 비슷하게 유지할 수 있다. 실험 결과는 제안하는 방법이 영상이 가지고 있는 컨텐츠를 보존하면서 실시간으로 영상의 크기를 조절할 수 있음을 보여준다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2010년도 추계학술대회
• /
• pp.159-162
• /
• 2010

본 논문에서는 2D 영상에서 다시점 영상 생성 시 가상 시점을 만드는 과정에서 발생하는 가려짐 영역(occlusion) 보상 기법을 제안한다. 제안된 기법에서는 영상이 가지고 있는 주요한 특성을 유지하면서 가려짐 영역을 보상한다. 기존에 제안되었던 가려짐 영역 보상 방법은 가려짐 영역이 발생한 주변의 화소를 그대로 채워 넣는 방식을 사용하거나 평군값 필터 또는 중간값 필터와 같은 기존의 보상 필터를 이용하기 때문에 시차의 분포 특성을 고려하지 않는다. 따라서 오차는 줄일 수 있으나, 교정된 시차의 정확성은 보장되지 않는다. 본 논문에서 제안하는 가려짐 영역 보상 기법에서는 영상의 주요한 특성을 함께 고려하여 정확성을 높였다. 다양한 영상에 적용하여 제안된 기법의 성능을 테스트하였고, 그 결과 기존의 보상 방법에 비해 가려짐 영역을 비교적 정확하게 보상하는 것을 확인하였다.

• ETRI Journal
• /
• 제35권6호
• /
• pp.980-989
• /
• 2013

The important requirements for stereo video retargeting are threefold: keeping temporal coherence, preventing depth distortion, and minimizing shape distortions of the retargeted video. To meet these requirements, the left and right video sequences are divided into groups of frames (GoFs), where the GoF is a basic unit for the seam carving and we assign a set of fixed seams for all frames within the GoF. To determine the fixed seams for each GoF, we need to find the GoF boundary in the video first. Then, the representative frame for each GoF is generated by considering the spatial saliency and temporal coherence. Also, the confidence of the stereoscopic correspondence between the left and right frames is considered to prevent depth distortion.