• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권7_8호
• /
• pp.703-712
• /
• 2003

디지털 기술의 발달과 인터넷의 대중화에 더불어 영상데이타의 생산과 교환이 더 자유로워짐에 따라 디지털 도서관, 영상처리, 데이타베이스 시스템과 같은 연구분야에서 내용기반 영상검색에 대한 관심이 높아지고 있다. 일반적으로 ´영상에 의한 질의´의 경우 사용자가 마음에 드는 영상이 없더라도 반듯이 진의 영상을 데이타베이스로부터 선택해야 하지만, ´스케치에 의한 질의´는 사용자의 생각에 따라 영상온 그림으로 표현할 수 있으므로 최근에 가장 많이 사용되는 질의 방법 중 하나이다. 본 논문에서는 스케치 진의와 영상 분류 방법을 이용하는 사바 기반의 영상검색 시스템을 제안한다. 본 시스템에서는 유사영상을 검색하기 위해 영상으로부터 색상 히스토그램과 Haar-웨이블릿 계수를 사용하고, leave-one-out 방법을 이용하여 영상을 분류하도록 하였다. 본 논문에서는 사진-그림, 자연 도시 등의 영상 분류론 통해 영상의 의미정보를 추출할 수 있을 뿐 아니라, 사용자 질의 영상을 분류하여, 질의 영상이 갖고 있는 의미공간으로 검색 공간을 축소하여 검색 시간을 단축시키는 효율성을 얻을 수 있었다.

• 한국통신학회논문지
• /
• 제30권8C호
• /
• pp.783-792
• /
• 2005

본 논문은 애니메이션 캐릭터를 대상으로 한 스케치 기반 영상 검색의 특징 추출 방법을 제안한다. 우리는 특징 영역의 추출을 위해서 영상에서의 장면 전환 검출 기법, 프레임 사이의 대응점 검출 기법 및 애니메이션 제작과정의 특성을 이용한다. 추출된 특징 영역에서 유사한 색상들이 집중된 영역들을 검출한다. 각 영역들의 색상, 크기 그리고 영역간의 관계로 영상 검색을 위한 특징으로 사용한다. 최종적으로 애니메이션 제작 특성과 사용자의 스케치를 질의 영상으로 사용하여 유사한 캐릭터를 검색한다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제27권5호
• /
• pp.551-562
• /
• 2000

영상의 시각적 특성을 이용하여 영상 데이타베이스를 검색하는 내용 기반 영상 검색 시스템에서 사용자가 직접 작성한 질의 영상에 존재하는 불완전성을 극복하기 위하여, 물체의 정확한 좌표값 대신 물체간의 위치 관계를 비교하는 기법이 많이 사용된다. 본 논문에서는 물체간의 8 방향 위치 관계 정보를 이용하여 영상을 검색하는 시스템을 위한 질의 변환 알고리즘을 제안한다. 제안된 알고리즘은 영상내에 존재하는 물체들간의 위치 관계에 추이성(transitivity)이 존재하는 경우 정보가 중복된다는 사실로부터, 질의에 존재하는 추이성을 모두 제거함으로써 질의 영상을 최소 에지의 그래프로 변환한다. 제안된 알고리즘에 의해 생성된 프라임 에지 그래프는 동일한 위상 관계(topology)를 표현하는 그래프 중 최소 개수의 에지를 가지게 되므로 검색 중의 위치 관계 비교 회수를 최적화 할 수 있다. 실험 결과, 위치 관계의 추이성을 고려하지 않은 기존 알고리즘에 비해 평균 비교 회수를 크게 감소시켜 탐색 모듈의 효율을 향상시킴을 알 수 있다

• 인터넷정보학회논문지
• /
• 제10권6호
• /
• pp.113-121
• /
• 2009

본 논문에서는 지역적으로 서로 다른 감성을 지닌 영상을 검출하기 위해서 감성 스케치를 이용한 영상 검색 시스템을 제안 하였다. 제안하는 검색 시스템은 영상을 $17{\times}17$의 겹치지 않는 부분영역으로 나누고, 각 부분영역에 대한 감성 특징을 추출한다. 본 논문에서는 부분영역 내에서 감성 특징을 추출하기 위해서, H. Nagumo의 배색이미지차트에서 제안하는 160개 감성어에 대한 감성 색상을 이용하였다. 부분영역으로부터 해당 감성어에 대한 감성 색상의 분포정도를 계산하여 각 부분영역의 감성어에 대한 히스토그램 값 중 가장 큰 값을 지닌 감성어를 취하게 된다. 제안하는 감성 스케치를 이용한 영상 검색 시스템은 Corel 영상 데이터베이스에 대해서 유효성을 평가하여, 전역적 방법보다 우수한 검색 정확도와 재현도를 가짐을 보여주었다.

• 인터넷정보학회논문지
• /
• 제21권1호
• /
• pp.33-43
• /
• 2020

Retrieving a 3D model from a 3D database and augmenting the retrieved model in the Augmented Reality system simultaneously became an issue in developing the plausible AR environments in a convenient fashion. It is considered that the sketch-based 3D object retrieval is an intuitive way for searching 3D objects based on human-drawn sketches as query. In this paper, we propose a novel deep learning based approach of retrieving a sketch-based 3D object as for an Augmented Reality Model. For this work, we introduce a new method which uses Sketch CNN, Wasserstein CNN and Wasserstein center loss for retrieving a sketch-based 3D object. Especially, Wasserstein center loss is used for learning the center of each object category and reducing the Wasserstein distance between center and features of the same category. The proposed 3D object retrieval and augmentation consist of three major steps as follows. Firstly, Wasserstein CNN extracts 2D images taken from various directions of 3D object using CNN, and extracts features of 3D data by computing the Wasserstein barycenters of features of each image. Secondly, the features of the sketch are extracted using a separate Sketch CNN. Finally, we adopt sketch-based object matching method to localize the natural marker of the images to register a 3D virtual object in AR system. Using the detected marker, the retrieved 3D virtual object is augmented in AR system automatically. By the experiments, we prove that the proposed method is efficiency for retrieving and augmenting objects.

• 전자공학회논문지B
• /
• 제33B권7호
• /
• pp.60-69
• /
• 1996

To retrieve complex data such as images in multimedia information, we need the content-based retrieval methods based on the visual properties rather than keywords. In this paper, a contrent-based image retrieval system is desinged and implemented to retrieve images using the features of images such as colors, lines and intensity vetor features when a visual query inputs. The contents for image retrievals are the color features extracted from the color component of 16 blocks of the image, th eline features extracted form 4 lines in the image and the shape features extracted from the intensity vectors of the 16 blocks. We can either use a whole image or a sketch image for query. As the experimental results demonstrate the precision 91% the recall 33% and the average rank 3.1 the retrieval performance is found to be high. The experimental results indicate that the retrieval using the weighted features have led to substantial improvement in the percision and performance of system.

• 정보관리연구
• /
• 제42권3호
• /
• pp.71-94
• /
• 2011

시각적 실례에 의한 질의는 내용기반 이미지 검색 환경에서 질의 표현을 위한 중요한 질의 패러다임이다. 이미지 및 스케치에 의한 질의는 질의표현을 가능하게 하는 방법으로서 오랫동안 알려졌다. 하지만 이 방법이 질의를 쉽게 작성하는 데 얼마나 도움을 주는지에 대한 효율성에 대한 실험적 입증은 아직 미미하다. 정보검색시스템에 표현하는 탐색자의 능력은 검색과정의 기본이다. 이 연구의 목적은 탐색자의 정보 문제와 효율적이고도 효과적인 시각적 질의 작성을 지원하기 위해 필요한 질의 방법들 간의 지식 격차의 원인이 되는 다양한 정보 요구를 지원하는 데 있어서 유용성 실험을 통해 이미지에 의한 질의와 스케치방법에 의한 질의 조사하기 위함이었다. 본 연구 결과는 이미지에 의한 질의가 시각적 질의 작성에 실행 가능한 접근방식임을 제시한다. 반면에, 본 연구결과를 통해 탐색자의 정보 문제와 시각적인 질의 작성에 도움을 주는 스케치 패러다임에 의한 질의표현 능력 간에 상당한 불일치가 있다는 것을 알 수 있다. 효율(시간)과 유효성(오류)에 초점을 둔 유용성 실험결과와 이용자의 만족도는 큰 차이점이 있다고 보여준다(p<0.001). 이는 다음 세 가지 측정(시간, 오류, 이용자의 만족도)에 대한 두 가지 질의 방식(이미지에 의한 질의, 스케치에 의한 질의) 사이에서 나타난 시간(Z=-3.597, p<0.001), 오류(Z=-3.317, p<0.001), 그리고 만족도(Z=-10.223, p<0.001)에서 드러난다. 본 연구결과는 또한 질의도구를 참가자가 인지하는 유용성에 큰 차이가 있다는 것을 보여준다(Z=-4.672, p<0.001).

• 인터넷정보학회논문지
• /
• 제19권6호
• /
• pp.91-99
• /
• 2018

스케치 기반 3차원 물체 검색은 다양한 3차원 물체를 사람이 손으로 그린 스케치를 질의(query)로 사용하여 물체를 편리하게 검색하는 방법이다. 본 논문에서는 스케치 기반 3차원 물체 검색을 위해 스케치 CNN(Convolutional Neural Network)과 Wasserstein CNN 모델에 Wasserstein Center 손실을 적용하여 물체의 검색 성공률을 향상시키는 새로운 방법을 제안한다. 제안된 Wasserstein Center 손실이란 각 물체의 클래스(category)의 중심을 학습하고, 동일한 클래스의 특징과 중심 간의 Wasserstein 거리가 작아지도록 만드는 방법이다. 이를 위하여 제안된 3차원 물체 검색은 다음의 단계로 수행된다. 첫 번째로, 3차원 물체의 특징은 3차원 물체를 여러 방향에서 촬영된 2차원 영상의 특징을 CNN을 이용하여 추출하고, 각 영상 특징의 Wasserstein 중심을 계산한다. 두 번째로, 스케치의 특징은 별도의 스케치 CNN을 이용하여 추출하였다. 마지막으로, 추출한 3차원 물체의 특징과 스케치의 특징을 본 논문에서 제안한 Wasserstein Center 손실을 이용하여 학습하고 스케치 기반의 3차원 물체 검색에 적용하였다. 본 논문에서 제안한 방법의 우수성을 입증하기 위하여 SHREC 13과 SHREC 14의 두 가지 벤치마크 데이터 집합을 이용하여 평가하였으며, 제안된 방법이 기존의 스케치 기반 검색방법들과 비교하여 모든 측정 기준에서 우수한 결과를 나타냄을 확인할 수 있었다.

• 한국산업정보학회논문지
• /
• 제9권4호
• /
• pp.26-31
• /
• 2004

최근에 웹의 폭발적 사용의 증가에 따라, WWW에서 많은 정보를 좀 더 손쉽게 획득할 수 있다. 본 논문에서 H에서 웹 에이전트를 사용하여 이미지를 검색하는 일반적인 내용기반 이미지 검색 시스템을 제안한다. 웹 에이전트는 웹 상에서 HTML문서에 나타나는 텍스트 중 이미지 이름이나 링크에 붙어 있는 이미지를 의미하는 텍스트를 추출한다. 제안된 시스템은 웹 브라우저에서 사용자의 스케치와 예제 이미지 질의를 이용하여 데이터베이스에 있는 이미지를 검색하는 방법을 제시하여 실험결과를 통해서 질의 효율성을 나타내었다.

• 디지털융복합연구
• /
• 제16권12호
• /
• pp.301-307
• /
• 2018

검색에서 이미지는 시각적 속성이 중요지만, 기존의 검색방법은 문서 검색을 위한 방법에 초점이 맞춰져 있어 이미지의 속성 정보가 미반영된 키워드 중심의 검색 시스템이 대부분이다. 본 연구는 이러한 한계를 극복하고자 이미지의 벡터정보를 기반으로 유사 이미지를 검색할 수 있는 모델과 스케치로 검색 쿼리를 제공하여 유사 이미지를 검색할 수 있는 시스템을 개발하였다. 제안된 시스템은 GAN을 이용하여 스케치를 이미지 수준으로 업 샘플링하고, 이미지를 CNN을 통해 벡터로 변환한 후, 벡터 공간 모델을 이용하여 유사 이미지를 검색한다. 제안된 모델을 구현하기 위하여 패션 이미지를 이용하여 모델을 학습시켰고 패션 이미지 검색 시스템을 개발하였다. 성능 측정은 Precision at k를 이용하였으며, 0.774와 0.445의 성능 결과를 보였다. 제안된 방법을 이용하면 이미지 검색 의도를 키워드로 표현하는데 어려움을 느끼는 사용자들의 검색 결과에 긍정적 효과가 나타날 것으로 기대된다.