• 인터넷정보학회논문지
• /
• 제19권6호
• /
• pp.91-99
• /
• 2018

스케치 기반 3차원 물체 검색은 다양한 3차원 물체를 사람이 손으로 그린 스케치를 질의(query)로 사용하여 물체를 편리하게 검색하는 방법이다. 본 논문에서는 스케치 기반 3차원 물체 검색을 위해 스케치 CNN(Convolutional Neural Network)과 Wasserstein CNN 모델에 Wasserstein Center 손실을 적용하여 물체의 검색 성공률을 향상시키는 새로운 방법을 제안한다. 제안된 Wasserstein Center 손실이란 각 물체의 클래스(category)의 중심을 학습하고, 동일한 클래스의 특징과 중심 간의 Wasserstein 거리가 작아지도록 만드는 방법이다. 이를 위하여 제안된 3차원 물체 검색은 다음의 단계로 수행된다. 첫 번째로, 3차원 물체의 특징은 3차원 물체를 여러 방향에서 촬영된 2차원 영상의 특징을 CNN을 이용하여 추출하고, 각 영상 특징의 Wasserstein 중심을 계산한다. 두 번째로, 스케치의 특징은 별도의 스케치 CNN을 이용하여 추출하였다. 마지막으로, 추출한 3차원 물체의 특징과 스케치의 특징을 본 논문에서 제안한 Wasserstein Center 손실을 이용하여 학습하고 스케치 기반의 3차원 물체 검색에 적용하였다. 본 논문에서 제안한 방법의 우수성을 입증하기 위하여 SHREC 13과 SHREC 14의 두 가지 벤치마크 데이터 집합을 이용하여 평가하였으며, 제안된 방법이 기존의 스케치 기반 검색방법들과 비교하여 모든 측정 기준에서 우수한 결과를 나타냄을 확인할 수 있었다.

• 전기전자학회논문지
• /
• 제28권2호
• /
• pp.209-220
• /
• 2024

스케치는 직관적으로 정보를 표현할 수 있는 수단이나 실제 이미지와 비교하였을 때 추상화가 심하고 동일한 대상에 대한 스케치 임에도 변화가 매우 크다는 문제점이 있다. 따라서 스케치에 기반한 이미지 인식에 도움이 되는 특성을 표현하기 어려웠는데, 딥뉴럴 모델의 발전은 이미지와 스케치라는 두 도메인에 공통으로 존재하는 특성을 발견할 수 있게 해 주었다. 본 논문에서는 스케치에 기반한 이미지 검색 기술의 최신 연구 동향을 소개한다. 이미지 검색 외에 스케치에 기반한 이미지 인식과 이미지 생성의 연구 동향도 함께 요약하였으며, 스케치 기반 연구에서 주로 활용되는 데이터셋 및 해당 데이터셋에 기반하여 측정한 검색 성능을 포함하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (A)
• /
• pp.631-633
• /
• 2005

본 논문에서는 모바일 환경에서의 수생 식물 정보 검색 시스템을 구현하였다. 검색 시스템은 크게 스케치를 통한 잎 모양 검색, 식물 서식지의 GPS 정보를 이용한 검색, 모양 예제를 통한 검색으로 나누어 구현하였다. 우선, 스케치를 통한 잎 모양 검색은 사용자로부터의 스케치 입력, 해당 이미지의 표현, 데이터베이스에 저장된 이미지와의 매칭, 추출의 네 단계로 이루어진다. GPS 정보를 이용한 검색은 식물의 서식지의 지리정보를 바탕으로 검색을 하며, 모양 예제를 통한 검색은 꽃모양, 잎모양 등에 대한 대표적인 샘플 이미지를 정의하여 사용자의 선택에 의해 검색을 하도록 하였다. 실험을 통해서 사용자의 성향, 질의 이미지의 복잡도, 실험 이미지의 셀 사이즈에 따른 다양한 실험 결과를 얻을 수 있었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (1)
• /
• pp.122-124
• /
• 2000

본 논문은 질병이 있는 뇌종양 MRI 이미지 검색을 위해 아이콘 기반의 스케치 질의 방안을 제시한다. 기존의 이미지 검색 시스템은 이미지가 갖는 속성 중 일부의 속성 값만을 가지고 사용자가 직접 질의 이미지를 작성한다. 그러나 이런 방법으로는 여러 복잡한 속성값을 갖는 뇌종양 MRI 이미지의 내용을 표현하기는 어렵다. 그래서 본 논문에서는 질병이 있는 뇌 MRI 이미지 검색을 위해 아이콘을 사용한 템플릿 형식의 메디컬 스케치 질의 방법을 제시한다. 뇌에서 발생하는 뇌질환을 질병별로 분류하였고, 분류된 질병들이 가지고 있는 색상이나 질감, 모양과 같은 속성 값들을 아이콘화하여 템플릿 이미지로 제공되는 정상인의 이미지에 정의된 질병 아이콘의 크기와 위치를 설정함으로써 사용자가 검색하고자 하는 질의 이미지를 쉽게 작성할 수 있는 스케치 형식의 질의방법을 제안한다.

• 정보과학회 논문지
• /
• 제41권10호
• /
• pp.838-846
• /
• 2014

터치기반 스마트 기기의 발달에 따라, 사용자가 펜/손가락을 이용하여 그린 스케치를 기반으로 다양한 멀티미디어 검색 기술은 컴퓨터 비전, 컴퓨터 그래픽스, 패턴인식, HCI 분야에서 많은 각광을 받고 있다. 하지만, 기존의 텍스트 정보를 기반으로 한 검색 시스템은 사용자가 원하는 멀티미디어 데이터를 정확히 검색하는데 한계가 있다. 따라서, 멀티미디어 자체가 가지고 있는 정보를 이용하여 검색할 수 있는 내용 기반 멀티미디어 검색에 관한 연구가 필요하게 되었다. 본 논문에서는 Hybrid Edge Descriptor(HED)를 사용한 웹 환경에서의 사용자가 스케치로부터 3차원 모델을 검색할 수 있는 시스템을 제안한다. 3차원 모델로부터 다양한 방향으로 투영된 suggestive contour 영상 및 사용자가 그린 스케치 영상으로부터 전역/지역 히스토그램 분석을 이용한 HED 검색자를 통해 회전 및 이동에 강인한 3차원 모델 검색 시스템을 제안한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2000년도 추계학술발표논문집 (하)
• /
• pp.875-878
• /
• 2000

내용 기반 영상 검색은 일반적으로 질의 영상을 사용해서 검색한다. 대부분의 사용자는 검색 당시에 자신이 생각하는 질의와 일치하는 영상을 실제로 갖고 있지 않다. 사용자는 검색기가 제공하는 샘플이나 자신이 갖고 있는 영상 중에서 검색하고자 하는 개념과 비슷한 영상을 질의 영상으로 사용한다. 그러나, 이 질의 영상은 사용자가 생각하는 개념을 충분히 반영하지 못하는 경우가 대부분이다. 따라서 사용자는 자신이 원하는 결과를 얻기 위해서 검색을 여러 번 하게 된다. 이는 최초 검색에서 적절한 질의 영상을 사용하지 못하고 있기 때문이다. 검색 시스템의 검색엔진도 중요하지만, 적절한 질의의 사용 여부에 의해 검색 결과가 크게 좌우된다. 적절한 질의 사용의 중요성은 기존의 텍스트 기반 검색에서 이미 알려진 사실이다. 영상 검색에서도 효과 적인 검색을 위해서는 사용자가 생각하는 질의 영상을 구체화하여 질의로 사용하는 기술이 필요하다. 이러한 관점에서, 사용자가 검색하고자 하는 추상적인 개념을 구체화하여 질의 영상으로 사용한다면 검색 성능을 높일 수 있다. 본 논문에서는 사용자가 생각하고 있는 추상적인 질의를 구체화하기 위해 스케치 인터페이스를 개발하였다. 스케치 인터페이스를 통해서 사용자가 생각한 질의를 구체화하여 이를 검색에 활용함으로서 전체 검색 회수를 줄임으로서 보다 빠른 시간에 효과적으로 검색을 수행할 수 있었다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2000년도 추계학술발표논문집
• /
• pp.77-80
• /
• 2000

멀티미디어 데이터의 생산속도가 급증함에 따라 멀티미디어 데이터를 쉽고, 빠르며, 효율적으로 검색할 수 있는 방법이 필요하게 되었다. MPEG-7 표준화에 관련하여 영상의 특성추출, 기술(description), 검색엔진의 구성에 관련된 연구가 진행중에 있다. 본 논문에서는 영상의 여러 낮은 단계 특성을 추출하여, 이를 바탕으로 영상 분류를 통해 영상의 의미 정보를 얻는다. 분류를 통해 검색의 공간을 줄일 수 있었다. 그리고, 자바 애플릿을 이용하여 웹브라우저 상에서 스케치를 통한 검색을 함으로써, 보다 적극적인 검색이 가능하다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2003년도 정기총회 및 학술대회
• /
• pp.275-278
• /
• 2003

디지털 콘텐츠의 증가에 따라 이들의 효율적인 검색과 관리를 위하여 내용 기반 검색에 관한 많은 연구가 이루어지고 있다. 이러만 내용 기반 검색의 질의 방법으로는 유사한 영상을 질의의 사용하는 QBE(Query By Example)와 영상을 사용자가 직접 스케치하여 질의에 사용하는 QBS(Query By Sketch)가 대표적이다. 본 논문서는 질의로 용할 정확한 영상이 필요한 QBE 방법의 제약과 질의할 영상 전체를 처음부터 스케치해야 하는 QBS 방법의 문제점을 보완하는 개선된 질의 방법을 제안한다. 제안하는 방법은 입력 영상을 단순화하여 스케치의 근간이 되는 밑그림을 제공하고 사용자치 수정 과정을 거쳐 질의하는 방법으로 정확한 검색 결과와 검색 시 소요되는 시간과 노력을 절감할 수 있는 장점이 있다.

• 인터넷정보학회논문지
• /
• 제10권6호
• /
• pp.113-121
• /
• 2009

본 논문에서는 지역적으로 서로 다른 감성을 지닌 영상을 검출하기 위해서 감성 스케치를 이용한 영상 검색 시스템을 제안 하였다. 제안하는 검색 시스템은 영상을 $17{\times}17$의 겹치지 않는 부분영역으로 나누고, 각 부분영역에 대한 감성 특징을 추출한다. 본 논문에서는 부분영역 내에서 감성 특징을 추출하기 위해서, H. Nagumo의 배색이미지차트에서 제안하는 160개 감성어에 대한 감성 색상을 이용하였다. 부분영역으로부터 해당 감성어에 대한 감성 색상의 분포정도를 계산하여 각 부분영역의 감성어에 대한 히스토그램 값 중 가장 큰 값을 지닌 감성어를 취하게 된다. 제안하는 감성 스케치를 이용한 영상 검색 시스템은 Corel 영상 데이터베이스에 대해서 유효성을 평가하여, 전역적 방법보다 우수한 검색 정확도와 재현도를 가짐을 보여주었다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2003년도 하계종합학술대회 논문집 Ⅲ
• /
• pp.1665-1668
• /
• 2003

디지털 컨텐츠의 증가에 따라 이들의 효율적인 검색과 관리를 위하여 내용 기반 영상 검색에 관한 많은 연구가 이루어지고 있다. 이러한 내용기반 영상 검색의 질의 방법으로는 유사한 영상을 질의로 사용하는 QBE와 영상을 사용자가 직접 스케치하여 질의에 사용하는 QBS 가 대표적이다. 본 논문에서는 질의로 사용할 정확한 영상을 가지고 있어야 하는 QBE 방법의 제약과 질의할 영상의 전체를 스케치해야 하는 QBS 의 문제점을 보완하는 개선된 질의 방법을 제안한다 제안하는 방법은 입력 영상의 단순화를 통해 스케치에 사용할 밑그림을 제공하고 사용자가 간단한 수정을 거쳐 질의 영상을 얻을 수 있도록 하는 방법으로 기존의 질의 방법을 개선하여 사용자의 편리성을 향상시킨다.