DOI QR코드

DOI QR Code

Image Retrieval Using Histogram Refinement Based on Local Color Difference

지역 색차 기반의 히스토그램 정교화에 의한 영상 검색

  • Kim, Min-KI (Dept. of Computer Science in Gyeongsang National Univ., Engineering Research Institute)
  • Received : 2015.09.01
  • Accepted : 2015.11.03
  • Published : 2015.12.31

Abstract

Since digital images and videos are rapidly increasing in the internet with the spread of mobile computers and smartphones, research on image retrieval has gained tremendous momentum. Color, shape, and texture are major features used in image retrieval. Especially, color information has been widely used in image retrieval, because it is robust in translation, rotation, and a small change of camera view. This paper proposes a new method for histogram refinement based on local color difference. Firstly, the proposed method converts a RGB color image into a HSV color image. Secondly, it reduces the size of color space from 2563 to 32. It classifies pixels in the 32-color image into three groups according to the color difference between a central pixel and its neighbors in a 3x3 local region. Finally, it makes a color difference vector(CDV) representing three refined color histograms, then image retrieval is performed by the CDV matching. The experimental results using public image database show that the proposed method has higher retrieval accuracy than other conventional ones. They also show that the proposed method can be effectively applied to search low resolution images such as thumbnail images.

Keywords

1. 서 론

인터넷으로 연결된 다양한 정보기기를 통해 수많은 자료가 생산 및 축적되고 있다. 방대한 자료들로 부터 원하는 자료를 효율적으로 검색하기 위해서는 색인 작업이 필수적이다. 사진(photograph), 다이어그램(diagram), 그림(painting), 드로잉(drawing) 등의 영상 자료로부터 색인을 자동으로 추출하고 검색하기 위한 내용기반 영상 검색 기술은 1990년대 중반에 집중적인 연구가 이루어졌으며, 휴대용 컴퓨터와 스마트폰의 등장으로 텍스트 이외의 영상이나 비디오 자료가 급증함에 따라 이 분야의 연구가 새롭게 관심을 받고 있다.

영상 내에 존재하는 대상물의 형태(shape), 색상(color), 질감(texture) 정보는 영상으로부터 색인을 추출하는데 사용되는 주된 특징이다. 영상에 존재하는 대상물의 형태를 기술하는 문제는 영상 분할 및 인식이 수반되는 매우 도전적인 과제로, 형태 기술에 의한 영상 검색은 주로 실루엣 영상, 상표 등 단순한 형태의 영상을 대상으로 하고 있다[1-3]. 색상과 질감 정보는 추출된 저차원 자료의 통계적 특성으로 기술될 수 있기 때문에 다양한 영상 자료에 대하여 연구가 진행되어 왔다. 색상 정보는 내용기반 영상검색 연구의 초기부터 널리 사용되어온 특징으로 컬러 히스토그램이 대표적인 색상 기술자이다. 컬러 히스토그램은 형태 변형에 비교적 안정적인 특성을 보이지만 영상의 색상 분포만을 나타낼 뿐 공간적인 정보는 반영하지 못한다. 이러한 컬러 히스토그램의 단점을 보완하기 위한 다양한 방식이 제안되었다. G. Pass 외[4]는 연결요소를 이용하여 색상의 분포에 대한 색상별 응집도를 나타내는 색상 응집 벡터(CCV, color coherence vector)를 제안하였고, J. Huang 외[5]는 임의의 두 화소간의 색상 변화에 대한 공간적 상관관계를 나타내는 컬러 코릴로그램(color correlogram)을 이용하여 CCV에 비하여 검색 성능이 개선되었음을 보고하였다. 그리고 K. Kang 외[6]는 공간정보와 색상변화율을 이용하여 CCV의 성능을 개선하는 방식을 제시하였다.

질감에 대한 인간의 고차원적인 인지적 특징들은 반복성(repetitiveness), 방향성(directionality), 입자의 크기(granularity) 등으로 나타나는데, 이를 기술할 수 있는 저차원의 자료로 에지(edge)를 비롯한 국부 패턴들이 사용되었다. P. Haldar 외[7]는 케니(Canny) 방식으로 에지를 검출하여 각 열별 최대값으로 특징 벡터를 구성하였고, C. Won 외[8]는 MPEG-7에서 제안된 에지 히스토그램을 이용하였다. MPEG-7의 에지 히스토그램은 영상을 16개(4×4)의 영역으로 분할한 후 각 영역별로 4방향의 에지와 비에지(non-edge)의 5개 빈(bin)을 구성하여, 총 80개의 빈으로 구성된 지역 에지와 이를 조합한 전역 에지로 특징벡터를 구성한다. 국부 이진패턴(LBP, local binary pattern)은 중심 픽셀의 명도 값과 이웃한 픽셀의 명도 값의 대소 관계에 따라 이진패턴을 구성한 것으로, 영상을 부분 영역으로 분할하여 각 영역에서 LBP 히스토그램을 추출하거나[9], 영상 전체 영역에서 LBP 히스토그램을 추출하는 방식[10,11]이 제안되었다. S. Murala 외[12]는 수평, 수직 방향의 1차 미분 값을 이용하여 중심 화소과 이웃 화소의 관계를 방향 정보로 나타내는 새로운 형태의 국부패턴으로 LTrP(local tetra pattern)을 제안하고, 이를 영상 검색에 적용하여 LBP에 비하여 검색의 정확도가 향상되었음을 보고하였다. 그러나 질감 정보는 대상물의 움직임이나 카메라의 시점 변화에 따라 그 특성이 다르게 나타날 수 있으므로, 색상 정보를 결합하여 검색 성능을 향상시키기 위한 다양한 노력이 이루어지고 있다.

영상 내 색상의 공간적 분포를 나타내는 컬러 레이아웃 기술자(CLD, color layout descriptor)와 질감정보를 결합하기 위하여 R. Balasubramani 외[13]는 에지 히스토그램을 이용하였고, H. A. Jalab의 연구[14]에서는 가버 필터(Gabor filter)를 적용한 특징 벡터를 제시하였다. 전통적인 컬러 히스토그램에 에지 히스토그램이나 하르 웨이블릿(Haar wavelet)으로 추출한 질감 정보를 결합하거나[15,16], 컬러 모멘트(moment)와 가버 필터를 적용한 특징 벡터를 결합하였다[17]. 색상과 질감 정보를 결합한 이들 연구들은 공통적으로 검색 성능이 향상되었음을 보고하고 있다.

본 연구는 색상 정보를 이용하여 영상을 검색할 수 있는 새로운 특징 기술자를 제안한다. 색상 정보는 그 자체만으로도 영상 검색을 위한 안정적인 특징을 제공할 뿐만 아니라 질감 정보와 결합되어 영상 검색 시스템의 성능을 향상시키는데 기여하고 있다. 제안하는 특징 기술자는 중심 화소와 이웃 화소간의 색상 변화를 중심으로 국부 특징에 따라 히스토그램을 정교화(refinement) 한다. 제안하는 영상 색인 방법은 색상 정보를 이용하는 히스토그램 방식이지만, 지역적 색상 변화를 이용함으로써 질감 정보를 내포하는 것이 특징이다. 본 논문의 구성은 다음과 같다. 2장에서는 본 연구의 단초가 된 히스토그램 정교화의 개념과 이와 관련된 연구들을 살펴보고, 3장에서는 제안하는 지역적 색상 변화 기반의 히스토그램 정교화 방식과 정합 방법을 설명하다. 그리고 4장에서는 공개 데이터베이스를 이용한 실험 결과를 제시하고, 이에 대한 분석을 통하여 제안된 방법의 타당성을 논의한다. 마지막으로 5장에서 결론과 향후 과제를 제시한다.

 

2. 히스토그램 정교화

전역적 컬러 히스토그램(GCH, global color histogram)은 색상 정보를 기술하는 대표적인 방식으로, 카메라의 시점 변화에 강인하고 처리 속도가 빠른 장점이 있으나 색상의 공간적인 배치를 구별할 수 없는 단점이 존재한다. 이러한 단점을 극복하기 위한 여러 대안들 중 하나로 히스토그램 정교화의 개념이 제시되었다[4]. 히스토그램 정교화란 화소들을 공간적 배치 또는 지역적인 특징에 따라 서로 다른 클래스로 세분하여 각 클래스별로 히스토그램을 계산하는 방식으로, GCH의 단점인 색상의 공간적 특성을 반영하기 위한 것이다.

컬러 영상을 일정한 크기의 부 영역으로 분할하고, 각 영역별로 히스토그램을 구하는 지역적 컬러 히스토그램(LCH, local color histogram)[18]도 히스토그램 정교화의 일종으로 볼 수 있다. 부 영역을 분할하는 방식으로 Stricker 외[19]는 주요 피사체는 영상의 중앙부에 위치한다는 전제하에 영상을 중심부와 4개의 주변부로 분할하는 방식을 제안하였다.

G. Pass 외[4]는 색상 응집 벡터(CCV, color coherence vector)라는 히스토그램 정교화 기법을 제안하였다. 영상의 컬러공간을 축소시킨 후 i번째 색상과 동일한 색상을 갖는 응집도가 높은 화소들의 개수를 αi, 응집도가 낮은 화소의 개수를 βi라고 할 때, CCV는 〈(α1, β1), (α2, β2),..., (αn, βn)〉으로 표현된다. 동일한 색상을 갖는 화소들로부터 구한 연결요소의 크기가 일정 크기 이상일 때 응집도가 높다고 판단한다. 두 영상 I와 I′의 i번째 색상을 비교할 때 L1거리는 식 (1)과 같이 나타낼 수 있다.

GCH는 응집도를 구분하지 않으므로 두 영상 I와 I′의 i번째 색상을 비교할 때 L1거리는 식(2)와 같이 계산되고, 삼각부등식(triangle inequality)에 의하여 ΔGCH < ΔCCV이 성립한다.

 

3. 지역 색상 변화 기반의 히스토그램 정교화

3.1 제안하는 정교화 방법

CCV에 의한 히스토그램 정교화는 색상의 빈도만을 나타내는 GCH에 색상의 공간적 응집도를 추가하여 검색 성능을 개선하였다. Fig. 1은 GCH, CCV에 의한 히스토그램 정교화, 그리고 제안하는 방식의 차이점을 설명하기 위하여 제시한 것이다. Fig. 1의 (a), (b), (c)는 적색, 청색, 녹색 화소의 구성비가 모두 동일하므로 GCH로는 구별이 불가능하다. CCV에서 색상의 공간 응집도를 결정하는 연결요소의 크기가 10이라고 하고, 응집도가 높은 적색, 녹색, 청색 화소의 개수를 각각 αr, αg, αb, 응집도가 낮은 화소의 개수를 각각 βr, βr, βb라고 할 때, 색상 공간이 적색, 녹색, 청색만으로 구성되어 있다고 가정하면 CCV는 〈(αr, βr), (αg, βg), (αb, βb)〉로 나타낼 수 있다. 사람이 판단하기에는 (a)와 (c)가 확연히 다르지만, CCV로 표현된 결과를 보면 아래와 같이 (a)와 (c)가 동일하게 표현되는 문제가 나타난다.

Fig. 1.Procedure of extracting finger area.

본 논문에서는 국소 영역에서 색상의 변화에 따른 특징을 이용하여 색상의 공간적 응집도 뿐만 아니라 지역적 변화라는 질감 정보를 포함하는 히스토그램 정교화 기법을 제안한다. 3×3 영역에서 중심 화소와 이웃 화소간의 색상의 차이를 살펴보면 동일한 색상이 넓게 분포하는 공간적 응집도가 높은 영역의 내부에서는 색차가 나타나지 않고, 그 영역의 경계 부분에서는 색차가 발생한다. 또한 좁은 영역에 다수의 색상들이 혼재되어 나타나거나 에지가 뚜렷하게 나타나는 부분은 중심 화소와 이웃 화소간의 색차가 크게 나타난다. 따라서 중심 화소와 이웃 화소간의 색상의 차이에 따라 화소들을 서로 다른 클래스로 분류하고, 각 클래스별로 히스토그램을 산출하여 히스토그램을 정교화하면 효과적인 영상 색인이 가능하다. 영상을 구성하는 화소들을 중심 화소와 이웃 화소 간에 색차의 유무로만 분류하여, 이웃 화소와 색차가 존재하지 않는 i번째 색상을 갖는 중심 화소의 개수를 αi, 색차가 존재하는 중심 화소의 개수를 βi라고 할 때, 〈(α1, β1), (α2, β2),..., (αn, βn)〉로 기술되는 색차 벡터(CDV, color difference vector)를 정의할 수 있다. 예를 들어, Fig. 1에서 영상 외곽의 경계에 위치하는 화소들도 모두 색차가 존재하는 것으로 판단한다면 Fig. 1의 (a), (b), (c)에 대한 CDV는 아래와 같이 나타난다. 여기에서 이웃 화소는 4-연결 이웃만을 고려하였다. CDV 표현에서 녹색 영역은 모두 동일하게 기술되고 있는데, 이것은 색차의 유무만으로 벡터를 구성하였기 때문으로 색차의 크기에 대한 정보를 추가하면 보다 세밀한 표현이 가능하다.

3.2 CDV에 의한 영상 색인

통상적인 RGB 컬러 영상은 각 성분이 256레벨로 나타나므로 총 2563개에 달하는 색상이 존재할 수 있다. 따라서 히스토그램을 구성하는 빈(bin)의 개수를 줄이기 위해서는 컬러 공간의 크기를 축소하여야 한다. 컬러 공간의 크기를 축소할 경우 영상이 내포하고 있는 정보의 손실이 발생하므로, 어느 정도까지 컬러 공간 크기를 축소할 것인지가 관건이다. RGB 컬러 공간을 균등 양자화에 의하여 64개의 색상으로 변환한 2만개의 영상을 대상으로 실험한 결과 대부분이 30개미만의 색상으로 영상이 구성되어 있었다[20]. 이것은 매우 적은 수의 색상만으로도 영상을 식별력 있게 표현할 수 있음을 의미한다.

본 논문에서는 중심 화소와 이웃한 화소들 간의 색차를 이용하므로, 색상에 대한 정보를 효과적으로 나타낼 수 있는 HSV 컬러 모델을 이용한다. Fig. 2는 CDV에 기반 한 영상 검색 절차를 제시한 것이다. RGB 컬러 영상을 HSV 영상으로 변환한 후, 컬러 공간을 축소하기 위하여 양자화를 수행한다. 양자화를 통해 조도에 의한 미세한 색상 변화에 무관한 안정적인 특징 추출이 가능하고, 빈의 개수를 줄여 기억 공간의 효율화는 물론 정합 시간을 줄일 수 있다. 이때 제한된 비트수로 색상(hue)에 대한 정보를 세밀하게 표현할 수 있도록 색상 성분은 8레벨, 채도(saturation)와 명도(value)는 각각 2레벨로 균등 양자화 한다. 색상 성분은 그대로 두고 채도와 명도를 모두 4레벨로 늘렸을 때, 빈의 개수가 4배가 되어 정합 시간은 4배로 늘어나지만 재현율 10%를 기준으로 정확률이 0.2% 올라가는데 그쳤으며, 채도와 명도를 모두 8레벨로 양자화 하였을 때 검색 성능은 오히려 저하되었다.

Fig. 2Overall process of image retrieval based on CDV.

3×3 영역에서 중심 화소와 이웃 화소간의 색상, 채도, 명도 값의 차이에 따라서 D0화소, D1화소, D2화소의 세 클래스로 화소를 분류하여 CDV를 구성한다. D0화소는 중심 화소가 이웃 화소와 동일한 색상, 채도, 명도를 보이는 화소이고, D1화소와 D2화소는 중심 화소와 이웃 화소간의 차이의 작고 큼에 따라 구분한 것이다. 이웃 화소들 간의 색상 차의 평균값이 1보다 크거나 채도와 명도가 모두 다른 것은 D2화소, 이것 보다 작은 차이를 보이는 것은 D1화소로 분류하였다. Fig. 3은 화소들을 세 그룹으로 분류한 결과를 나타낸 것으로, (a)는 RGB 입력 영상, (b)는 HSV 컬러 모델로 변환된 영상, (c)는 양자화된 HSV 영상을 색차에 의하여 세 그룹으로 분류한 영상을 나타낸다. Fig. 3-(c)에서 검은색으로 나타난 부분이 D0화소 그룹으로 원 영상에서 보면 색차이가 거의 나타나지 않는 부분이다. 흰색 부분은 에지 성분이 강하게 나타나는 부분으로 D2화소 그룹이고, 회색 부분은 에지가 약하게 나타나는 D1화소 그룹이다. 이와 같이 분류된 화소에서 i번째 색상을 갖는 중심 화소가 D0화소인 것의 개수를 αi, D1화소인 것의 개수를 βi, D2화소인 것의 개수를 γi라고 하면, HSV 영상에서 추출된 CDV는 〈(α1, β1, γ1), (α2, β2, γ2),..., (αn, βn, γn)〉으로 기술된다.

Fig. 3Classification of pixels in quantized HSV image.

3.3 CDV에 의한 영상 정합

영상 검색은 질의 영상에서 추출한 색인과 탐색 공간에 존재하는 임의의 영상에서 추출한 색인과의 정합을 통해 이루어진다. 질의 영상 q와 탐색 영상 t에서 추출한 CDV를 각각 CDVq, CDVt라고 하면, 두 영상간의 L1거리는 식 (3)과 같이 계산할 수 있다. 그런데 D1화소나 D2화소는 D0화소에 비하여 개수가 상대적으로 적게 나타나지만 영상에 나타나는 중요한 특징을 잘 내포하고 있다. 그러므로 화소의 개수와 무관하게 동일한 가중치를 갖도록 각 그룹별 CDV에 의하여 빈에 누적된 값의 합이 1이 되도록 식 (4)에 의하여 정규화 한 후, 식 (5)에 제시된 바와 같이 두 영상에서 추출한 대응되는 성분별 L1거리의 합으로 영상간의 거리를 계산한다. 식 (5)에서 는 각각 질의 영상 q와 탐색 영상 t에서 추출한 D0화소, D1화소, D2화소의 정규화한 i번째 빈의 값으로, 결국 두 영상간의 거리는 화소 그룹별로 정규화한 빈의 값을 대응되는 요소끼리 비교하여 그 차이의 절대값을 누적한 후이들을 모두 더한 것이다.

 

4. 실험 결과 및 분석

4.1 실험 데이터

영상 검색에 대한 제안된 방법의 타당성을 검증하기 위하여 Wang 연구 그룹[21]에서 연구 목적으로 공개한 영상 데이터베이스를 이용하였다. 이 데이터베이스는 256×384 또는 384×256 해상도를 가지며 각각 100장씩으로 구성된 10가지 주제(아프리카 주민과 마을, 해변, 빌딩, 버스, 공룡, 코끼리, 꽃, 말, 산과 빙하, 음식)에 관련된 총 1,000장의 영상으로 구성되어 있다. Fig. 4는 각 주제별로 2장씩을 예시한 것으로, 동일 주제의 영상이라도 형태, 색상, 피사체의 공간적 배치 등이 다양하게 나타남을 알 수 있다.

Fig. 4.Sample images selected from 10 categories.

4.2 검색 성능 측정

제안된 방법의 영상 검색 성능을 측정하기 위하여 각 주제별 영상들을 질의 영상으로 선택하고 전체 1,000개의 영상을 대상으로 검색 실험을 수행하였다. 검색 성능은 일반적으로 널리 사용되는 정확률(precision)과 재현율(recall)을 이용하여 측정하였다. 정확률이란 검색된 영상 중에서 올바르게 검색된 영상의 비율을 의미하며, 재현율이란 검색 공간에서 질의와 관련된 영상 중 올바르게 검색된 영상의 비율을 의미한다. 검색 결과가 올바른지의 여부는 주관적인 판단이 개입될 수 있기 때문에 이를 배제하기 위하여, 본 실험에서는 검색된 영상이 질의 영상과 동일한 주제에 속할 때 검색 결과가 올바른 것으로 판단하였다. 식 (6)과 식(7)은 각각 정확률과 재현율을 계산하는 식을 나타낸 것이다. RC와 RI는 올바르게 검색된 영상과 그렇지 않은 영상의 개수를 나타내고, TC는 데이터베이스 내에 질의 영상과 관련된 영상의 총수를 나타낸다.

질의 영상에 대하여 검색되어 출력되는 영상의 개수를 늘리게 되면 재현율은 향상되지만 정확률은 이와는 반대로 저하되기 때문에 재현율의 변화에 따라 정확률이 어떻게 변화하는지를 살펴보아야 검색 성능을 올바르게 평가할 수 있다. Fig. 5는 재현율의 변화에 따른 정확률의 변화를 나타낸 그래프이다. 여기서 재현율과 정확률은 각 주제에 속한 질의 영상들로 검색한 결과로 얻어진 재현율과 정확률의 평균을 나타낸 것이다. 이 그래프를 보면 재현율이 10%일 때, 95% 이상의 정확률을 보이고 있고, 재현율이 20%일 때, 정확률은 85% 이상을 나타내었다. 그리고 재현율이 50%가 되면, 정확률은 60% 이상으로 저하되었다. 질의 영상이 아프리카 주민(indian), 코끼리, 빌딩이라는 주제에서 선택되었을 때 정확률이 상대적으로 높게 나타났으며, 해변, 말, 공룡을 주제로 한 영상의 범주에서는 정확률이 상대적으로 낮게 나타났다. Table 1은 향후 타 연구자의 실험 결과와 비교할 수 있도록 재현율이 10%, 20%, 50%일 때의 정확률을 수치로 정리한 것으로, G0∼G9은 Fig. 5의 범례에 제시된 영상의 주제별 순서에 따라 그룹별로 일련번호를 매긴 것이다.

Fig. 5.Precision and Recall curves.

Table 1.Precisions with different recalls

제안된 영상 색인 및 검색 방법이 저해상도 영상에 적용될 수 있는지를 알아보기 위하여 영상의 해상도를 가로와 세로 모두 1/4, 1/8, 1/16로 축소하여 실험을 수행하였다. Fig. 6은 축소된 영상의 실제 크기를 그대로 제시한 것으로 1/8로 축소된 경우는 썸네일(thumbnail) 영상 정도의 크기가 되었고, 1/16로 축소된 경우는 영상에 나타난 피사체의 식별이 어려울 만큼 해상도가 저하된 것을 알 수 있다. Fig. 7은 정확률이 상대적으로 상, 중, 하에 해당하는 코끼리, 꽃, 해변을 주제로 한 영상들을 질의 영상으로 선택하여 축소된 영상에 대해 검색 실험을 수행한 결과 얻어진 정확률과 재현율을 나타낸 것으로, 재현율 20%를 기준으로 해변 영상은 정확률이 평균 4.9% 저하되었으나 코끼리 영상은 오히려 정확률이 평균 0.9% 향상되었고, 꽃 영상은 정확률 저하가 평균 0.6%로 미미하였다. 이것은 제안된 방식이 저해상도 영상에 대해서도 효과적으로 적용될 수 있음을 의미한다.

Fig 6.Resized images: (a) 1/4, (b) 1/8, and (c) 1/16.

Fig. 7.Image resolution vs. performance of image Fig. 8. Performance comparison of image retrieval. retrieval.

4.3 검색 성능 비교

컬러 정보를 이용하여 영상 검색을 수행하는 기존 연구들과 제안된 방법의 인식 성능을 비교하기 위하여 LCH 방식과 CCV 방식을 직접 구현하여 실험하였다. LCH는 영상의 중심부에 주요 피사체가 존재한다는 가정을 기반으로 한 퍼지 영역 분할 방법[19]을 구현하여 비교하였다. CCV 방식에서 응집도의 높고 낮음을 판단하는 연결요소 크기의 임계값은 G. Pass외[4]의 논문에서 제시된 영상 전체 화소의 1%로 설정하여 실험하였다. 10개의 주제 중 정확률이 상대적으로 상, 중, 하에 해당하는 코끼리, 꽃, 해변을 주제로 한 영상들을 질의 영상으로 선택하여 검색한 결과 Fig. 8의 결과를 얻었다. Fig. 8에 나타난 바와 같이 영상 내 화소들의 색차를 CDV로 표현하여 히스토그램을 정교화하는 제안하는 방법이 기존의 LCH 방식과 CCV 방식에 비하여 세 범주의 영상들에 대하여 정확률이 높게 나타났다. 세 범주의 영상에 대한 정확률의 평균을 비교하였을 때, 재현율 10%, 20%, 50%를 기준으로 제안하는 CDV 방식이 재현율에 따라 LCH방식에 비하여 2.3%, 4.0%, 12.0% 향상된 정확률을 나타내었고, LCH방식에 비하여 2.4%, 4.5%, 10.3% 향상된 정확률을 나타내었다.

Fig. 8.Performance comparison of image retrieval.

 

5. 결 론

컬러 정보는 이동이나 회전 변형, 그리고 카메라 시점 변화에도 강인한 안정적인 특징을 제공하기 때문에 영상 검색을 위한 특징으로 널리 이용되어 왔다. 본 논문에서는 색상의 공간적 정보 없이 빈도만을 나타내는 GCH의 단점을 극복하고, 질감 정보를 나타내는데 사용되는 에지의 특성을 나타낼 수 있는 지역 색차를 이용한 히스토그램 정교화 기법을 제안하였다. 컬러 모델은 색상 정보를 효과적으로 나타낼 수 있는 HSV 모델을 이용하였고, 제한된 비트수로 색상 정보를 강조하기 위하여 색상은 8레벨, 채도와 명도는 각각 2레벨로 균등양자화를 통해 컬러 공간을 축소하였다. 컬러 공간의 축소는 조도에 따른 미세한 색상 변화에 무관한 안정적인 컬러 표현이 가능할 뿐만 아니라 히스토그램을 구성하는 빈의 개수를 줄여줌으로써 저장 공간의 축소는 물론 영상 정합 과정에서의 처리시간을 단축시키는데 기여한다. 지역적 색차에 기반하여 화소들을 세 개의 그룹으로 분류한 후 각 그룹별 화소의 개수를 나타내는 CDV를 통해 정교화된 컬러 히스토그램을 얻을 수 있다. 공개된 데이터베이스를 이용하여 제안된 방법의 영상 검색에 대한 성능을 실험한 결과, 재현율 20%를 기준으로 LCH 방식과 CCV 방식에 비하여 각각 4.0%, 4.5% 향상된 검색 성능을 보여 주었으며, 크기가 축소된 저해상도 영상에 대하여도 검색 성능이 0.5%∼4.9%만큼만 낮아져 크게 저하되지 않았다. 그러나 아직 만족할 만한 검색 성능을 나타내지는 못하므로, 향후 질감 및 형태 정보를 추출하는 연구와 이들을 색상 정보와 결합하여 검색 성능을 향상시키는 연구를 수행할 계획이다.

References

  1. X. Bai, B. Wang, C. Yao, W. Liu, and Z. Tu, “Co-Transduction for Shape Retrieval,” IEEE Transactions on Image Processing, Vol. 21, No. 5, pp. 2747-2757, 2012. https://doi.org/10.1109/TIP.2011.2170082
  2. A. Egozi, Y. Keller, and H. Guterman, “Improving Shape Retrieval by Spectral Matching and Meta Similarity,” IEEE Transactions on Image Processing, Vol. 19, No. 5, pp. 1319-1327, 2010. https://doi.org/10.1109/TIP.2010.2040448
  3. A.K. Jain and A. Vailaya, “Shape-Based Retrieval: A Case Study with Trademark Image Databases,” Pattern Recognition, Vol. 31, No. 9, pp. 1369-1390, 1998. https://doi.org/10.1016/S0031-3203(97)00131-3
  4. G. Pass and R. Zabih, "Histogram Refinement for Content-Based Image Retrieval," Proceeding of the IEEE Workshop on Applications of Computer Vision, pp. 96-102, 1996.
  5. J. Huang, S.R. Kumar, M. Mitra, W. Zhu, and R. Zabih, "Image Indexing Using Color Correlograms," Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 762-768, 1997.
  6. K. Kang, Y. Park, Y. Yoon, J. Choi, and D. Kim, “Image Retrieval using Spatial Information and Color Changing Ratio,” Journal of Korea Multimedia Society, Vol. 11, No. 1, pp. 23-33, 2008.
  7. P. Haldar and J. Mukherjee, “Content based Image Retrieval Using Histogram, Color and Edge,” International Journal of Computer Application, Vol. 48, No. 11, pp. 25-31, 2012. https://doi.org/10.5120/7393-0366
  8. C. Won, D. Park, and S. Park, “Efficient Use of MPEG-7 Edge Histogram Descriptor,” Journal of Electronics and Telecommunications Research Institute, Vol. 24, No. 1, pp. 23-30, 2002.
  9. V. Takala, T. Ahonen, and M. Pietikainen, "Block-Based Methods for Image Retrieval Using Local Binary Patterns," Lecture Notes in Computer Science, Vol. 3540, pp. 882-891, 2005.
  10. J. Song, “Content-based Image Retrieval Using HSV Color and Uniform Local Binary Pattern,” Journal of Korean Institute of Information Technology, Vol. 12, No. 6, pp. 169-174, 2014. https://doi.org/10.14801/kiitr.2014.12.6.169
  11. K. Lee and C. Lee, “Content-based Image Retrieval Using LBP and HSV Color Histogram,” Journal of Broadcast Engineering, Vol. 18, No. 3, pp. 372-379, 2013. https://doi.org/10.5909/JBE.2013.18.3.372
  12. S. Murala, R.P. Maheshwari, and R. Balasubramanian, “Local Tetra Patterns: A New Feature Descriptor for Content-Based Image Retrieval,” IEEE Transactions on Image Processing, Vol. 21, No. 5, pp. 2874-2886, 2012. https://doi.org/10.1109/TIP.2012.2188809
  13. R. Balasubramani and V. Kannan, “Efficient Use of MPEG-7 Color Layout and Edge Histogram Descriptors in CBIR Systems,” Global Journal of Computer Science and Technology, Vol. 9, No. 5, pp. 157-163, 2009.
  14. H.A. Jalab, "Image Retrieval System based on Color Layout Descriptor and Gabor Filters," Proceeding of the IEEE Conference on Open Systems, pp. 32-36, 2011.
  15. M.H. Saad, H.I. Saleh, H. Konbor, and M. Ashour, "Image Retrieval based on Integration between YCbCr Color Histogram and Texture Feature," International Journal of Computer Theory and Engineering, Vol. 3, No. 5, pp. 701-706, 2011. https://doi.org/10.7763/IJCTE.2011.V3.395
  16. M. Singh and K. Hemachandran, "Content Based Image Retrieval using Color and Texture," Signal & Image Processing : An International Journal, Vol. 3, No. 1, pp. 39-57, 2012. https://doi.org/10.5121/sipij.2012.3104
  17. S.M. Singh and K. Hemachandran, "Content-Based Image Retrieval using Color Moment and Gabor Texture Feature," International Journal of Computer Science Issues, Vol. 9, Issue 5, No. 1, pp. 299-309, 2012.
  18. M. Mustikasari, S. Madenda, E. Prasetyo, D. Kerami, and S. Harmanto, “Content-Based Image Retrieval using Local Color Histogram,” International Journal of Engineering Research, Vol. 3, No. 8, pp. 507-511, 2014. https://doi.org/10.17950/ijer/v3s8/807
  19. M. Stricker and A. Dimai, "Color Indexing with Weak Spatial Constraints," Proceeding of the Storage Retrieval for Still Image and Video Databases, pp. 1-12, 1996.
  20. R.O. Stehling, M.A. Nascimento, and A.X. Falcao, “Cell Histograms Versus Color Histograms for Image Representation and Retrieval,” Knowledge and Information Systems, Vol. 5, No. 3, pp. 315-336, 2003. https://doi.org/10.1007/s10115-003-0084-y
  21. James Z. Wang's Research Group, http://wang.ist.psu.edu/docs/related.shtml (accessed Nov., 1, 2015).

Cited by

  1. Ferns 알고리즘 기반 밝기 및 회전 변화에 강인한 영상검색 시스템 설계 및 구현 vol.19, pp.9, 2016, https://doi.org/10.9717/kmms.2016.19.9.1679
  2. 동일인 인식을 위한 컬러 공간의 탐색 및 결합 vol.19, pp.10, 2016, https://doi.org/10.9717/kmms.2016.19.10.1782