• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.628-631
• /
• 2023

We present a new approach to evaluate the generated texts by Large Language Models (LLMs) for meme classification. Analyzing an image with embedded texts, i.e. meme, is challenging, even for existing state-of-the-art computer vision models. By leveraging large image-to-text models, we can extract image descriptions that can be used in other tasks, such as classification. In our methodology, we first generate image captions using BLIP-2 models. Using these captions, we use GPT-4 to evaluate the relationship between the caption and the meme text. The results show that OPT_6.7B provides a better rating than other LLMs, suggesting that the proposed method has a potential for meme classification.

• International Journal of Computer Science & Network Security
• /
• 제24권2호
• /
• pp.1-14
• /
• 2024

While text-to-image models have made remarkable progress in image synthesis, certain models, particularly generative diffusion models, have exhibited a noticeable bias to- wards generating images related to the culture of some developing countries. This paper introduces an empirical investigation aimed at mitigating the bias of image generative model. We achieve this by incorporating symbols representing Saudi culture into a stable diffusion model using the Dreambooth technique. CLIP score metric is used to assess the outcomes in this study. This paper also explores the impact of varying parameters for instance the quantity of training images and the learning rate. The findings reveal a substantial reduction in bias-related concerns and propose an innovative metric for evaluating cultural relevance.

• 한국콘텐츠학회논문지
• /
• 제6권10호
• /
• pp.134-142
• /
• 2006

본 논문에서는 영상의 유사성을 측정하는데 많이 이용되는 Hausdorff거리 기법이 텍스트 영상을 검색하는 분야에도 효과적임을 입증하고자 한다. 즉, 시차를 두고 스캔된 임의의 텍스트 영상들의 동일성 여부를 판단할 수 있는 영상기반 텍스트 매칭 기법을 제안하고 이를 위해 지역 밀집도와 Hausdorff 거리를 이용한다. Hausdorff 거리 방법은 처리시간이 오래 걸리는 단점이 존재하는데, 본 논문에서는 지역 밀집도 알고리즘을 이용한 특징점 추출을 수행하여 이를 보완하였다. 우편 봉투에서 얻은 텍스트 영상으로 190개의 동일 영상 190개의 비등일 영상을 만들어 실험을 수행하였다. 기존에 영상 간의 유사도 매칭에 가장 일반적으로 이용되는 이진 상관도 및 Hausdorff 거리 방법과 본 논문에서 제안한 수정된 Hausdorff 방법의 실험 결과를 비교한 결과, 유사한 영역을 찾고 일치하는 정도를 얻는데 있어 다른 방법에 비해 약 2.7%에서 9.0%의 높은 정확률을 얻어 성능의 우수성을 입증하였다.

• 정보관리학회지
• /
• 제23권3호
• /
• pp.5-21
• /
• 2006

최근 수년 동안 영상자료와 음성자료 분석에 대한 이론들이 텍스트자료 검색 시스템과 함께 사용되기 위해서 제안되어 왔으며 데이터 처리 속도의 급격한 향상과 함께 발전되어 왔다. 일반적 검색 방법들은 단지 텍스트만을 사용하지만 텍스트와 그림을 동시에 사용하는 검색 방법 또한 최근에 제안되어 왔다. 본 연구는 다매체자료의 공통기술표현포맷(CRFMD)이라는 이름으로 화상자료와 텍스트자료를 하나의 자료 구조로 통합하는 방법을 제안하고 있으며, 주어진 테스트자료에 대한 화상자료의 유사성 분석에서 텍스트와 그림의 형태소를 함께 사용하였을 때 현격히 개선되어 짐을 보여주고 있다. CRFMD는 의료문서 검색, WWW 검색, 박물관 소장품 검색과 같은 다양한 분야의 다매체자료 검색 및 처리에 응용될 수가 있을 것이다.

• 만화애니메이션 연구
• /
• 통권20호
• /
• pp.87-104
• /
• 2010

애니메이션은 일반 영화와 마찬가지로 이미지와 사운드가 결합하여 의미와 감동을 만들어낸다. 유리 노르슈테인의 <이야기 속의 이야기>는 다양한 음악과 음향효과가 이미지와 잘 결합했다는 점에서, 애니메이션 사운드 분석의 좋은 사례가 되는 작품이다. 본 연구는 이 작품 속에서 사운드가 어떤 기능을 하면서 의미를 만드는가를 분석하는데 초점을 맞춘다. 일반적으로 사운드는 대사, 음악, 음향효과라는 세 개의 영역으로 나눠지며, 애니메이션은 각 영역에 독특한 미학적 특성이 있다. 대사에 사용되는 목소리는 캐릭터의 이미지에 맞춰 창조되며, 음악에서는 특별히 이미지와 리듬의 결합이 중요하다. 음향효과 면에서도 애니메이션에서는 단순한 소리의 모사가 아닌 움직임의 묘사라는 성격이 강하다. 본 연구는 이 세 가지 영역으로 나눠 사용된 사운드를 분석하되, 청점과 주관적 사운드, 사이음의 개념도 분석을 위해 사용했다. 작품에 사용된 러시아 자장가는 멜로디의 변주와 반복을 통해 전체 내러티브의 모티브로 기능을 한다. 아기와 늑대의 청점을 통한 주관적 사운드의 사용은 작품의 중심을 이루고 있는 캐릭터에 특별한 위상을 부여한다. 음악과 이미지의 반복적 결합, 음향효과의 언어적이고 주석적인 기능, 그리고 비교적 관습적인 음악과 음향사용은 작품의 가독성과 감동을 높여준다는 것들은 이 작품의 전체적 사운드사용의 특징이다.

• 응용통계연구
• /
• 제34권2호
• /
• pp.191-204
• /
• 2021

시각질의응답과 이미지 캡셔닝은 이미지의 특징과 문장의 언어적인 특징을 이해하는 것을 요구하는 작업이다. 따라서 두 가지 작업 모두 이미지와 텍스트를 연결해 줄 수 있는 공동 어텐션이 핵심이라고 할 수 있다. 본 논문에서는 MSCOCO 데이터 셋에 대하여 사전 훈련된 transformer 모델을 이용 하여 캡션을 생성한 후 이를 활용해 시각질의응답의 성능을 높이는 모델을 제안하고자 한다. 이때 질 문과 관계없는 캡션은 오히려 시각질의응답에서 답을 맞히는데 방해가 될 수 있기 때문에 질문과의 유사도를 기반으로 질문과 유사한 일부의 캡션을 활용하도록 하였다. 또한 캡션에서 불용어는 답을 맞히는데 영향을 주지 못하거나 방해가 될 수 있기 때문에 제거한 후에 실험을 진행하였다. 기존 시 각질의응답에서 이미지와 텍스트간의 공동 어텐션을 활용하여 좋은 성능을 보였던 deep modular co-attention network (MCAN)과 유사도 기반의 선별된 캡션을 사용하여 VQA-v2 데이터에 대하여 실험을 진행하였다. 그 결과 기존의 MCAN모델과 비교하여 유사도 기반으로 선별된 캡션을 활용했을 때 성능 향상을 확인하였다.

• 한국엔터테인먼트산업학회논문지
• /
• 제5권1호
• /
• pp.127-133
• /
• 2011

자연영상에 내포되어 있는 문자는 다양한 내용을 표현하는 중요한 정보이다. 기존의 문자 검출 알고리즘은 영상의 복잡도와 주변의 조명, 문자와 유사한 배경색 등의 환경에서 문자영역을 검출하지 못하는 문제점이 있으므로 본 논문에서는 에지 및 형태학적 재구성에 의한 연결요소를 이용한 자연영상에 포함된 문자영역을 검출하는 방법을 제안한다. 첫 번째 단계로, 명암도 영상에서 캐니에지(Canny-Edge) 검출기를 이용한 에지 성분과 형태학적 연산에 의한 지역적 최소/최대값을 갖는 연결요소를 검출하고, 각각 검출된 연결성분을 레이블링하고, 레이블링 된 각 성분에 대해 문자가 갖는 특징을 이용한 후보 문자영역을 검출한다. 마지막으로 검출된 후보 문자 영역을 서로 합병하여 하나의 후보 문자 영역을 생성하고, 후보 문자 영역의 인접성과 유사성으로 후보 문자 영역을 검증하여 최종 문자 영역을 검출한다. 실험결과 제안한 에지 및 연결요소 성분을 이용한 방법은 문자영역 검출의 정확성이 개선되었다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제22권6호
• /
• pp.290-295
• /
• 2016

최근 사용자들이 협동적으로 이미지 주석인 태그를 만들고 활용하는 폭소노미 기반의 이미지 공유 사이트들이 많은 인기를 얻고 있다. 이러한 사이트는 사용자 질의에 대해 단순한 텍스트 매칭 기반의 검색을 수행하고 매칭되는 결과 이미지들을 포토 스트림 형태로 나열하여 보여 준다. 하지만 이러한 태그들은 매우 개인적이고 주관적이며, 이미지 역시 카테고리로 분류되어 있지 않기 때문에 검색의 정확도나 사용자 만족도가 떨어진다는 문제점이 있다. 본 연구에서는 태그를 기반으로 하는 이미지 검색에서 검색의 정확도를 높일 수 있는 폭소노미 이미지의 카테고리화 기법을 제안하고, 폭소노미 환경에서 생성된 태그와 이미지 정보를 모두 이용하며 의미적으로 유사한 이미지들끼리 분류된 검색 결과를 생성한다. 제안하는 기법의 성능 평가를 위해 폭소노미 이미지를 수집하고 텍스트, 이미지 특성에 따른 카테고리 분류를 수행하여 기존 검색 기법과 이미지 검색의 정확도를 비교한다.

• 정보처리학회논문지B
• /
• 제12B권2호
• /
• pp.115-122
• /
• 2005

영상이 다른 영상을 포함하고 있는 경우, 이득 영상의 인치 여부를 판단하는 부분 영상 매칭 방법은 대부분 자연 영상을 대상으로 연구되고 있다. 본 논문에서는 자연 영상이 아닌 텍스트 영상을 매칭하는데 효과적인 두 가지 기법, 즉 메쉬 기반 방법과 상관성 기반 방법을 제안하고자 하다. 메쉬 기반 방법은 두 영상의 일치하는 모서리론 찾은 후 겹치는 영역에 대한 메쉬 특징을 이용하여 유사 여부를 판단하는 것으로, 일치 영역 검색 단계와 유사성 측정 단계로 구성된다. 상관성 기반 방법은 FFT를 이용하여 두 영상의 상관성을 계산함으로써 유사도를 측정한다. 우편 자동화 시스템에서 텍스트 영상을 검증하는 분야에 세안 방법을 적용한 견과, 메쉬 기반 방법은 $90.1\%$, 상관성 기반 방법은 $92.7\%$의 성능을 나타내었다.

• 디자인학연구
• /
• 제13권3호
• /
• pp.313-320
• /
• 2000

현재 정보화의 물결은 모든 분야에 지대한 영향을 미치고 있다. 디자인 분야에서도 정보의 단순 사용 단계를 벗어나 체계적으로 디자인 정보를 유지, 관리하여 지식의 축적에 힘을 모아야 할 때이다. 통신 속도의 발전과 압축기술의 발달로 문자 정보 중심의 데이터는 이미지, 동영상 등 멀티미디어 데이터로 발전하고 있으며 이와 관련한 효과적인 정보 활용을 위한 여러 방법론이 필요한 시점에 이른 것이다. 이미지 정보의 가공은 기존의 문헌 정보 위주의 정보 가공 및 축적 방식에서 탈피하여 이미지 정보의 고유 특성 및 활용에 적합한 방식을 연구해야 한다. 본 연구에서는 디자인 이미지 자료를 분석하여 디자인 이미지 자체의 정보 요소를 추출하고 시스템에 적용한 사례를 통해 디자인 이미지 정보의 자료 색인과 구현 체계를 제안하고자 한다