• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.447-451
• /
• 2022

본 논문에서는 사용자가 대화 텍스트 방식의 입력을 주었을 때 이를 키워드 중심으로 변환하여 이미지를 생성해내는 방식을 제안한다. 대화 텍스트란 채팅 등에서 주로 사용하는 형식의 구어체를 말하며 이러한 텍스트 형식은 텍스트 기반 이미지 생성 모델이 적절한 아웃풋 이미지를 생성하기 어렵게 만든다. 이를 해결하기 위해 대화 텍스트를 키워드 중심 텍스트로 바꾸어 텍스트 기반 이미지 생성 모델의 입력으로 변환하는 과정이 이미지 생성의 질을 높이는 좋은 방안이 될 수 있는데 이러한 태스크에 적합한 학습 데이터는 충분하지 않다. 본 논문에서는 이러한 문제를 다루기 위한 하나의 방안으로 사전학습된 초대형 언어모델인 KoGPT 모델을 활용하며, 퓨샷 러닝을 통해 적은 양의 직접 제작한 데이터만을 학습시켜 대화 텍스트 기반의 이미지 생성을 구현하는 방법을 제안한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.05a
• /
• pp.293-296
• /
• 2018

생성적 적대 네트워크를 활용하여 텍스트, 스케치 등 다양한 자원으로부터 이미지를 생성하기 위한 연구는 활발하게 진행되고 있으며 많은 실용적인 연구가 존재한다. 하지만 기존 연구들은 텍스트나 스케치 등 각 하나의 자원을 통해 이미지를 생성하기 때문에 설명이 부족한 텍스트, 실제 이미지와 상이한 스케치와 같이 자원의 정보가 불완전한 경우에는 제대로 된 이미지를 생성하지 못한다는 한계가 있다. 본 논문에서는 기존 연구의 한계점올 극복하기 위해 텍스트와 스케치 두 개의 자원을 동시에 활용하여 이미지를 생성하는 새로운 생성 기법 TS-GAN 을 제안한다. TS-GAN 은 두 단계로 이루어져 있으며 각 단계를 통해 더욱 사실적인 이미지를 생성한다. 본 논문에서 제안한 기법은 컴퓨터 비전 분야에서 많이 활용되는 CUB 데이터세트를 사용하여 이미지 생성 결과의 우수성을 보인다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.432-433
• /
• 2023

스테이블 디퓨전(Stable diffusion)과 같은 텍스트 프롬프트 입력 기반 이미지 생성 AI 기술의 발전으로 원하는 형태의 고품질 이미지를 누구나 손쉽게 생성가능할 것으로 기대하였으나 대부분의 경우 원하는 이미지를 얻기 위해서는 텍스트 프롬프트를 정교하게 조정해가며 많은 실패를 겪어야만 한다. 이러한 한계를 극복하기 위해 클립 인터로게이터(CLIP Interrogator)와 같은 유사 이미지를 재생성하기 위한 텍스트 프롬프트 추정 기술이 개발되었으며 몇몇 이미지에 대해 뛰어난 결과를 보였다. 본 논문에서는 이러한 텍스트 프롬프트 추정 기술의 활용이 한국화를 재생성할 수 있는지 실험을 통해 가능성을 확인하고 향후 한국화 재생성을 위한 연구 방향을 제안하고자 한다.

• Journal of KIISE:Databases
• /
• v.27 no.4
• /
• pp.562-571
• /
• 2000

이미지 데이터는 텍스트 데이터와는 달리 다양한 색상과 모양, 질감과 같은 비정형적인 특징을 가진다. 따라서 이미지 데이터베이스는 텍스트 기반의 전통 데이터베이스와는 다른 모델링 방법과 질의, 검색 방법을 사용한. 특히, 내용 기반 이미지 검색에서의 검색 속도와 정확도를 향상시키기 위해서는 새로운 복합 질의문 계획 생성 기법이 필요하다. 본 논문에서는 이를 위해 먼저, 단일 조건을 갖는 시각 질의에 대한 처리 기법들을 토대로 여러 조건을 갖는 복합 질의를 처리하기 위한 복합 질의문 계획 생성기법인 SSCC(Similarity Search for Conjunction Combination Query) 알고리즘을 제안한다. SSCC는 이미지 데이터베이스 검색 시스템에서 복합 질의를 처리하기 위한 질의 최적화 과정에서 질의 수행 시간과 투플 I/O를 최소화하는 질의문 계획을 생성하기 위해 사용된다. SSCC 알고리즘은 복합질의를 단일 질의들로 준해하고 퍼지 집합 이론을 도입하여 단일 질의의 결과들을 통합한다. 논문에서 연구된 내용 기반 복합 질의문 계획 생성 기법은 특정 이미지 영역에 국한되지 않으며 다양한 종류의 시각 질의를 수행하기 위한 효율적인 질의문 계획 생성 기법으로 사용될 수 있다.

• Cartoon and Animation Studies
• /
• s.16
• /
• pp.141-163
• /
• 2009

This paper examined the goblin characters in Japan animation. The meaning of the goblin in this paper is not a just monster. They have a spirit. This concept is based on animism in japanese mind. I attempted a chase of goblin character's making methods. My theoretical approaches lean on the concepts "inter-textuality" of Julia Kristeva and "text" of Roland Barthes. First of all, I compared some beings of the old chinese myth-geographical book with some characters of Japan animation . The making method of goblin characters is two. One is 'Hybrid', the other is 'Mutant'. And than I appled to Japanese traditional image, "Baek-kuy-ya-hang-do"(hundreds of goblins' parade). The making method of goblins is combined to a inter-textual way as hybrid or mutant.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.253-257
• /
• 2023

최근 다양한 대화 시스템이 스마트폰 어시스턴트, 자동 차 내비게이션, 음성 제어 스피커, 인간 중심 로봇 등의 실세계 인간-기계 인터페이스에 적용되고 있다. 하지만 대부분의 대화 시스템은 텍스트 기반으로 작동해 다중 모달리티 입력을 처리할 수 없다. 이 문제를 해결하기 위해서는 비디오와 같은 다중 모달리티 장면 인식을 통합한 대화 시스템이 필요하다. 기존의 비디오 기반 대화 시스템은 주로 시각, 이미지, 오디오 등의 다양한 자질을 합성하거나 사전 학습을 통해 이미지와 텍스트를 잘 정렬하는 데에만 집중하여 중요한 행동 단서와 소리 단서를 놓치고 있다는 한계가 존재한다. 본 논문은 이미지-텍스트 정렬의 사전학습 임베딩과 행동 단서, 소리 단서를 활용해 비디오 기반 대화 시스템을 개선한다. 제안한 모델은 텍스트와 이미지, 그리고 오디오 임베딩을 인코딩하고, 이를 바탕으로 관련 프레임과 행동 단서를 추출하여 발화를 생성하는 과정을 거친다. AVSD 데이터셋에서의 실험 결과, 제안한 모델이 기존의 모델보다 높은 성능을 보였으며, 대표적인 이미지-텍스트 자질들을 비디오 기반 대화시스템에서 비교 분석하였다.

• Journal of KIISE:Software and Applications
• /
• v.31 no.10
• /
• pp.1386-1399
• /
• 2004

This paper presents correlation-based automatic image captioning. Given a training set of annotated images, we want to discover correlations between visual features and textual features, so that we can automatically generate descriptive textual features for a new unseen image. We develop models with multiple design alternatives such as 1) adaptively clustering visual features, 2) weighting visual features and textual features, and 3) reducing dimensionality for noise sup-Pression. We experiment thoroughly on 10 data sets of various content styles from the Corel image database, about 680MB. The major contributions of this work are: (a) we show that careful weighting visual and textual features, as well as clustering visual features adaptively leads to consistent performance improvements, and (b) our proposed methods achieve a relative improvement of up to 45% on annotation accuracy over the state-of-the-art, EM approach.

• Journal of the Korea Society of Computer and Information
• /
• v.29 no.5
• /
• pp.31-38
• /
• 2024

In this paper, we propose an ASAP(AI-driven Service for Advertisement Production) application that provides a generative AI-based automatic advertising image production service. This application utilizes GPT-3.5 Turbo Instruct to generate suitable background mood and promotional copy based on user-entered keywords. It utilizes OpenAI's DALL·E 3 model and Stability AI's SDXL model to generate background images and text images based on these inputs. Furthermore, OCR technology is employed to improve the accuracy of text images, and all generated outputs are synthesized to create the final advertisement. Additionally, using the PILLOW and OpenCV libraries, text boxes are implemented to insert details such as phone numbers and business hours at the edges of promotional materials. This application offers small business owners who face difficulties in advertising production a simple and cost-effective solution.

• Journal of the Korea Society of Computer and Information
• /
• v.26 no.1
• /
• pp.57-67
• /
• 2021

Recently, multi-modal deep learning techniques that combine heterogeneous data for deep learning analysis have been utilized a lot. In particular, studies on the synthesis of Text to Image that automatically generate images from text are being actively conducted. Deep learning for image synthesis requires a vast amount of data consisting of pairs of images and text describing the image. Therefore, various data augmentation techniques have been devised to generate a large amount of data from small data. A number of text augmentation techniques based on synonym replacement have been proposed so far. However, these techniques have a common limitation in that there is a possibility of generating a incorrect text from the content of an image when replacing the synonym for a noun word. In this study, we propose a text augmentation method to replace words using word hierarchy information for noun words. Additionally, we performed experiments using MSCOCO data in order to evaluate the performance of the proposed methodology.

• KIISE Transactions on Computing Practices
• /
• v.22 no.6
• /
• pp.290-295
• /
• 2016

Recently, folksonomy-based image-sharing sites where users cooperatively make and utilize tags of image annotation have been gaining popularity. Typically, these sites retrieve images for a user request using simple text-based matching and display retrieved images in the form of photo stream. However, these tags are personal and subjective and images are not categorized, which results in poor retrieval accuracy and low user satisfaction. In this paper, we propose a categorization scheme for folksonomy images which can improve the retrieval accuracy in the tag-based image retrieval systems. Consequently, images are classified by the semantic similarity using text-information and image-information generated on the folksonomy. To evaluate the performance of our proposed scheme, we collect folksonomy images and categorize them using text features and image features. And then, we compare its retrieval accuracy with that of existing systems.