• 제목/요약/키워드: Few-Shot

검색결과 74건 처리시간 0.029초

프롬프트 기반 퓨샷 러닝을 통한 한국어 대화형 텍스트 기반 이미지 생성 (Image Generation from Korean Dialogue Text via Prompt-based Few-shot Learning)

  • 이은찬;안상태
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.447-451
    • /
    • 2022
  • 본 논문에서는 사용자가 대화 텍스트 방식의 입력을 주었을 때 이를 키워드 중심으로 변환하여 이미지를 생성해내는 방식을 제안한다. 대화 텍스트란 채팅 등에서 주로 사용하는 형식의 구어체를 말하며 이러한 텍스트 형식은 텍스트 기반 이미지 생성 모델이 적절한 아웃풋 이미지를 생성하기 어렵게 만든다. 이를 해결하기 위해 대화 텍스트를 키워드 중심 텍스트로 바꾸어 텍스트 기반 이미지 생성 모델의 입력으로 변환하는 과정이 이미지 생성의 질을 높이는 좋은 방안이 될 수 있는데 이러한 태스크에 적합한 학습 데이터는 충분하지 않다. 본 논문에서는 이러한 문제를 다루기 위한 하나의 방안으로 사전학습된 초대형 언어모델인 KoGPT 모델을 활용하며, 퓨샷 러닝을 통해 적은 양의 직접 제작한 데이터만을 학습시켜 대화 텍스트 기반의 이미지 생성을 구현하는 방법을 제안한다.

  • PDF

자연어 생성 모델을 이용한 준지도 학습 기반 한국어 사실 확인 자료 구축 (Semi-Supervised Data Augmentation Method for Korean Fact Verification Using Generative Language Models)

  • 정재환;전동현;김선훈;강인호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.105-111
    • /
    • 2021
  • 한국어 사실 확인 과제는 학습 자료의 부재로 인해 연구에 어려움을 겪고 있다. 본 논문은 수작업으로 구성된 학습 자료를 토대로 자연어 생성 모델을 이용하여 한국어 사실 확인 자료를 구축하는 방법을 제안한다. 본 연구는 임의의 근거를 기반으로 하는 주장을 생성하는 방법 (E2C)과 임의의 주장을 기반으로 근거를 생성하는 방법 (C2E)을 모두 실험해보았다. 이때 기존 학습 자료에 위 두 학습 자료를 각각 추가하여 학습한 사실 확인 분류기가 기존의 학습 자료나 영문 사실 확인 자료 FEVER를 국문으로 기계 번역한 학습 자료를 토대로 구성된 분류기보다 평가 자료에 대해 높은 성능을 기록하였다. 또한, C2E 방법의 경우 수작업으로 구성된 자료 없이 기존의 자연어 추론 과제 자료와 HyperCLOVA Few Shot 예제만으로도 높은 성능을 기록하여, 비지도 학습 방식으로 사실 확인 자료를 구축할 수 있는 가능성 역시 확인하였다.

  • PDF

Large Pre-trained Language Model의 P-tuning을 이용한 질의 정규화 (Query Normalization Using P-tuning of Large Pre-trained Language Model)

  • 서수빈;인수교;박진성;남경민;김현욱;문기윤;황원요;김경덕;강인호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.396-401
    • /
    • 2021
  • 초거대 언어모델를 활용한 퓨샷(few shot) 학습법은 여러 자연어 처리 문제에서 좋은 성능을 보였다. 하지만 데이터를 활용한 추가 학습으로 문제를 추론하는 것이 아니라, 이산적인 공간에서 퓨샷 구성을 통해 문제를 정의하는 방식은 성능 향상에 한계가 존재한다. 이를 해결하기 위해 초거대 언어모델의 모수 전체가 아닌 일부를 추가 학습하거나 다른 신경망을 덧붙여 연속적인 공간에서 추론하는 P-tuning과 같은 데이터 기반 추가 학습 방법들이 등장하였다. 본 논문에서는 문맥에 따른 질의 정규화 문제를 대화형 음성 검색 서비스에 맞게 직접 정의하였고, 초거대 언어모델을 P-tuning으로 추가 학습한 경우 퓨샷 학습법 대비 정확도가 상승함을 보였다.

  • PDF

대형 언어 모델의 한국어 Text-to-SQL 변환 능력 평가 (Evaluation of Large Language Models' Korean-Text to SQL Capability)

  • 최주영;민경구;심묘섭;정해민;박민준;최정규
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.171-176
    • /
    • 2023
  • 최근 등장한 대규모 데이터로 사전학습된 자연어 생성 모델들은 대화 능력 및 코드 생성 태스크등에서 인상적인 성능을 보여주고 있어, 본 논문에서는 대형 언어 모델 (LLM)의 한국어 질문을 SQL 쿼리 (Text-to-SQL) 변환하는 성능을 평가하고자 한다. 먼저, 영어 Text-to-SQL 벤치마크 데이터셋을 활용하여 영어 질의문을 한국어 질의문으로 번역하여 한국어 Text-to-SQL 데이터셋으로 만들었다. 대형 생성형 모델 (GPT-3 davinci, GPT-3 turbo) 의 few-shot 세팅에서 성능 평가를 진행하며, fine-tuning 없이도 대형 언어 모델들의 경쟁력있는 한국어 Text-to-SQL 변환 성능을 확인한다. 또한, 에러 분석을 수행하여 한국어 문장을 데이터베이스 쿼리문으로 변환하는 과정에서 발생하는 다양한 문제와 프롬프트 기법을 활용한 가능한 해결책을 제시한다.

  • PDF

TV 드라마의 장르와 영상표현기법의 상관성 (A Study on the Correlationship Between Genre and Image Expression Technique of TV Drama)

  • 박덕춘
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2009년도 춘계 종합학술대회 논문집
    • /
    • pp.263-267
    • /
    • 2009
  • 방송에서 TV 드라마의 비중과 영향력이 커지면서, TV 드라마에 대한 많은 연구들이 이루어지기 시작하였다. 그러나 이들 연구들은 시청률에 영향을 주는 시청동기, 수용행태 등에 관한 수용자 연구와 드라마 서사구조의 사회적 의미를 분석한 것들이 대부분이었다. 본 연구에서는 텔레비전 편성에서 뿐만 아니라 산업적 가치 측면에서도 그 비중이 커지고 있는 텔레비전 드라마의 내용상의 장르와 영상제작기법의 상관성을 분석해보고자 한다. 이를 위하여 TNS 미디어 코리아에서 제시한 2004년부터 2008년까지의 연간 '시청률 톱 100' 자료를 바탕으로, 이 기간 동안 방송된 역사드라마, 멜로드라마, 홈드라마 중 가장 시청률이 높은 드라마를 각 장르별로 5편씩 추출하여 이들의 영상제작기법을 비교 분석하였다. 분석결과 역사드라마에서는 클로즈업과 롱샷 그리고 트래킹을 홈드라마나 멜로드라마에 비해 상대적으로 많이 사용하였으며, 샷의 지속시간은 짧음 반면 장면의 지속시간은 긴 것으로 나타났다. 반면 홈 드라마와 멜로드라마에서는 웨이스트샷을 상대적으로 많이 사용하였으며, 샷의 지속시간은 긴 반면, 장면의 지속시간은 상대적으로 짧게 나타났다.

  • PDF

커쉬함수를 이용한 효율적인 비디오 클립 정합 알고리즘 (An Efficient Video Clip Matching Algorithm Using the Cauchy Function)

  • 김상현
    • 융합신호처리학회논문지
    • /
    • 제5권4호
    • /
    • pp.294-300
    • /
    • 2004
  • 디지털 미디어의 증가로 비디오 클립을 효율적으로 정합하기 위한 다양한 알고리즘이 제안되었다. 기존의 비디오 검색 알고리즘에서는 주로 프레임 단위의 질의에 관한 검색 알고리즘이 연구되었으나 비디오 클립 단위의 질의에 관한 정합 알고리즘 연구는 미진하였다. 본 논문에서는 비디오 클립 질의에 관한 효율적인 비디오 색인과 검색 알고리즘을 제안한다. 시퀀스 정합의 정확도와 성능 향상을 위하여 연속되는 프레임의 히스토그램간의 유사도 함수로 커쉬함수를 사용하였으며 기존의 방법에 비해 높은 성능을 나타내었다. 비디오 샷들로부터 추출된 키프레임들은 샷묶음 뿐만 아니라 비디오 시퀀스 정합이나 브라우징에도 사용되며 여기서 키프레임은 이전 프레임들과 중요한 차이를 보이는 프레임을 나타낸다. 실험 영상을 이용한 실험결과 제안한 방법은 기존의 방법에 비해 적은 계산량으로 높은 정합 성능을 보였다.

  • PDF

원격지정을 위한 RTP 페이로드 형식 (The RTP Payload Format for Telepointing)

  • 전재우;백희숙;오삼권;임기욱
    • 정보처리학회논문지A
    • /
    • 제9A권1호
    • /
    • pp.29-36
    • /
    • 2002
  • CSCW 시스템은 효율적인 공동작업의 인지를 위해 원격지정(telepoinging), 스냅샷(snap shot), 문서/프로젝트의 작업상황파악 등과 같은 기능들을 제공한다. 이 중 원격지정은 지역 시스템의 공유윈도우에서 원격지정자(telepointer)를 통해 발생한 이벤트를 원격지 시스템의 공유윈도우에 동기적으로 표현하는 기법이다. 이 기법에 대한 응용사례는 여러 문헌에서 찾아볼 수 있으나 이에 대한 기능 요구사항이나 프로토콜에 관한 연구는 미흡한 실정이다. 본 논문은 RTP(Real-Time Transport Protocol) 기반의 원격지정을 위한 기능요구사항과 페이로드 형식을 정의한다. 제안된 RTP 기반 텔리포인팅의 성능평가를 위해 화이트 보드를 구현하고 이를 Microsoft Netmeeting의 화이트 보드와 비교하였다. 성능평가 결과, CPU 사용량과 네트워크 사용량에서 제안된 원격지정방식이 더 높은 성능을 보였다.

Denoise of Astronomical Images with Deep Learning

  • Park, Youngjun;Choi, Yun-Young;Moon, Yong-Jae;Park, Eunsu;Lim, Beomdu;Kim, Taeyoung
    • 천문학회보
    • /
    • 제44권1호
    • /
    • pp.54.2-54.2
    • /
    • 2019
  • Removing noise which occurs inevitably when taking image data has been a big concern. There is a way to raise signal-to-noise ratio and it is regarded as the only way, image stacking. Image stacking is averaging or just adding all pixel values of multiple pictures taken of a specific area. Its performance and reliability are unquestioned, but its weaknesses are also evident. Object with fast proper motion can be vanished, and most of all, it takes too long time. So if we can handle single shot image well and achieve similar performance, we can overcome those weaknesses. Recent developments in deep learning have enabled things that were not possible with former algorithm-based programming. One of the things is generating data with more information from data with less information. As a part of that, we reproduced stacked image from single shot image using a kind of deep learning, conditional generative adversarial network (cGAN). r-band camcol2 south data were used from SDSS Stripe 82 data. From all fields, image data which is stacked with only 22 individual images and, as a pair of stacked image, single pass data which were included in all stacked image were used. All used fields are cut in $128{\times}128$ pixel size, so total number of image is 17930. 14234 pairs of all images were used for training cGAN and 3696 pairs were used for verify the result. As a result, RMS error of pixel values between generated data from the best condition and target data were $7.67{\times}10^{-4}$ compared to original input data, $1.24{\times}10^{-3}$. We also applied to a few test galaxy images and generated images were similar to stacked images qualitatively compared to other de-noising methods. In addition, with photometry, The number count of stacked-cGAN matched sources is larger than that of single pass-stacked one, especially for fainter objects. Also, magnitude completeness became better in fainter objects. With this work, it is possible to observe reliably 1 magnitude fainter object.

  • PDF

Performance Analysis of the First Korean Satellite Laser Ranging System

  • Choi, Man-Soo;Lim, Hyung-Chul;Choi, Eun-Jung;Park, Eunseo;Yu, Sung-Yeol;Bang, Seong-Cheol;Kim, Tae-Keun;Kim, Young-Rok;Kim, Dong-Jin;Seong, Kipyung;Ka, Neung-Hyun;Choi, Cer-Hee;Hwang, Joo-Yeon;Kucharski, Daniel;Han, In-Woo;Nah, Jakyoung;Jang, Jung-Guen;Jang, Bi-Ho;Lee, Sang-Jung
    • Journal of Astronomy and Space Sciences
    • /
    • 제31권3호
    • /
    • pp.225-233
    • /
    • 2014
  • The first Korean satellite laser ranging (SLR) system, Daedeok SLR station (DAEK station) was developed by Korea Astronomy and Space Science Institute (KASI) in 2012, whose main objectives are space geodesy researches. In consequence, Korea became the $25^{th}$ country that operates SLR system supplementing the international laser tracking network. The DAEK station is designed to be capable of 2 kHz laser ranging with precision of a few mm both in daytime and nighttime observation of satellites with laser retro-reflector array (LRA) up to the altitude of 25,000 km. In this study, characteristics and specifications of DAEK station are investigated and its data quality is evaluated and compared with International Laser Ranging Service (ILRS) stations in terms of single-shot ranging precision. The analysis results demonstrated that the DAEK station shows good ranging performance to a few mm precision. Currently, the DAEK station is under normal operations at KASI headquarters, however, it will be moved to Sejong city in 2014 to function as a fundamental station for space geodesy researches in combination with other space geodesy systems (GNSS, VLBI, DORIS, etc.).

한국어 반어 표현 탐지기 (Korean Ironic Expression Detector)

  • 방승주;박요한;김지은;이공주
    • 정보처리학회 논문지
    • /
    • 제13권3호
    • /
    • pp.148-155
    • /
    • 2024
  • 자연어 처리 분야에서 반어 및 비꼼 탐지의 중요성이 커지고 있음에도 불구하고, 한국어에 관한 연구는 다른 언어들에 비해 상대적으로 많이 부족한 편이다. 본 연구는 한국어 텍스트에서의 반어 탐지를 위해 다양한 모델을 실험하는 것을 목적으로 한다. 본 연구는 BERT기반 모델인 KoBERT와 ChatGPT를 사용하여 반어 탐지 실험을 수행하였다. KoBERT의 경우, 감성 데이터를 추가 학습하는 두 가지 방법(전이 학습, 멀티태스크 학습)을 적용하였다. 또한 ChatGPT의 경우, Few-Shot Learning기법을 적용하여 프롬프트에 입력되는 예시 문장의 개수를 증가시켜 실험하였다. 실험을 수행한 결과, 감성 데이터를 추가학습한 전이 학습 모델과 멀티태스크 학습 모델이 감성 데이터를 추가 학습하지 않은 기본 모델보다 우수한 성능을 보였다. 한편, ChatGPT는 KoBERT에 비해 현저히 낮은 성능을 나타내었으며, 입력 예시 문장의 개수를 증가시켜도 뚜렷한 성능 향상이 이루어지지 않았다. 종합적으로, 본 연구는 KoBERT를 기반으로 한 모델이 ChatGPT보다 반어 탐지에 더 적합하다는 결론을 도출했으며, 감성 데이터의 추가학습이 반어 탐지 성능 향상에 기여할 수 있는 가능성을 제시하였다.