• 제목/요약/키워드: 조정모델

검색결과 1,230건 처리시간 0.034초

저성능 자원에서 멀티 에이전트 운영을 위한 의도 분류 모델 경량화 (Compressing intent classification model for multi-agent in low-resource devices)

  • 윤용선;강진범
    • 지능정보연구
    • /
    • 제28권3호
    • /
    • pp.45-55
    • /
    • 2022
  • 최근 자연어 처리 분야에서 대규모 사전학습 언어모델(Large-scale pretrained language model, LPLM)이 발전함에 따라 이를 미세조정(Fine-tuning)한 의도 분류 모델의 성능도 개선되었다. 하지만 실시간 응답을 요하는 대화 시스템에서 대규모 모델을 미세조정하는 방법은 많은 운영 비용을 필요로 한다. 이를 해결하기 위해 본 연구는 저성능 자원에서도 멀티에이전트 운영이 가능한 의도 분류 모델 경량화 방법을 제안한다. 제안 방법은 경량화된 문장 인코더를 학습하는 과제 독립적(Task-agnostic) 단계와 경량화된 문장 인코더에 어답터(Adapter)를 부착하여 의도 분류 모델을 학습하는 과제 특화적(Task-specific) 단계로 구성된다. 다양한 도메인의 의도 분류 데이터셋으로 진행한 실험을 통해 제안 방법의 효과성을 입증하였다.

확산모델의 미세조정을 통한 웹툰 생성연구 (A Study on the Generation of Webtoons through Fine-Tuning of Diffusion Models)

  • 유경호;김형주;김정인;전찬준;김판구
    • 스마트미디어저널
    • /
    • 제12권7호
    • /
    • pp.76-83
    • /
    • 2023
  • 본 연구에서는 웹툰 작가의 웹툰 제작 과정을 보조하기 위해 사전학습된 Text-to-Image 모델을 미세조정하여 텍스트에서 웹툰을 생성하는 방법을 제안한다. 제안하는 방법은 웹툰 화풍으로 변환된 웹툰 데이터셋을 사용하여 사전학습된 Stable Diffusion 모델에 LoRA 기법을 활용하여 미세조정한다. 실험 결과 3만 스텝의 학습으로 약 4시간 반이 소요되어 빠르게 학습하는 것을 확인하였으며, 생성된 이미지에서는 입력한 텍스트에 표현된 형상이나 배경이 반영되어 웹툰 이미지가 생성되는 것을 확인하였다. 또한, Inception score를 통해 정량적인 평가를 수행하였을 때, DCGAN 기반의 Text-to-Image 모델보다 더 높은 성능을 나타냈다. 본 연구에서 제안된 웹툰 생성을 위한 Text-to-Image 모델을 웹툰 작가가 사용한다면, 웹툰 저작에 시간을 단축시킬 수 있을 것으로 기대된다.

Enhancing LoRA Fine-tuning Performance Using Curriculum Learning

  • Daegeon Kim;Namgyu Kim
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권3호
    • /
    • pp.43-54
    • /
    • 2024
  • 최근 언어모델을 활용하기 위한 연구가 활발히 이루어지며, 큰 규모의 언어모델이 다양한 과제에서 혁신적인 성과를 달성하고 있다. 하지만 실제 현장은 거대 언어모델 활용에 필요한 자원과 비용이 한정적이라는 한계를 접하면서, 최근에는 주어진 자원 내에서 모델을 효과적으로 활용할 수 있는 방법에 주목하고 있다. 대표적으로 학습 데이터를 난이도에 따라 구분한 뒤 순차적으로 학습하는 방법론인 커리큘럼 러닝이 주목받고 있지만, 난이도를 측정하는 방법이 복잡하거나 범용적이지 않다는 한계를 지닌다. 따라서, 본 연구에서는 신뢰할 수 있는 사전 정보를 통해 데이터의 학습 난이도를 측정하고, 이를 다양한 과제에 쉽게 활용할 수 있는 데이터 이질성 기반 커리큘럼 러닝 방법론을 제안한다. 제안방법론의 성능 평가를 위해 국가 R&D 과제 전문 문서 중 정보통신 분야 전문 문서 5,000건, 보건의료전문 문서 데이터 4,917건을 적용하여 실험을 수행한 결과, 제안 방법론이 LoRA 미세조정과 전체 미세조정 모두에서 전통적인 미세조정에 비해 분류 정확도 측면에서 우수한 성능을 나타냄을 확인했다.

Boussinesq 방정식 기반 인터렉티브 추적자 이동 모형 개발 (Development of interactive tracer transport model coupled with Boussinesq equations)

  • 황순철;손상영
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2020년도 학술발표회
    • /
    • pp.89-89
    • /
    • 2020
  • 본 연구에서는 GPU 가속화 기반의 Boussinesq 모형인 Celeris Advecnt에 수심 적분된 2차원 이송-확산방정식을 추가하여 인터렉티브 시스템 기반의 추적자 이동 모형을 개발하였다. Celeris Advent는 최초로 개발된 인터렉티브 시스템을 갖춘 Boussinesq 모형으로, 시뮬레이션 중에 사용자가 모형의 파라미터뿐 아니라 모델 도메인 내 수위 및 수심을 바꿀 수 있다. 이를 통해 사용자는 모의가 진행되는 도중에 모델의 안정성 및 효율성을 위해 시간 간격을 조정할 수 있을 뿐 아니라 방파제 설치 등과 같은 지형 변화를 고려하기 위해 도메인 내 격자별 수심을 조정할 수 있다. 본 연구에서는 연안에서의 추적자 이동 모의를 위해 Boussinesq 방정식과 더불어 이송-확산방정식을 풀이하는 추적자 이동 모형을 개발하였다. 추적자의 확산항의 경우 분자 자체의 확산과 더불어 쇄파에 따른 난류 확산을 고려하였다. 난류 확산계수는 슈미트 수를 1로 두어 와동점성계수와 동일하게 두었으며, 와동점성은 단순화된 형태의 쇄파모형을 고려하여 계산하였다. 쇄파모형의 고려로 인해 이송-확산방정식과 더불어 운동량 방정식에서도 쇄파에 따른 운동량 소산이 고려되었다. 마지막으로, 추적자 농도에 대한 인터렉티브 시스템을 추가하여, 모델 구동 중에도 사용자가 수심적분된 추적자 농도를 조정할 수 있도록 하였다. 기수행된 2개의 수리실험 조건과 관측값을 이용하여 벤치마크 테스트를 수행하였으며, 관측값과 대체로 일치하는 것을 확인하였다.

  • PDF

구조물의 비선형 거동해석을 위한 지진시간이력의 기준선 조정

  • 신태명;이규만;김인용
    • 한국원자력학회:학술대회논문집
    • /
    • 한국원자력학회 1996년도 춘계학술발표회논문집(4)
    • /
    • pp.241-246
    • /
    • 1996
  • 지진시 미끄럼 등과 같이 전형적인 비선형거동을 하는 구조물에 대한 동적해석을 수행하는 경우 먼저 입력지진의 가속도 시간이력에 대한 기준선 조정이 필요할 때가 있다. 인공적으로 작성된 지진기록의 경우 때로 가속도 시간이력을 적분하여 속도 및 변위 시간이력을 얻었을 때 증가하는 형태로 나타나 이로 인하여 비선형응답이 비정상적으로 커질 수 있기 때문이다. 본 논문에서는 바닥이 마찰거동을 하는 구조물에 대해 간단히 모델하여 이러한 예를 보였으며 또한 주로 사용되는 기준선 조정방법들의 응답영향을 비교하였다. 그 결과 입력지진의 기준선 조정을 하지 않는 것이 항상 보수적인 결과만을 보여 주지 않는다는 점과 기준선 조정의 방범에도 표준화가 필요하다는 점을 파악할 수 있었다.

  • PDF

거대언어모델에 대한 원자력 안전조치 용어 적용 가능성 평가 (A Training Feasibility Evaluation of Nuclear Safeguards Terms for the Large Language Model (LLM))

  • 윤성호
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2024년도 제69차 동계학술대회논문집 32권1호
    • /
    • pp.479-480
    • /
    • 2024
  • 본 논문에서는 원자력 안전조치 용어를 미세조정(fine tuning) 알고리즘을 활용해 추가 학습한 공개 거대 언어모델(Large Language Model, LLM)이 안전조치 관련 질문에 대해 답변한 결과를 정성적으로 평가하였다. 평가 결과, 학습 데이터 범위 내 질문에 대해 학습 모델은 기반 모델 답변에 추가 학습 데이터를 활용한 낮은 수준의 추론을 수행한 답변을 출력하였다. 평가 결과를 통해 추가 학습 개선 방향을 도출하였으며 저비용 전문 분야 언어 모델 구축에 활용할 수 있을 것으로 보인다.

  • PDF

Rational Function Model 기반 KOMPSAT-3A 스트립 번들조정 (Bundle Adjustment of KOMPSAT-3A Strip Based on Rational Function Model)

  • 윤완상;김태정
    • 대한원격탐사학회지
    • /
    • 제34권3호
    • /
    • pp.565-578
    • /
    • 2018
  • 본 연구에서는 번들조정 과정에서 요구되는 GCP의 수를 줄이기 위해 동일궤도 상의 개별 영상 대신 스트립을 스트립을 모델링 할 수 있는 가능성을 조사한다. 이를 위해 먼저 동일 궤도상에 존재하는 각 개별영상의 RFM(Rational function model)으로부터 스트립에 대한 RFM을 생성하였다. 다음으로, 생성된 스트립 이미지 간의 번들 조정을 통해 모델 보정계수를 산출하였다. 실험을 위해 각 3개의 Scene 영상으로 구성된 KOMPSAT-3A 스테레오 스트립을 사용하였다. 실험을 통해 스트립의 특정지역에 위치한 기준점만을 사용하여 초기모델 개선이 가능함을 확인하였다. 또한 12개의 지상기준점을 사용한 스트립 번들조정 수행 결과 수평 수직 방향으로 약 2 m의 3차원 위치 결정이 가능함을 확인하였다. 이를 통해 단일 영상 기반 번들조정보다 스트립 번들조정이 더 효율적일 수 있음을 확인하였다.

Block Modeling에 의한 SPOT DEM의 접합선 제거 (Seam-line Removal in DEM Mosaicking by Use of Block Modelling)

  • 강준묵;최선용;신대식
    • 한국측량학회:학술대회논문집
    • /
    • 한국측량학회 2002년도 창립 20주년기념 국제학술대회
    • /
    • pp.187-194
    • /
    • 2002
  • 본 논문에서는 SPOT 입체영상을 이용하여 광범위한 지역의 DEM을 제작할 경우 DEM 모자이크 과정에서 발생할 수 있는 접합선(seam-line)을 최소화할 수 있는 방법을 연구하였다. 지상의 60km$\times$60km 영역을 촬영할 수 있는 SPOT 위성의 입체 영상으로부터 구성한 단일 모델은 일반적으로 관심 있는 지역의 DEM을 제작하기에 충분히 넓은 지역을 포함할 수 있다. 그러나 광범위한 지역의 DEM 제작을 위해서는, 각각의 입체영상을 통해 제작된 DEM들을 접합해야 하며, 이 때 발생되는 접합선을 효과적으로 제거하는 작업이 필요하다. 이를 위해 SPOT 위성영상의 블록 조정 방법을 이용하여 종횡접합모델을 구성하고 중복되는 인접한 SPOT DEM간의 표고값을 일치시키므로써 DEM 접합선의 발생을 최소화하여 모자이크시 작업량을 줄이고자 한다. 본 논문에서는 기존의 지상기준점과 추가로 관측한 영상접합점을 이용하여 종횡접합 블록을 구성하고 광속조정 방법을 적용하여 블록에 포함된 위성영상의 외부표정요소를 계산하였다. 블록모델을 이용하여 DEM을 제작할 경우 접합선 탐색 및 blending 작업 없이 단순중첩 방법으로도 DEM 모자이크 작업을 빠르게 수행할 수 있음을 확인하였다.

  • PDF

3차원 객체 복원을 위한 SIFT 특징점 가중치 기반 반복적 점군 정합 방법 (SIFT Weighting Based Iterative Closest Points Method in 3D Object Reconstruction)

  • 신동원;호요성
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2016년도 하계학술대회
    • /
    • pp.309-312
    • /
    • 2016
  • 최근 실세계에 존재하는 물체의 3차원 형상과 색상을 디지털화하는 3차원 객체 복원에 대한 관심이 날로 증가하고 있다. 3차원 객체 복원은 영상 획득, 영상 보정, 점군 획득, 반복적 점군 정합, 무리 조정, 3차원 모델 표현과 같은 단계를 거처 통합된 3차원 모델을 생성한다. 그 중 반복적 점군 정합 방법은 카메라 궤적의 초기 값을 획득하는 방법으로서 무리 조정 단계에서 전역 최적 값으로의 수렴을 보장하기 위해 중요한 단계이다. 기존의 반복적 점군 정합 (iterative closest points) 방법에서는 시간이 지남에 따라 누적된 궤적 오차 때문에 발생하는 객체 표류 문제가 발생한다. 본 논문에서는 이 문제를 해결하기 위해 색상 영상에서 SIFT 특징점을 획득하고 3차원 점군을 얻은 뒤 가중치를 부여함으로써 점 군 간의 더 정확한 정합을 수행한다. 실험결과에서 기존의 방법과 비교하여 제안하는 방법이 절대 궤적 오차 (absolute trajectory error)가 감소하는 것을 확인 했고 복원된 3차원 모델에서 객체 표류 현상이 줄어드는 것을 확인했다.

  • PDF

에이전트 기반의 통합 IDS 시스템 (A IDS System of Agent Based)

  • 이상훈;송상훈;노용덕
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2001년도 추계학술발표논문집 (하)
    • /
    • pp.969-972
    • /
    • 2001
  • 컴퓨터망의 확대 및 컴퓨터 이용의 증가에 따른 부작용으로 컴퓨터 보안 문제가 중요하게 대두되고 있다. 이에 따라 침입자들로부터 침입을 줄이기 위한 침입탐지 시스템에 관한 연구가 활발히 논의 되고 있다. 본 논문에서 IDS 모델들의 소개와 새로운 IDS의 모델을 제시하고 단위 침입 행동별로 학습된 모니터링 프로세서에서 전송되는 사용자 위협 메시지에 대한 처리를 담당하는 조정자 에이전트 시스템을 설계하고자 한다. 본 논문에 제안된 조정자는 안정화된 메시지 처리 문제 뿐 아니라 기존 모델의 에이전트간 협력 작업에 의해 처리되었던 침입판단 기능 및 모니터링 프로세서들의 관리 기능 또한 수행하도록 한다. 그리고 시스템의 유연성 및 확장성 향상을 하도록 하였다.

  • PDF