• 제목/요약/키워드: 언어 모델 경량화

검색결과 13건 처리시간 0.016초

한국어 언어모델 파인튜닝을 통한 협찬 블로그 텍스트 생성 (Generating Sponsored Blog Texts through Fine-Tuning of Korean LLMs)

  • 김보경;변재연;차경애
    • 한국산업정보학회논문지
    • /
    • 제29권3호
    • /
    • pp.1-12
    • /
    • 2024
  • 본 논문에서는 대규모 한국어 언어모델인 KoAlpaca를 파인튜닝하고 이를 이용한 블로그 텍스트 생성 시스템을 구현하였다. 소셜 미디어 플랫폼의 블로그는 기업 마케팅 수단으로 널리 활용된다. 수집된 협찬 블로그 텍스트의 감정 분석과 정제를 통한 긍정 리뷰의 학습 데이터를 구축하고 KoAlpaca 학습의 경량화를 위한 QLoRA를 적용하였다. QLoRA는 학습에 필요한 메모리 사용량을 크게 줄이는 파인튜닝 접근법으로 파라미터 크기 12.8B 경우의 실험 환경에서 LoRA 대비 최대 약 58.8%의 메모리 사용량 감소를 확인하였다. 파인튜닝 모델의 생성 성능 평가를 위해서 학습 데이터에 포함되지 않은 100개의 입력으로 생성한 텍스트는 사전학습 모델에 비해서 평균적으로 두배 이상의 단어 수를 생성하였으며 긍정 감정의 텍스트 역시 두 배 이상으로 나타났다. 정성적 생성 성능 평가를 위한 설문조사에서 파인튜닝 모델의 생성 결과가 제시된 주제에 더 잘 부합한다는 응답이 평균 77.5%로 나타났다. 이를 통해서 본 논문의 협찬물에 대한 긍정 리뷰 생성 언어모델은 콘텐츠 제작을 위한 시간 관리의 효율성을 높이고 일관된 마케팅 효과를 보장하는 콘텐츠 제작이 가능함을 보였다. 향후 사전학습 모델의 생성 요소에 의해서 긍정 리뷰의 범주에서 벗어나는 생성 결과를 감소시키기 위해서 학습 데이터의 증강을 활용한 파인튜닝을 진행할 예정이다.

IFC 기반 웹 가시화를 위한 데이터 구조 설계 (IFC-based Data Structure Design for Web Visualization)

  • 이대진;최원익
    • 정보과학회 논문지
    • /
    • 제44권3호
    • /
    • pp.332-337
    • /
    • 2017
  • IFC 국제표준 규격은 EXPRESS 언어기반의 STEP 스키마 구조로 기술되어 있으므로 BIM 협업에 참여하는 주체자들이 BIM 모델링 형상정보를 공유하는데 접근성이 용이하지 않음을 확인할 수 있었다. IFC 내에 정의된 BIM 모델링 형상정보를 검토하기 위해서는 데스크탑 PC에 IFC 뷰어 어플리케이션을 설치하여 STEP 구조를 파싱하고 3D 가시화를 위한 형상구성 처리를 해야 하기 때문이다. 따라서 IFC 정보모델을 파싱하여 완전한 3D 모델링 형태의 정보구조로 변환하여 web 클라이언트에서 가시화가 용이하도록 경량화 데이터 구조로 설계하였으며, 실험결과 약 40%의 감량효과가 나타났으며, PC에서 스마트폰에 이르기까지 WebGL을 지원하는 모든 web browser에서 동일한 품질의 3D 렌더링 결과를 확인할 수 있었다. 시공 프로세스가 끝난 후 완성된 IFC 데이터를 기반으로 web 표준에 관한 응용연구를 진행한다면 일반 건축물의 유지관리에서 실내공간 위치기반 서비스에 이르는 여러 분야에 활용이 가능할 것이다.

임베디드 시스템의 재사용 프레임워크에 대한 정형명세 (A Formal Specification of Reusable Framework of Embedded System)

  • 조은숙;김철진;송치양
    • 정보처리학회논문지D
    • /
    • 제17D권6호
    • /
    • pp.431-442
    • /
    • 2010
  • 임베디드 시스템은 하드웨어와 소프트웨어 요소들이 서로 결합된 시스템이기 때문에 설계 시 실시간성(Real-time), 반응성(Reactive), 소규모(Small Size), 경량화(Low Weight), 안전성(Safe), 신뢰성(Reliable), 견고성(Harsh Environment), 저비용(Low Cost) 등의 요소들을 고려하여 설계해야 한다. 그러나 현재 임베디드 시스템 개발에 이러한 요소들을 반영한 설계 기법들이 미비하게 제시되어 있다. 특히 임베디드 시스템 개발에 있어서 프레임워크를 기반으로 임베디드 시스템을 개발하는 형태가 거의 이뤄지고 있지 않다. 이로 인해 현재 개발되어 있는 임베디드 시스템들의 내부 코드들을 살펴보면 시스템 작동과 전혀 상관이 없는 코드들이 무수하게 잔재하고 있으며, 임베디드 시스템 개발에 있어서 재사용성이나 가변성에 대한 고려가 미흡한 실정이다. 따라서 본 연구에서는 임베디드 시스템의 재사용성을 향상시키기 위해 제안했던 재사용 프레임워크 설계에 대한 완전성이나 일관성을 보장하기 위해 Z를 이용하여 프레임워크 설계에 대한 정형 명세 기법을 제시하고자 한다. 또한 Z 언어를 통해 명세한 결과를 Z-Eves Tool을 통해 Z 모델 체킹을 수행하여 프레임워크 설계의 명확성을 보이고자 한다.