Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)

  • 2024.05a
  • /
  • Pages.350-351
  • /
  • 2024
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지

Infrastructure Proposal for the Safe Implementation of Private LLMs in SME: sLLM and Cloud Based Approach

중소기업에서의 안전한 프라이빗 LLM 도입을 위한 인프라 제안: sLLM 과 클라우드 기반으로

  • Jiwon Hong (Dept. of Convergence Security Engineering, Sungshin Women's University) ;
  • Eunseon Ryu (Dept. of Convergence Security Engineering, Sungshin Women's University) ;
  • Jiyoon Baek (Dept. of Convergence Security Engineering, Sungshin Women's University) ;
  • Seoyeong Kim (Dept. of Convergence Security Engineering, Sungshin Women's University) ;
  • Jungjoo Oh (R&DB Foundation, Sungshin Women's University)
  • 홍지원 (성신여자대학교 융합보안공학과) ;
  • 유은선 (성신여자대학교 융합보안공학과) ;
  • 백지윤 (성신여자대학교 융합보안공학과) ;
  • 김서영 (성신여자대학교 융합보안공학과) ;
  • 오정주 (성신여자대학교 연구산학협력단)
  • Published : 2024.05.23
Download PDF
⟨ Previous Next ⟩

Abstract

최근 몇 년 간 대규모 언어 모델의 발전과 보급이 비즈니스 운영 통합을 가속화하고 있다. 그러나 내부 데이터 유출과 같은 문제로 많은 기업들이 보다 안전한 프라이빗 LLM 을 도입하려는 움직임을 보이고 있다. 대기업과 공공기관은 높은 비용을 부담하여 온프레미스 솔루션을 선택할 수 있으나, 중소 기업 혹은 개인에게는 예산과 기술적인 한계가 존재하기 때문에 별도의 인프라가 요구된다. 이에, 본 연구는 클라우드 서비스와 네트워크 망분리를 사용하여 중소기업이 내부 데이터를 안전하게 관리하며 LLM 을 도입할 수 있는 방안을 제시하며, RAG 모델을 통한 기술적 향상 가능성 또한 제시한다.

Keywords

References

  1. 홍국기, "LG CNS 코드 생성형 AI 에 최적화한 LLM 개발", 연합뉴스, 2024.01.31., [Online]. Available: .https://n.news.naver.com/mnews/article/001/0014478102?sid=105
  2. Malallah, Hayfaa Subhi et al, "Performance analysis of enterprise cloud computing: a review", Journal of Applied Science and Technology Trends, Vol. 4, No. 1, pp.1-12, 2023.
  3. 백현철, 손태근, 김민아, 전정남, "망분리와 망연계 시스템의 기술 동향", 항공우주산업기술동향, Vol. 20, No. 2, pp.120-133, 2022.
  4. Lewis, Patrick et al, "Retrieval-augmented generation for knowledge-intensive nlp tasks", 34th Conference on Neural Information Processing Systems (NeurIPS 2020), Vancouver, 2020, pp. 9459-9474.