• 제목/요약/키워드: LLM-based KoBERT

검색결과 2건 처리시간 0.016초

Federated Learning and LLM-based Social Media Comment Classification System Using Crowdsourcing Techniques

  • Jungho Kang
    • International Journal of Computer Science & Network Security
    • /
    • 제24권10호
    • /
    • pp.25-31
    • /
    • 2024
  • Currently, on social media, malicious comments have emerged as a serious issue. Existing artificial intelligence-based comment classification systems have limitations due to data bias and overfitting. To address this, this study proposed a novel comment classification system that combines crowdsourcing and federated learning. This system collects data from various users and utilizes a large language model like KoBERT through federated learning to classify comments accurately while protecting user privacy. It is expected to provide higher accuracy than existing methods and improve significantly the efficiency of detecting malicious comments. The proposed system can be applied to social media platforms and online communities.

사용자 감정 인식과 공감적 대화 생성: ChatGPT와 소형 언어 모델 비교 (Empathetic Dialogue Generation based on User Emotion Recognition: A Comparison between ChatGPT and SLM)

  • 허승훈;이정민;조민수;권오욱;황금하
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.570-573
    • /
    • 2024
  • 본 연구는 대형 언어 모델 (LLM) 시대에 공감적 대화 생성을 위한 감정 인식의 필요성을 확인하고 소형 언어 모델 (SLM)을 통한 미세 조정 학습이 고비용 LLM, 특히 ChatGPT의 대안이 될 수 있는지를 탐구한다. 이를 위해 KoBERT 미세 조정 모델과 ChatGPT를 사용하여 사용자 감정을 인식하고, Polyglot-Ko 미세 조정 모델 및 ChatGPT를 활용하여 공감적 응답을 생성하는 비교 실험을 진행하였다. 실험 결과, KoBERT 기반의 감정 분류기는 ChatGPT의 zero-shot 접근 방식보다 뛰어난 성능을 보였으며, 정확한 감정 분류가 공감적 대화의 질을 개선하는 데 기여함을 확인하였다. 이는 공감적 대화 생성을 위해 감정 인식이 여전히 필요하며, SLM의 미세 조정이 고비용 LLM의 실용적 대체 수단이 될 수 있음을 시사한다.