• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.448-453
• /
• 2023

대규모 언어 모델 (Large Language Model, LLM)을 인간의 선호도 관점에서 평가하는 것은 기존의 벤치마크 평가와는 다른 도전적인 과제이다. 이를 위해, 기존 연구들은 강력한 LLM을 평가자로 사용하여 접근하였지만, 높은 비용 문제가 부각되었다. 또한, 평가자로서 LLM이 사용하는 주관적인 점수 기준은 모호하여 평가 결과의 신뢰성을 저해하며, 단일 모델에 의한 평가 결과는 편향될 가능성이 있다. 본 논문에서는 엄격한 기준을 활용하여 편향되지 않은 평가를 수행할 수 있는 평가 프레임워크 및 평가자 모델 'FubaoLM'을 제안한다. 우리의 평가 프레임워크는 심층적인 평가 기준을 통해 다수의 강력한 한국어 LLM을 활용하여 연쇄적 사고(Chain-of-Thought) 기반 평가를 수행한다. 이러한 평가 결과를 다수결로 통합하여 편향되지 않은 평가 결과를 도출하며, 지시 조정 (instruction tuning)을 통해 FubaoLM은 다수의 LLM으로 부터 평가 지식을 증류받는다. 더 나아가 본 논문에서는 전문가 기반 평가 데이터셋을 구축하여 FubaoLM 효과성을 입증한다. 우리의 실험에서 앙상블된 FubaoLM은 GPT-3.5 대비 16% 에서 23% 향상된 절대 평가 성능을 가지며, 이항 평가에서 인간과 유사한 선호도 평가 결과를 도출한다. 이를 통해 FubaoLM은 비교적 적은 비용으로도 높은 신뢰성을 유지하며, 편향되지 않은 평가를 수행할 수 있음을 보인다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2000년도 추계학술발표논문집 (하)
• /
• pp.1397-1400
• /
• 2000

본 논문은 감리 정보 시스템을 개발하여 실제 감리 활동에 적용한 결과, 개발된 소프트웨어에 대한 평가 및 분석 정보를 다음과 같이 할 수 있다. 소프트웨어 평가 정보는 감리 평가의 체크 항목 및 기준 점수와 주요 항목별 긴급 개선, 통상 개선, 권고사항 등의 정보를 제공할 수 있기 때문에 시스템 관련 관리자, 개발자, 감리자에게 고품질의 신뢰성 있는 소프트웨어 개발에 기여하였으며, 소프트웨어 분석 정보는 감리 평가 항목별로 다양한 이력 정보를 제공할 수 있기 때문에 향후 소프트웨어 감리 평가 및 개발의 전략 수립에 활용할 수 있다.

• 한국벤처창업학회:학술대회논문집
• /
• 한국벤처창업학회 2020년도 추계학술대회
• /
• pp.127-130
• /
• 2020

금융시장 환경이 점차 변화하고 있다. 흔히 지점이라 불리는 오프라인 환경에서 애플리케이션을 이용하거나 웹페이지를 이용하는 온라인 비대면 환경으로 이동함에 따라 기존의 정형 정보를 중심으로 한 소비자 행동 예측 방법보다 더 나은 방법을 모색하기 이르렀다. 이에 따라 주관적 비정형 정보의 중요하게 된 것이다. 본 연구는 비대면 대출시장에서 주관적 비정형 정보의 하나인 SNS 프로필 사진과 대출상환에 영향을 미치는 변인을 파악하는 것을 목표로 한다. SNS 프로필 사진은 자신의 감정이나 상태를 표현하는 도구로 떠오르고 있으며, 이러한 차입자의 SNS 프로필사진을 분석함으로써 정보비대칭의 최소화로, 대출심사를 위한 신용평가에 유의적 요소들을 규명하는데 목적이 있다. 본 연구에서는 대출자들이 차입자에 대한 평가의 중요 고려 요소들을 규명하고 탐색하는데 초점을 맞춰 SNS 대안 신용평가만을 심사기준으로 이용한 대출인 텐스페이스의 AI LOAN 대출자중에서 2020년 2월부터 2020년 2월까지 대출자료를 확보할 예정이다. 이러한 자료 중에서 2020년 12월 30일을 기준으로 상환기일이 도래한 대출상환 자료 중 SNS사진을 순서형 로짓회귀모형을 이용해 분석하고자 한다.

• 한국감성과학회:학술대회논문집
• /
• 한국감성과학회 2003년도 춘계학술대회 논문집
• /
• pp.5-7
• /
• 2003

의류용 섬유제품의 쾌적성을 객관적으로 측정하려는 시도가 계속되고 있지만, 아직 소비자의 미묘한 차이를 검출하는 능력을 재현하기에는 거리가 있어 보인다. 객관적 측정법들은 재현성과 신뢰성 면에서 제각기 자신들의 우수한 성능을 자랑하지만, 검출능력의 민감성은 주관적 평가에 훨씬 못 미치고 있기 때문에 비현실적인 경우가 많다. 본 연구의 목적은 주관적 평가의 신뢰성을 높이고 통계적인 추론이 가능한 보다 진보된 형식의 주관적 평가법을 개발하고 의류용 직물의 촉감평가에 응용하는 것이다. 국내에서 생산되는 여름용 캐쥬얼 웨어를 대상으로 여러 형태의 주관적 평가법을 적용하여 그 촉감을 평가하였다. 평정척도법, 표준 비교법, 순위법, Thurstone일대 비교법, Quad 분석법 등을 순차적으로 적용하여 평가자 판단의 일관성 여부, 평가자간의 일치성 여부, 재현성 및 논리성 여부를 통계적으로 평가한 후 이를 통과한 평가자들을 대상으로 실험을 반복한 후, 직물 촉감과 관련된 물리적 속성들과의 관련성을 고찰하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2011년도 제23회 한글 및 한국어 정보처리 학술대회
• /
• pp.25-29
• /
• 2011

영어 논술 자동 평가 시스템은 수험자가 쓴 에세이에 대하여 전문 평가자가 직접 읽고 평가하는 방식에서 벗어나 웹상에서 자동으로 평가 받을 수 있는 실시간 시스템이다. 하지만 비영어권 수험자에게는 논리력 혹은 작문 능력보다 그것을 영어로 표현하는 유창성에서 더 큰 문제가 있을 수 있는데 기존 연구에서는 이런 측면에 대한 평가가 부족하였다. 본 연구에서는 보다 정확한 비영어권 수험자의 영어 논술 평가를 위해 어휘력, 문장 구조의 다양성, 문장의 혼잡도를 평가하여 언어 유창성에 집중된 기계학습 방법의 추가적인 자질을 제안한다. 실험 결과 전문 평가자의 점수와 1) 상관관계 2) 정확도 측면에서 제안하는 방법은 기존의 방법에 비해 더 나은 성능을 보였다.

• 한국지능시스템학회논문지
• /
• 제13권5호
• /
• pp.552-557
• /
• 2003

인터넷과 정보기술의 발전은 이제까지 큰 연관성을 가지지 못하던 생산업체와 소비자를 연결하는 다양한 접점을 제공하고 있다. 이러한 소비자와의 접점의 확대는 생산업체가 소비자의 요구를 직접적으로 확인하고 상품의 변경이나 개발에 반영할 수 있는 기회를 마련하였지만 생산업체가 소비자의 요구를 받아 생산에 반영시키기 위한 연구는 미흡한 실정이다 본 연구는 제품을 생산하기 위해 다양한 공급자로부터 부품이나 원자재를 공급받아야 하는 구매자의 입장과 공급자의 입장을 동시에 고려한 공급자 평가방법에 관한 것이다. 제품을 구매하는 고객의 요구를 기반으로 평가항목을 구성하여 구매자는 최적의 공급자를 선택할 수 있고 공급자는 경쟁력 강화의 기회를 제공하도록 설계하였다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2010년도 학술발표회
• /
• pp.851-854
• /
• 2010

유역관리는 유역이라는 한정된 범위 내에서 물에 영향을 미치거나 물에 의하여 영향을 받는 모든 인간 활동과 자연현상을 통합적으로 고려하는 것이다. 이러한 관점에서 유역관리는 유역 차원에서 물을 경제적이고 공평하게 관리하고 분배하여 수자원에 대한 장기적이고 지속가능한 해결 방안을 마련하는 것이다. 여기에는 정부, 시민사회 및 기업 행위자가 사회경제적 개발목표와 정책 형성, 집행계획을 수립하는 것으로부터 시작된다. 유역관리를 위한 의사결정들은 행위자들과의 영향으로 수정되며, 이런 과정에서 토지와 수자원에서 분쟁이 발생하며, 수자원 관리자는 자연현상, 물 사용, 재정적, 인적자원 및 외부적인 요인으로 인해 목적을 달성하는데 부합하지 않을 수도 있다. 효과적인 유역관리를 위해서는 제약조건 하에서 수자원 관리자가 의사결정에 정보를 주고 주요 행위자들과 협력을 통해서 이루어 질 수 있다. 본 논문에서는 유역관리를 위한 의사결정을 행위자기반모형(Agent based Model, ABM)으로 이해하고자 하며, ABM은 유역관리의 이해당사자간의 정책과정을 도출하고 다양한 유역관리 대안을 평가하고 유역관리의 영향을 설명하는 모델이다. 본 모형은 관측자료를 통해 상향식 접근법으로 가능한 많은 세부사항을 모의할 수 있다. 분석과정은 자료의 수집, 모델 확립, 모델의 개발, 통계 자료 수집 및 모델의 결과와 실제 시스템의 보충된 관측자료를 비교하는 검증 순으로 진행되며, 본 모델에서의 행위자는 과거의 행동으로부터 주위 환경의 반응하는 패턴을 확인하고 개발하며, 이러한 패턴은 정책들을 구별하기 위해서 이용되며, 이러한 과정에서 강화학습이 이루어진다. 이를 통해 행위자의 익숙한 방식의 합리적인 행동과 정책들의 상관관계를 평가할 수 있으며, 강화학습을 통해 실제적인 통계적인 모델이 가능할 것이다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2009년도 추계학술발표대회
• /
• pp.817-818
• /
• 2009

자가 치유란 시스템에서 발생될 수 있는 에러나 오류를 미리 예상하거나 감지하고 시스템 스스로 치유함으로써 시스템의 오동작을 최소화하는 것을 의미한다. 자가 치유 시스템의 신뢰성을 높이기 위해서는 정확한 테스트 기법이 필요하다. 하지만 기존의 테스트 기법은 성공 또는 실패만으로 나타내기 때문에 정량적인 평가가 불가능하다. 따라서 본 논문에서는 자가 치유 시스템이 달성해야 할 목표를 추출하고 관계에 따라 트리로 작성하여 이를 기반으로 시스템의 자가 치유 기법의 성공률을 정량적 측정하는 기법을 제안한다. 본 기법을 통해 자가 치유 시스템의 치유 결과를 정량적으로 평가 가능하고, 치유 전략에 대한 문제점이 분석 가능하므로 자가 치유 시스템의 신뢰성 향상이 가능하다.

• 한국고분자학회지:고분자과학과기술
• /
• 제6권1호
• /
• pp.28-40
• /
• 1995

• 대한기계학회논문집A
• /
• 제38권9호
• /
• pp.1019-1027
• /
• 2014

차대 보행자 교통사고는 발생빈도에 비하여 사망률이 매우 높은 특징이 있다. 전세계적으로 정부 및 보험사에서는 보행자 보호를 위한 새로운 안전기준을 수립 및 강화하는 추세이다. 보행자 보호 성능을 향상시키기 위하여 한국정부는 2007 년부터 신차안전도평가에서 보행자 안전을 평가하고 있다. 보행자 보호 성능은 점진적으로 향상되었으나 여전히 미흡한 상태이다. 전개형 후드 및 보행자 에어백 등으로 구성되어 있는 보행자 보호 시스템은 보행자 보호를 위한 대안이 될 수 있다. 보행자의 머리상해기준값을 감소시키기 위하여 새롭게 정의된 설계방법론을 바탕으로 보행자 에어백 설계 절차를 제안하였다. 제안된 설계방법론을 실용적인 측면에서 검토하였고 보행자 보호 시스템의 제작에 적용이 가능하다.