• 제목/요약/키워드: 교정 데이터

검색결과 263건 처리시간 0.024초

자기 학습 방법을 이용한 음성 대화 시스템의 슬롯 교정 (Self-learning Method Based Slot Correction for Spoken Dialog System)

  • 최태균;김민경;이인재;이지은;박규연;김경덕;강인호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.353-360
    • /
    • 2021
  • 음성 대화 시스템에서는 사용자가 잘못된 슬롯명을 말하거나 음성인식 오류가 발생해 사용자의 의도에 맞지 않는 응답을 하는 경우가 있다. 이러한 문제를 해결하고자 말뭉치나 사전 데이터를 활용한 질의 교정 방법들이 제안되지만, 이는 지속적으로 사람이 개입하여 데이터를 주입해야하는 한계가 있다. 본 논문에서는 축적된 로그 데이터를 활용하여 사람의 개입 없이 음악 재생에 필요한 슬롯을 교정하는 자기 학습(Self-learning) 기반의 모델을 제안한다. 이 모델은 사용자가 특정 음악을 재생하고자 유사한 질의를 반복하는 상황을 이용하여 비지도 학습 기반으로 학습하고 음악 재생에 실패한 슬롯을 교정한다. 그리고, 학습한 모델 결과의 정확도에 대한 불확실성을 해소하기 위해 질의 슬롯 관계 유사도 모델을 이용하여 교정 결과에 대한 검증을 하고 슬롯 교정 결과에 대한 안정성을 보장한다. 모델 학습을 위한 데이터셋은 사용자가 연속으로 질의한 세션 데이터로부터 추출하며, 음악 재생 슬롯 세션 데이터와 질의 슬롯 관계 유사도 데이터를 각각 구축하여 슬롯 교정 모델과 질의 슬롯 관계 유사도 모델을 학습한다. 교정된 슬롯을 분석한 결과 발음 정보가 유사한 슬롯 뿐만 아니라 의미적인 관계가 있는 슬롯으로도 교정하여 사전 기반 방식보다 다양한 유형의 교정이 가능한 것을 보였다. 3 개월 간 수집된 로그 데이터로 학습한 음악 재생 슬롯 교정 모델은 일주일 동안 반복한 고유 질의 기준, 음악 재생 실패의 12%를 개선하는 성능을 보였다.

  • PDF

SNS 채팅 데이터에 적응적인 Self-Attention 기반 문맥의존 철자오류 교정 시스템 (Adaptive Context-Sensitive Spelling Error Correction System Based on Self-Attention for Social Network Service Chatting Data)

  • 최혜원;장대식;손동철;이승욱;고영중
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.362-367
    • /
    • 2019
  • 본 논문에서는 Self-Attention을 활용한 딥러닝 기반 문맥의존 철자오류 교정 모델을 제안한다. 문맥의존 철자오류 교정은 최근 철자오류 교정 분야에서 활발히 연구되고 있는 문제 중 하나이다. 기존에는 규칙 기반, 확률 기반, 임베딩을 활용한 철자오류 교정이 연구되었으나, 아직 양질의 교정을 수행해내기에는 많은 문제점이 있다. 따라서 본 논문에서는 기존 교정 모델들의 단점을 보완하기 위해 Self-Attention을 활용한 문맥의존 철자오류 교정 모델을 제안한다. 제안 모델은 Self-Attention을 활용하여 기존의 임베딩 정보에 문맥 의존적 정보가 반영된 더 나은 임베딩을 생성하는 역할을 한다. 전체 문장의 정보가 반영된 새로운 임베딩을 활용하여 동적으로 타겟 단어와의 관련 단어들을 찾아 문맥의존 철자 오류교정을 시행한다. 본 논문에서는 성능평가를 위해 세종 말뭉치를 평가 데이터로 이용하여 제안 모델을 실험하였고, 비정형화된 구어체(Kakao Talk) 말뭉치로도 평가 데이터를 구축해 실험한 결과 비교 모델보다 높은 정확율과 재현율의 성능향상을 보였다.

  • PDF

비접촉식 수위계를 위한 이동형 교정시스템 개발 (Development of Portable Calibration System for Non-Contact Water Meters)

  • 홍성택;신강욱
    • 한국정보통신학회논문지
    • /
    • 제20권9호
    • /
    • pp.1808-1815
    • /
    • 2016
  • 댐 및 하천의 안정적인 운영은 국민의 생명 및 재산과 직결되는 상황으로 수문관측 데이터 신뢰성 확보는 안전재난 대비에 필수 요소이며, 과학적이고 신뢰성 있는 수자원 관리를 위하여 수위 데이터에 대한 실시간 자료 확보와 신뢰성 있는 데이터가 필요하나, 현재 운영되고 있는 댐이나 하천 상하류의 수위계는 신뢰성 확보를 위하여 현장에서 검교정이나 보정 등이 쉽지 않은 실정이다. K-water연구원에서는 유량계, 우량계, 수위계에 대한 국제공인 교정기관으로 운영중에 있으며, 우량계는 표준교정실 및 현장교정시스템을 이용하여 표준실 및 현장교정을 하고 있으나, 수위계는 표준교정실에서 실내 교정만 수행하고, 현장교정은 현장교정 절차서 및 시스템의 부재로 현장 교정을 하지 못하는 실정이다. 따라서, 수위계를 현장에서 교정할 수 있는 표준교정절차서 및 시스템을 개발하여, 수문관측 데이터의 신뢰성을 향상시키고자 한다.

Denoising Transformer기반 한국어 맞춤법 교정기 (Korean Spell Correction based on Denoising Transformer)

  • 박찬준;정솔;양기수;이수미;조재춘;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.368-372
    • /
    • 2019
  • 맞춤법 교정이란 주어진 문장에서 나타나는 철자 및 맞춤법 오류들을 올바르게 교정하는 것을 뜻하며 맞춤법 교정 시스템이란 컴퓨터가 이를 자동으로 수행하는 것을 의미한다. 본 논문에서는 맞춤법 교정을 기계번역의 관점으로 바라보고 문제를 해결하였다. 소스문장에 맞춤법 오류문장, 타겟 문장에 올바른 문장을 넣어 학습시키는 방법을 제안한다. 본 논문에서는 단일 말뭉치로 한국어 맞춤법 병렬 말뭉치를 구성하는 방법을 제안하며 G2P(Grapheme to Phoneme)를 이용한 오류 데이터 생성, 자모 단위 철자 오류데이터 생성, 통번역 데이터 기반 오류 데이터 생성 크게 3가지 방법론을 이용하여 맞춤법 오류데이터를 생성하는 방법론을 제안한다. 실험결과 GLEU 점수 65.98의 성능을 보였으며 44.68, 39.55의 성능을 보인 상용화 시스템보다 우수한 성능을 보였다.

  • PDF

부자식 수위계 이동형 교정시스템 개발 (Development of Float Water Level Meter Portable Calibration System)

  • 홍성택;김일한;최종웅;신강욱
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 추계학술대회
    • /
    • pp.411-414
    • /
    • 2016
  • 장마 및 태풍, 집중호우 등 다량의 강우발생시 댐 및 하천의 수위 관측은 국민의 생명 및 재산과 직접 연관되는 상황으로 안전재난 대비를 위해서는 안정적인 실시간 수위 데이터 확보와 신뢰성 있는 데이터는 과학적이고 신뢰성 있는 수자원 관리를 위한 필요충분 요소이다. 그러나 현재 운영되고 있는 댐이나 하천 상하류의 수위계는 신뢰성 확보를 위하여 현장에서 검정 및 교정이나 보정 등이 쉽지 않은 실정이다. K-water연구원에서는 길이분야인 수위계에 대한 국제공인 교정기관으로 운영중에 있으며, 현장에서 부자식 수위계를 교정할 수 있는 시스템 및 절차서의 부재로 표준교정실에서만 교정을 실시하였다. 따라서 본 연구에서는 기준자와 카메라를 이용하여 부자식 수위계를 현장에서 교정할 수 있도록 이동형 교정시스템 및 표준교정 절차서를 개발하였으며, 수위 데이터의 신뢰성 있는 자료 확보와 일관성 있는 자료관리가 가능하도록 하였다.

  • PDF

웹에 기반한 선량교정 프로그램 개발

  • 신동오;서원섭;박성용;김성훈;지영훈;김근배;이창건;강진오;홍성언
    • 한국의학물리학회:학술대회논문집
    • /
    • 한국의학물리학회 2003년도 제27회 추계학술대회
    • /
    • pp.66-66
    • /
    • 2003
  • 목적 : 선량측정의 정확성을 향상시키기 위하여 물 흡수선량 표준에 토대를 두고 있는 표준측정법, AAPM TG-51과 IAEA TRS-398, 이 발표되어 선량측정의 파라다임이 변화하고 있다. 본 연구에서는 이들 대표적인 표준측정법에 대하여 사용자 편의성을 고려하여 웹에 기반한 선량교정 프로그램을 개발하고자 한다. 대상 및 방법 : 미국의학물리학회 AAPM TG-51과 국제원자력기구 IAEA TRS-398 표준측정법에 선량교정 프로그램은 Microsoft IIS 6.0 웹서버와 .NET 플렛폼상에서 Visual Studio. NET 도구를 사용하여 개발하였다. 개발언어로는 C# 언어를 사용하였고 각 표준측정법에 대한 선량교정 작업서는 ASP. NET 페이지로 작성하였다. 웹페이지와 산량 교정 모듈을 분리하여서 개발 후 유지보수가 쉽게 설계하였다. 또한 기준점에서의 선량 계상에 사용하는 모든 물리적인 파라미터와 데이터는 데이터베이스에 저장하였다. 이로써 향후 수식체계의 변화 또는 물리적인 데이터의 변화로 인한 프로그램 수정이 최소화하도록 하였다. 결과 : 이들 표준측정법은 모두 물 흡수선량 교정인수에 토대를 두고 있으나 측정 조건 및 물리적인 자료 에 있어 약간의 차이를 보이고 있다. 그러므로 각 표준측정법간의 유사점 및 차이점을 비교 분석하기가 용이하였다. 그리고 개발된 프로그램을 이용하여 표준측정법에서 제시된 선량교정 작업서에 따라 선량 교정을 수행한 교정 결과 데이터를 XML 파일 형식으로 저장하여 이전의 측정 자료를 관리할 수 있게 하였다. 이 과거 측정 자료를 사용하여 출력 선량 교정의 변화 및 기타 중요한 물리적인 데이터 값의 변화를 분석할 수 있다. 결론 : 두 표준측정법에 대한 선량교정 프로그램은 사용자가 선호하는 표준측정법을 선택할 수 있고, 웹에 토대를 두고 있어 프로그램으로 전국 방사선종양학과의 방사선치료기기의 출력 및 물리적인 변화에 대한 자료를 비교 분석하기 용이하고 수작업으로 인해 발생할 수 있는 실수 및 오차를 줄일 수 있다. 또한 개발된 프로그램의 활용을 통하여 국내 실정에 적합한 물 흡수선량 표준에 기반한 표준측정법 개발에 토대를 마련하는데 있어 기여할 것으로 사료된다.

  • PDF

방사선 측정기 교정 데이터의 자동처리를 위한 전산프로그램 개발 (Development of a Computation Program for Automatic Processing of Calibration Data of Radiation Instrument)

  • 장지운;신희성;윤청;이윤희;김호동;정기정
    • 비파괴검사학회지
    • /
    • 제26권4호
    • /
    • pp.246-254
    • /
    • 2006
  • 방사선 측정분야에서 사용되는 감마 서베이미터의 교정데이터 자동처리를 위한 전산 프로그램을 개발하였다. 전산 프로그램은 Visual Basic을 기반으로 개발되었으며, 교정과정에 따라 단계별로 윈도우를 제작하고 코드화하였다. 교정 데이터의 자동처리를 위해 Microsoft Excel 프로그램을 제어하여 미리 자동 연산된 엑셀 셀 내에 데이터가 입력되도록 하였다. 개발프로그램 성능평가의 일환으로 검증된 데이터와 프로그램에서 출력된 데이터를 비교한 결과, 교정인자 산출 및 불확도 평가에서 동일한 결과가 나왔다. 또한, 개발프로그램을 교정업무에 적용시킨 결과, 업무의 효율성 및 정확성은 증가하였다.

메신저 맞춤법 교정 병렬 말뭉치의 구축과 쟁점 (Construction of a Parallel Corpus for Instant Messenger Spelling Correction and Related Issues)

  • 황은하;안진산;남길임
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.545-550
    • /
    • 2022
  • 본 연구의 목적은 2021년 메신저 언어 200만 어절을 대상으로 수행된 맞춤법 교정 병렬 말뭉치의 설계와 구축의 쟁점을 소개하고, 교정 말뭉치의 주요 교정 및 주석 내용을 기술함으로써 맞춤법 교정 병렬 말뭉치의 특성을 분석하는 것이다. 2021년 맞춤법 교정 병렬 말뭉치의 주요 목표는 메신저 언어의 특수성을 살림과 동시에 형태소 분석이나 기계 번역 등 한국어 처리 도구가 분석할 수 있는 수준으로 교정하는 다소 상충되는 목적을 구현하는 것이었는데, 이는 교정의 수준과 병렬의 단위 설정 등 상당한 쟁점을 내포한다. 본 연구에서는 말뭉치 구축 시점에서 미처 논의하지 못한 교정 수준의 쟁점과 교정 전후의 통계적 특성을 함께 논의하고자 하며, 다음과 같은 몇 가지 하위 내용을 중심으로 논의하고자 한다.첫째, 맞춤법 교정 병렬 말뭉치의 구조 설계와 구축 절차에 대한 논의로, 2022년 초 국내 최초로 공개된 한국어 맞춤법 교정 병렬 말뭉치('모두의 말뭉치'의 일부)의 구축 과정에서 논의되어 온 말뭉치 구조 설계와 구축 절차를 논의한다. 둘째, 문장 단위로 정렬된 맞춤법 교정 말뭉치에서 관찰 가능한 띄어쓰기, 미등재어, 부호형 이모티콘 등의 메신저 언어의 몇 가지 특성을 살펴본다. 마지막으로, 2021년 메신저 맞춤법 교정 말뭉치의 구축 단계에서 미처 논의되지 못한 남은 문제들을 각각 데이터 구조 설계와 구축 차원의 주요 쟁점을 중심으로 논의한다. 특히 메신저 맞춤법 병렬 말뭉치의 주요 목표인 사전학습 언어모델의 학습데이터로서의 가치와 메신저 언어 연구의 기반 자료 구축의 관점에서 맞춤법 교정 병렬 말뭉치 구축의 의의와 향후 과제를 논의하고자 한다.

  • PDF

한국어 문법 오류 교정 모델을 위한 문장 단위 디노이징 학습법 (Sentence Unit De-noising Training Method for Korean Grammar Error Correction Model)

  • 김훈래;김윤수;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.507-511
    • /
    • 2022
  • 문법 교정 모델은 입력된 텍스트에 존재하는 문법 오류를 탐지하여 이를 문법적으로 옳게 고치는 작업을 수행하며, 학습자에게 더 나은 학습 경험을 제공하기 위해 높은 정확도와 재현율을 필요로 한다. 이를 위해 최근 연구에서는 문단 단위 사전 학습을 완료한 모델을 맞춤법 교정 데이터셋으로 미세 조정하여 사용한다. 하지만 본 연구에서는 기존 사전 학습 방법이 문법 교정에 적합하지 않다고 판단하여 문단 단위 데이터셋을 문장 단위로 나눈 뒤 각 문장에 G2P 노이즈와 편집거리 기반 노이즈를 추가한 데이터셋을 제작하였다. 그리고 문단 단위 사전 학습한 모델에 해당 데이터셋으로 문장 단위 디노이징 사전 학습을 추가했고, 그 결과 성능이 향상되었다. 노이즈 없이 문장 단위로 분할된 데이터셋을 사용하여 디노이징 사전 학습한 모델을 통해 문장 단위 분할의 효과를 검증하고자 했고, 디노이징 사전 학습하지 않은 기존 모델보다 성능이 향상되는 것을 확인하였다. 또한 둘 중 하나의 노이즈만을 사용하여 디노이징 사전 학습한 두 모델의 성능이 큰 차이를 보이지 않는 것을 통해 인공적인 무작위 편집거리 노이즈만을 사용한 모델이 언어학적 지식이 필요한 G2P 노이즈만을 사용한 모델에 필적하는 성능을 보일 수 있다는 것을 확인할 수 있었다.

  • PDF

효율적 계측기기 교정검사 관리를 위한 프로그램 구현 (Program Implementation for Efficient Calibration Management of Measuring Instruments)

  • 노수성;이칠기
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 춘계학술발표대회
    • /
    • pp.727-730
    • /
    • 2005
  • 계측기기의 사용업체들은 기기 관리부분 및 교정검사 주기가 상이한 계측기기 교정검사 관리부분의 어려움으로 인하여 교정검사 유효기간을 지나치는 경우가 많았으며, 국가교정검사 기관은 각 계측기기의 측정 데이터 결과 형식이 달라 교정검사 후 발행하는 성적서의 작성 및 발행 하는데 어려움이 많았다. 또한 계측기기 사용업체와 교정검사기관 모두 관리 프로그램과 교정검사 성적서 관리 프로그램을 별도로 사용하였다. 이러한 계측기기 및 성적서 관리를 하나의 시스템으로 쉽게 통합관리 할 수 있도록 구성 하였으며, 각각의 상이한 계측기기 주기 정보를 데이터베이스화 하여 주기별, 측정기기별, 업체별 검색 및 자동 팝업창으로 상태를 알려주게 하였고, 계측기기별 상이한 형식의 측정 데이터는 부서별, 유형별로 데이터베이스화 하여 응용프로그램과 연동될 수 있도록 구현 하였다. 계측기기 관리 및 교정검사 관리 부문에 있어서 사용 대상에 따라 GUI 환경으로 구현된 프로그램으로서 기본설정을 통하여 교정대상업체 및 교정검사기관 모두 하나의 통합된 프로그램으로 사용 및 관리를 할 수 있다.

  • PDF