• 제목/요약/키워드: 정보 단위

검색결과 5,279건 처리시간 0.03초

한국어 문법 오류 교정 모델을 위한 문장 단위 디노이징 학습법 (Sentence Unit De-noising Training Method for Korean Grammar Error Correction Model)

  • 김훈래;김윤수;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.507-511
    • /
    • 2022
  • 문법 교정 모델은 입력된 텍스트에 존재하는 문법 오류를 탐지하여 이를 문법적으로 옳게 고치는 작업을 수행하며, 학습자에게 더 나은 학습 경험을 제공하기 위해 높은 정확도와 재현율을 필요로 한다. 이를 위해 최근 연구에서는 문단 단위 사전 학습을 완료한 모델을 맞춤법 교정 데이터셋으로 미세 조정하여 사용한다. 하지만 본 연구에서는 기존 사전 학습 방법이 문법 교정에 적합하지 않다고 판단하여 문단 단위 데이터셋을 문장 단위로 나눈 뒤 각 문장에 G2P 노이즈와 편집거리 기반 노이즈를 추가한 데이터셋을 제작하였다. 그리고 문단 단위 사전 학습한 모델에 해당 데이터셋으로 문장 단위 디노이징 사전 학습을 추가했고, 그 결과 성능이 향상되었다. 노이즈 없이 문장 단위로 분할된 데이터셋을 사용하여 디노이징 사전 학습한 모델을 통해 문장 단위 분할의 효과를 검증하고자 했고, 디노이징 사전 학습하지 않은 기존 모델보다 성능이 향상되는 것을 확인하였다. 또한 둘 중 하나의 노이즈만을 사용하여 디노이징 사전 학습한 두 모델의 성능이 큰 차이를 보이지 않는 것을 통해 인공적인 무작위 편집거리 노이즈만을 사용한 모델이 언어학적 지식이 필요한 G2P 노이즈만을 사용한 모델에 필적하는 성능을 보일 수 있다는 것을 확인할 수 있었다.

  • PDF

서울시 도시침수 예측시스템 개발 (Development of Urban Inundation Forecasting System in Seoul)

  • 심재범;김호성;김광훈;이병주
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2020년도 학술발표회
    • /
    • pp.341-341
    • /
    • 2020
  • 서울시는 '10년, '11년, '18년의 기록적인 호우로 인해 막대한 재산피해를 기록하였다. 이로 인해 서울시는 수재해 최소화 대책의 필요성을 인지하여 방재시설물 확충 등의 구조적 대책과 함께 침수지역 예측, 호우 영향 예보와 관련된 비구조적 대책 수립을 위해 노력하고 있다. 그 일환으로 '18년에 『서울시 강한 비구름 유입경로 및 침수위험도 예측 용역』을 수행하였으며 이를 통해 레이더 기반의 비구름 이동경로 추정 기술, 침수시나리오 기반의 침수위험지역 추정기술 등을 적용한 서울시 도시침수 예측시스템을 개발하였다. 그러나 침수피해에 선제적으로 대응하기 위해서는 실시간으로 예측강우정보를 생산하고 이를 통해 침수위험지역을 추정하는 기술이 필요하다. 이에 본 연구를 통해 예측강우정보 생산 기술 적용, 예측강우정보를 이용한 실시간 침수위험지역 추정 기술 개발을 수행하여 서울시 도시침수 예측시스템을 고도화하였다. 예측강우정보의 경우 현재 기상청에서 광역 단위 호우특보 및 읍면동 단위 동네예보를 통해 제공되고 있지만, 풍수해 업무에 적용하기에는 제한적이며, 실시간 침수위험지역 추정의 경우 침수해석모델의 모의시간, 라이센스 등의 문제로 인해 한계를 보이고 있는 실정이다. 따라서 본 연구에서는 레이더 실황강우정보를 활용한 이류모델 기반의 예측강우정보 생산 기술을 적용하여 풍수해 업무 적용이 용이하도록 하였으며, 예측강우정보를 이용한 최적 침수시나리오 추정 기술 개발을 통해 실시간 침수위험지역 추정이 가능하도록 하였다. 서울시 도시침수 예측시스템은 25개 자치구를 대상으로 강우량, 호우이동경로, 침수 정보를 제공하고 있다. 강우정보는 기상청 및 SK-TechX 기반의 10분 및 1시간 단위 AWS 관측정보, 이류모델 기반 10분 단위 레이더 예측정보, 국지예보모델 기반 1시간 단위 LDAPS 예측정보를 제공하며. 호우이동경로는 레이더 실황강우정보와 LDAPS 바람장을 이용하여 서울시 및 수도권 지역의 10분 단위 1시간 예측경로를 제공한다. 침수정보는 실시간으로 레이더 예측강우정보를 이용하여 최적의 침수시나리오를 추정하여 격자 단위 상세 침수정보와 시군구 단위 침수위험지도를 제공한다. 본 시스템을 통해 실시간 침수위험지역 확인이 가능해짐에 따라 서울시의 효율적인 풍수해 업무 지원이 가능할 것으로 판단된다.

  • PDF

언어자료 검색을 위한 계층구조형 형태소 분석 프로그램 (The Layered Structural Tagging Program for Seaching)

  • 강용희
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2001년도 제13회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.89-96
    • /
    • 2001
  • 1999년 제1회 형태소 분석기 및 품사태거 평가 워크숍 이후 표준안에 대한 새로운 대안이나 문제제기등을 제시한 논문은 전무하다. 본 연구에서는 평가대회 참가 이후 표준안을 수정한 새로운 유형의 형태소 분석 프로그램을 제작하여 그 실용성과 앞으로의 발전 가능성과 문제점을 밝혀, 계층구조형의 형태소분석 시스템을 채택하고 있는 일본의 JUMAN을 참조 새로운 유형의 형태소 분석형식을 제시한다. 본 연구는 일본방송협회 방송기술연구소(이하 NHK기술 연구소)의 의뢰에 인한 것이며 어절단위의 표준안과 다른 형태소 단위를 기본요소로 삼고 있으며 활용형을 갖고 있는 용언에 대해서는 활용형의 전개를 하고 있다. 어절단위로 탈피한 이유는 형태소 분석의 기본요소로써 어절단위 보다는 형태소 단위를 기준으로 삼는 것이 생산성이 높다고 생각된다. 어절정보와 문장정보는 XML(extensible makrup language)등의 별도의 정보를 주는 방법을 채택했다. 음절말음이 자음인지 모음인지의 음운 정보에 따라 활용형을 차별했으며 표준안과 달리 명사의 종류와 개념을 세분화했다. 아울러 조사와 어미등의 검색어와 함께 음절을 형성하고 있는 비검색어 대상은 배제하는 프로그램과 표준안의 어절방식으로 출력하는 3가지 프로그램을 작성했다. 본 연구에서는 계층구조의 형태소분석 프로그램의 가능성과 한국어의 특성을 고려한 출력항목등을 고찰하는 것을 목적으로 한다.

  • PDF

영-한 조어단위 대역쌍 추출을 위한 조어단위 정렬 모델 (An Alignment Model for Extracting English-Korean Translations of Term Constituents)

  • 오종훈;황금하;최기선
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제32권4호
    • /
    • pp.300-311
    • /
    • 2005
  • 전문용어는 전문분야의 개념을 표현하는 언어적 표현이다. 전문용어의 조어단위는 전문용어를 구성하는 최소의 형태적 단위이다. 따라서 조어단위는 전문용어의 의미를 파악하는데 중요한 요소이다. 하지만 조어단위를 이용한 전문용어의 의미파악은 ‘조어단위와 개념단위의 불일치 문제’, 조어 단위의 ‘동형이의어’, ‘동의어’문제 둥으로 인한 어려움이 있다. 이러한 문제를 해결하기 위해서는 하나의 개념을 나타내는 조어단위의 덩어리인 개념단위를 파악하는 작업이 선행되어야 한다. 본 논문에서는 영어의 조어단위를 하나의 개념단위로 정의하고 개념단위에 대응되는 한국어 조어단위의 집합을 개념단위로 인식한다. 개념단위의 파악과정은 영한 대역 전문용어사전에 대한 영어-한국어 조어단위 정렬문제로 해결하고자 한다. 본 논문의 기법은 물리, 화학, 생물 분야에 대한 조어정렬 실험을 수행하였으며, 평균 약 $93\%$의 정확률로 조어단위 간의 정렬을 수행하였다

음절단위 bigram정보를 이용한 한국어 단어인식모델 (A Statistical Model for Korean Text Segmentation Using Syllable-Level Bigrams)

  • 신중호;박혁로
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1997년도 제9회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.255-260
    • /
    • 1997
  • 일반적으로 한국어는 띄어쓰기 단위인 어절이 형태소 분석의 입력 단위로 쓰이고 있다. 그러나 실제 영역(real domain)에서 사용되는 텍스트에서는 띄어쓰기 오류와 같은 비문법적인 형태도 빈번히 쓰이고 있다. 따라서 형태소 분석 과정에 선행하여 적합한 형태소 분석의 단위를 인식하는 과정이 이루어져야 한다. 본 연구에서는 한국어의 음절 특성을 이용한 형태소분석을 위한 어절 인식 방법을 제안한다. 제안하는 방법은 사전에 기반하지 않고 원형코퍼스(raw corpus)로부터의 필요한 음절 정보 및 어휘정보를 추출하는 방법을 취하므로 오류가 포함된 문장에 대하여 견고한 분석이 가능하고 많은 시간과 노력이 요구되는 사전구축 및 관리 작업을 필요로 하지 않는다는 장점이 있다. 한국어 어절 인식을 위하여 본 논문에서는 세가지 확률 모텔과 동적 프로그래밍에 기반한 인식 알고리즘을 제안한다. 제안하는 모델들을 띄어쓰기 오류문제와 한국어 복합명사 분석 문제에 적용하여 실험한 결과 82-85%정도의 인식 정확도를 보였다.

  • PDF

PCS 정보단말기에서 효과적인 윈도우 관리를 위한 방법 (A method for efficient window management in PCS)

  • 최희석;염근혁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (3)
    • /
    • pp.697-699
    • /
    • 1999
  • GUI 환경에서 작업에 필요한 여러 윈도우를 작은 화면에 동시에 나타내기 위하여 많은 윈도우 시스템이 오버래핑 윈도우 관리 전략을 채택하고 있다. 하지만 개별 윈도우를 독립적으로 다룸으로써 작업전환시 개별 윈도우 단위의 정렬을 하여야 하는 등의 불필요한 작업을 수행하게 된다. 특히 본 연구의 목표 기종인 PCS 정보단말기는 320*240 크기의 소형 디스플레이 장치를 가지고 있기 때문에, 가시적인 작업 단위의 윈도우 그룹에 대한 빈번한 변경을 다루는데 부적합하다. 따라서 본 논문에서는 작업 단위로 윈도우를 그룹화하는 방식으로 윈도우를 관리함으로써 보다 효율적으로 작업 전환을 수행하는 방법을 제안하고, 성능 평가를 통하여 제시된 방법의 효율성을 보여준다.

  • PDF

고성능 PCM 스토리지를 위한 디스크 캐싱 기법의 설계와 구현 (Design and Implementation of Disk Caching Scheme for High Performance PCM Storage)

  • 정학수;유준희;신현식
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
    • /
    • pp.322-324
    • /
    • 2012
  • PCM은 바이트 단위 읽고 쓰기가 가능한 비휘발성 메모리로서 차세대 스토리지로 주목받고 있다. 기존의 디스크 캐싱 기법은 하드 디스크나 SSD와 같이 섹터 단위로 엑세스하는 장치를 위하여 페이지 단위의 캐싱을 하고 있다. 하지만, 바이트 단위 접근이 가능한 고성능 PCM의 특성을 활용하기 위해서는 PCM 스토리지를 위한 효율적인 단위의 디스크 캐싱 기법이 필요하다. 본 논문에서는 페이지 단위가 아닌 128바이트 단위 I/O요청을 위한 캐싱 방법을 제안하며, 이를 기반으로 몇 가지 워크로드에 대하여 실험을 진행하여 I/O 요청의 크기와 개수 변화를 추정한다. 실험 결과를 바탕으로 제안한 기법이 PCM 스토리지에서 더 적합함을 보인다.

반음절 단위 HMM을 이용한 연속 숫자 음성인식 (Continuous Digits Speech Recognition using Semisyllable Unit HMM)

  • 윤재선;홍광석
    • 한국음향학회지
    • /
    • 제17권5호
    • /
    • pp.73-78
    • /
    • 1998
  • 본 논문에서는 조음 효과에 대처할 수 있는 새로운 음성인식 단위로 반음절, 반음절 +반음절 단위 HMM을 제안하여 연속 숫자 음성인식을 하였다. 반음절 단위는 무음과 안정 구간으로, 반음절+반음절 단위는 안정, 천이, 안정구간으로 구성되어 있고, 음성인식 단위 분 할시 비교적 스펙트럼의 변화가 안정한 모음구간에서 분할하므로 분할 위치가 약간 변하여 도 인식성능에는 큰 영향을 주지 않게 된다. 또한, 제안된 반음절, 반음절+반음절 인식단위 는 그 패턴 안에 다음 숫자열의 정보를 포함하고 있기 때문에 모든 HMM 패턴들과 비교하 는 것이 아니라, 다음 숫자열의 정보를 포함한 HMM 패턴들과 비교한다. 인식실험결과 제 안된 방법이 효율적임을 확인하였다.

  • PDF

품사 분포와 Bidirectional LSTM CRFs를 이용한 음절 단위 형태소 분석기 (Syllable-based Korean POS Tagging using POS Distribution and Bidirectional LSTM CRFs)

  • 김혜민;윤정민;안재현;배경만;고영중
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
    • /
    • pp.3-8
    • /
    • 2016
  • 형태소 분석기는 많은 자연어 처리 영역에서 필수적인 언어 도구로 활용되기 때문에 형태소에 대한 품사를 결정하는 것은 매우 중요하다. 최근 음절 기반으로 형태소의 품사를 태깅하는 방법에 대한 연구들이 많이 진행되고 있다. 음절 단위 형태소 분석은 음절 단위로 분리된 형태소에 대해서 기계학습을 이용하여 분리된 음절 단위로 품사를 태깅하는 단계를 가진다. 본 논문에서는 기존의 CRF를 이용한 음절 단위 품사 태깅 방법을 개선하기 위해 bi-LSTM-CRFs를 이용한 방법을 제안한다. 또한, bi-LSTM-CRFs의 입력을 음절의 품사 분포 벡터를 이용해 확장함으로써 음절 단위 품사 태깅의 성능을 향상 시켰다.

  • PDF

단어 임베딩을 이용한 단위성 의존명사 분별 (Disambiguation of Counting Unit Noun using Word Embedding)

  • 이주상;옥철영
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
    • /
    • pp.246-248
    • /
    • 2016
  • 단위성 의존명사는 수나 분량 따위를 나타내는 의존명사로 혼자 사용할 수 없으며 수사나 수관형사와 함께 사용하는 의존명사이다. 단위성 의존명사가 2가지 이상인 동형이의어의 경우 기존의 인접 어절을 이용한 동형이의어 분별 모델에서는 동형이의어 분별에 어려움이 있다. 본 논문에서는 단위성 의존명사 분별을 위해 단어 임베딩을 사용했으며 총 115,767개의 단어를 벡터로 표현하였으며 분별할 의존명사 주변에 등장한 명사들과의 유사도를 계산하여 단위성 의존명사를 분별하였다. 단어 임베딩을 이용한 단위성 의존명사 분별이 효과가 있음을 보았다.

  • PDF