• 제목/요약/키워드: 주의집중 메커니즘

검색결과 11건 처리시간 0.026초

주의집중 메커니즘 기반의 양방향 GRU-CRF를 이용한 화행 분석과 슬롯 필링 공동 학습 모델 (A Joint Learning Model for Speech-act Analysis and Slot Filling Using Bidirectional GRU-CRF Based on Attention Mechanism)

  • 윤정민;고영중
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.252-255
    • /
    • 2018
  • 화행 분석이란 자연어 발화를 통해 나타나는 화자의 의도를 파악하는 것을 말하며, 슬롯 필링이란 자연어 발화에서 도메인에 맞는 정보를 추출하기 위해 미리 정의되어진 슬롯에 대한 값을 찾는 것을 말한다. 최근 화행 분석과 슬롯 필링 연구는 딥 러닝 기반의 공동 학습을 이용하는 연구가 많이 이루어지고 있고 본 논문에서는 한국어 특허상담 도메인 대화 말뭉치를 이용하여 공동 학습 모델을 구축하고 개별적인 모델과 성능을 비교한다. 또한 추가적으로 공동 학습 모델에 주의집중 메커니즘을 적용하여 성능이 향상됨을 보인다. 최종적으로 주의집중 메커니즘 기반의 공동 학습 모델이 기준 모델과 비교하여 화행 분류와 슬롯 필링 성능이 각각 3.35%p, 0.54%p 향상되어 85.41%, 80.94%의 성능을 얻었다.

  • PDF

한국어 음성인식 후처리를 위한 주의집중 기반의 멀티모달 모델 (Attention based multimodal model for Korean speech recognition post-editing)

  • 정영석;오병두;허탁성;최정명;김유섭
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.145-150
    • /
    • 2020
  • 최근 음성인식 분야에서 신경망 기반의 종단간 모델이 제안되고 있다. 해당 모델들은 음성을 직접 입력받아 전사된 문장을 생성한다. 음성을 직접 입력받는 모델의 특성상 데이터의 품질이 모델의 성능에 많은 영향을 준다. 본 논문에서는 이러한 종단간 모델의 문제점을 해결하고자 음성인식 결과를 후처리하기 위한 멀티모달 기반 모델을 제안한다. 제안 모델은 음성과 전사된 문장을 입력 받는다. 입력된 각각의 데이터는 Encoder를 통해 자질을 추출하고 주의집중 메커니즘을 통해 Decoder로 추출된 정보를 전달한다. Decoder에서는 전달받은 주의집중 메커니즘의 결과를 바탕으로 후처리된 토큰을 생성한다. 본 논문에서는 후처리 모델의 성능을 평가하기 위해 word error rate를 사용했으며, 실험결과 Google cloud speech to text모델에 비해 word error rate가 8% 감소한 것을 확인했다.

  • PDF

직교 정규화를 이용한 신경망 기계 번역에서의 커버리지 모델링 (Coverage Modeling in Neural Machine Translation using Orthogonal Regularization)

  • 이요한;김영길
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.561-566
    • /
    • 2018
  • 최근 신경망 번역 모델에 주의 집중 네트워크가 제안되어 기존의 기계 번역 모델인 규칙 기반 번역 모델, 통계적 번역 모델에 비해 높은 번역 성능을 보이고 있다. 그러나 주의 집중 네트워크가 잘못 모델링되는 경우 과소 번역 현상이 나타난다. 신경망 번역 모델에 커버리지 메커니즘을 추가하여 과소 번역 현상을 완화하는 연구가 진행되었으나 이는 모델의 구조를 변경해야하는 불편함이 있다. 본 논문에서는 신경망 번역 모델의 구조를 변경하지 않고 새로운 손실 함수를 정의하여 과소 번역 현상을 완화하는 방법을 제안한다. 한-영 번역 실험을 통해 제안한 주의 집중 네트워크의 정규화 방법이 커버리지 메커니즘의 목적을 효율적으로 달성함을 보인다.

  • PDF

주의집중 기반의 합성곱 양방향 게이트 순환 유닛을 이용한 코골이 소리 검출 방식 (Snoring sound detection method using attention-based convolutional bidirectional gated recurrent unit)

  • 김민수;이기용;김형국
    • 한국음향학회지
    • /
    • 제40권2호
    • /
    • pp.155-160
    • /
    • 2021
  • 본 논문은 수면 무호흡 환자의 중요한 증상 중의 하나인 코골이 사운드 자동 검출 방식을 제안한다. 제안된 방식에서는 수면 중 발생하는 소리 신호를 입력받아 소리 발생 구간을 검출하고, 검출된 소리 구간으로부터 변환된 스펙트로그램을 주의집중 기반의 합성곱 양방향 게이트 순환 유닛 기반의 분류기에 적용하였다. 적용된 주의집중 메커니즘은 합성곱 양방향 게이트 순환 유닛 모델을 확장하여 코골이 소리에 대한 차별적 특징 표현을 학습함으로써 코골이 검출 성능을 향상시켰다. 실험 결과는 제안하는 코골이 검출 방식이 기존 방식보다 약 3.1 % ~ 5.5 %의 정확도 향상을 보여준다.

공간 주파수 합성곱 게이트 트랜스포머를 이용한 시청각 자극에 따른 뇌전도 기반 감정적 스트레스 인식 (Electroencephalogram-based emotional stress recognition according to audiovisual stimulation using spatial frequency convolutional gated transformer)

  • 김형국;정동기;김진영
    • 한국음향학회지
    • /
    • 제41권5호
    • /
    • pp.518-524
    • /
    • 2022
  • 본 논문에서는 합성곱 신경망과 주의집중 메커니즘을 결합하여 뇌파 신호로부터 감정적 스트레스 인식 성능을 향상시키는 방식을 제안한다. 제안하는 방식에서는 뇌파 신호를 5개의 주파수 영역으로 분해하고, 각 주파수 영역에 합성곱 신경망 계층을 사용하여 뇌파 특징의 공간정보를 획득한 후에 게이트 트랜스포머를 이용한 주의집중 메커니즘을 사용하여 각 주파수 대역에서 두드러진 주파수 정보를 학습하고, 주파수 간 대역 매핑을 통해 보완 주파수 정보를 학습하여 최종 주의집중 표현에 반영한다. DEAP 데이터세트와 6명의 피 실험자가 참여한 뇌파 스트레스 인식 실험을 통해, 제안된 방식이 기존 방식과 비교하여 뇌파 기반 스트레스 인식 성능 향상에 효과가 있음을 보여준다.

설명 가능한 이미지 인식을 위한 채널 주의 기반 딥러닝 방법 (Deep Learning Methods for Explainable Image Recognition)

  • 백나;조인휘
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.586-589
    • /
    • 2024
  • 본 실험 연구에서는 주의 메커니즘과 컨볼루션 신경망을 결합하여 모델을 개선하는 방법을 탐색하는 딥 러닝 기술을 소개한다. 이 기술은 지도 학습 방식을 위해 공개 데이터 세트의 쓰레기 분류 데이터를 사용하고, Grad-CAM 기술과 채널 주의 메커니즘 SE 를 적용하여 모델의 분류 의사 결정 과정을 더 잘 이해하기 위해 히트 맵을 생성한다. Grad-CAM 기술을 사용하여 히트 맵을 생성하면 분류 중에 모델이 집중하는 영역을 시각화할 수 있다. 이는 모델의 분류 결정을 설명하는 방법을 제공하여 다양한 이미지 카테고리에 대한 모델 결정의 기초를 더 잘 이해할 수 있다. 실험 결과는 전통적인 합성곱 신경망과 비교하여 제안한 방법이 쓰레기 분류 작업에서 더나은 성능을 달성한다는 것을 보여준다. 주의 메커니즘과 히트맵 해석을 결합함으로써 우리 모델은분류 정확도를 향상시킬 수 있다. 이는 실제 응용 분야의 이미지 분류 작업에 큰 의미가 있으며 해석 가능성에 대한 딥 러닝 연구 진행을 촉진하는 데 도움이 된다.

한국어 의존 구문 분석을 위한 개선된 Deep Biaffine Attention (Improved Deep Biaffine Attention for Korean Dependency Parsing)

  • 오동석;우종성;이병우;김경선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.608-610
    • /
    • 2018
  • 한국어 의존 구문 분석(Dependency Parsing)은 문장 어절의 중심어(head)와 수식어(modifier)의 의존관계를 표현하는 자연어 분석 방법이다. 최근에는 이러한 의존 관계를 표현하기 위해 주의 집중 메커니즘(Attention Mechanism)과 LSTM(Long Short Term Memory)을 결합한 모델들이 높은 성능을 보이고 있다. 본 논문에서는 개선된 Biaffine Attention 의존 구문 분석 모델을 제안한다. 제안된 모델은 기존의 Biaffine Attention에서 의존성과 의존 관계를 결정하는 방법을 개선하였고, 한국어 의존 구문 분석을 위한 입력 열의 형태소 표상을 확장함으로써 기존의 모델보다 UAS(Unlabeled Attachment Score)가 0.15%p 더 높은 성능을 보였다.

  • PDF

LVLN: 시각-언어 이동을 위한 랜드마크 기반의 심층 신경망 모델 (LVLN : A Landmark-Based Deep Neural Network Model for Vision-and-Language Navigation)

  • 황지수;김인철
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제8권9호
    • /
    • pp.379-390
    • /
    • 2019
  • 본 논문에서는 시각-언어 이동 문제를 위한 새로운 심층 신경망 모델인 LVLN을 제안한다. LVLN 모델에서는 자연어 지시의 언어적 특징과 입력 영상 전체의 시각적 특징들 외에, 자연어 지시에서 언급하는 주요 장소와 랜드마크 물체들을 입력 영상에서 탐지해내고 이 정보들을 추가적으로 이용한다. 또한 이 모델은 자연어 지시 내 각 개체와 영상 내 각 관심 영역, 그리고 영상에서 탐지된 개별 물체 및 장소 간의 서로 연관성을 높일 수 있도록 맥락 정보 기반의 주의 집중 메커니즘을 이용한다. 그뿐만 아니라, LVLN 모델은 에이전트의 목표 도달 성공율을 향상시키기 위해, 목표를 향한 실질적인 접근을 점검할 수 있는 진척 점검기 모듈도 포함하고 있다. Matterport3D 시뮬레이터와 Room-to-Room (R2R) 벤치마크 데이터 집합을 이용한 다양한 실험들을 통해, 본 논문에서 제안하는 LVLN 모델의 높은 성능을 확인할 수 있었다.

민영화정책(民營化政策)의 핵심논쟁(核心論爭)에 관한 소고(小考)

  • 유승민
    • KDI Journal of Economic Policy
    • /
    • 제18권1호
    • /
    • pp.149-215
    • /
    • 1996
  • 현행 민영화정책이 공기업의 효율성제고를 최우선 목표로 설정한 것은 타당한 선택이었음에도 불구하고, 경제력집중 심화에 대한 우려와 주식시장의 제약 등을 이유로 민영화정책은 그 추진실적이 부진하고 향후 지속 여부가 불투명한 것이 현실이다. 본(本) 논문(論文)은 우리나라 공기업민영화를 둘러싼 논쟁의 핵심인 경제력집중(經齊力集中), 경쟁도입(競爭導入), 주식시장여건(株式市場與件) 등이 공기업민영화와 관련하여 어떻게 이해되어야 할 것이며, 바람직한 정책대응(政策對應)은 무엇인지를 논의하고 있다. 재산권이론(財産權理論)을 동원하여 주인(主人) 있는 경영(經營)의 의미를 재해석할 때, 기업지배(企業支配) 통제구조(統制構造)의 정착이 요원한 우리 현실에서 민영화가 기업효율을 제고하려면 민간대주주(民間大株主)의 지배(支配)를 인정하는 방식이 최선책(最善策)이며, 소유가 분산되고 전문경영체제(專門經營體制)를 도입하는 민영화방식은 지배구조(支配構造)의 실패가능성(失敗可能性) 때문에 차선책(次善策)이라고 평가된다. 그러나 효율성 차원의 최선책은 경제력집중이라는 국민경제적 비용을 초래하므로, 정부로서는 경제력 집중이라는 비용(費用)과 효율성이라는 편익(便益)을 조화시키는 방안을 모색할 수밖에 없다. 이 경우 정부가 고려할 보완책(補完策)으로는 감자후(減資後) 민영화(民營化)와 분할민영화(分割民營化)가 있다. 한편 자연독점의 특성이 뚜렷한 일부 네트워크사업분야를 제외하면, 민영화시 경쟁도입(競爭導入)은 기업효율성과 국민경제의 배분효율성을 제고하므로 정부로서는 당연한 선택일 것이다. 경쟁은 공기업의 인수자격규제에 있어서도 새로운 기준을 제시하는데, 민영화를 정부(政府)와 민간(民間)사이의 M&A로 이해하고 경쟁제한적(競爭制限的) 기업결합(企業結合)을 규제하는 공정거래법(公正去來法)의 정신(精神)이 인수자격규제기준이 되어야 하며, 업종전문화(業種專門化) 발상(發想)에 근거한 인수자격규제는 득보(得)다 실(失)이 클 것이다. 아직도 자생적 성장기반이 취약한 주식시장의 제약에 따라 민영화일정의 탄력적인 조정은 불가피하지만, 정부는 상장(上場)의 필요성(必要性)을 재검토하고, 매각(賣却)의 우선순위(優先順位)를 조정하며, 무엇보다도 양질(良質)의 주식(柱式) 공급(供給)이 수요(需要)를 창출하는 메커니즘을 개발해야한다. 이와 함께 본(本) 논문(論文)은 현행 추진체계(推進體系)에 내재된 민영화의 지연가능성이 심각한 문제임을 지적하였고, 대규모 공기업의 민영화가 대기업(大企業)의 새로운 전형(典型)을 창출하여 한국자본주의(韓國資本主義)의 건전한 발전을 앞당기는 역사적 기회라는 점을 강조하고 있다. 마지막으로 재벌인수가 가능한 경우와 규제되어야 할 각각의 경우에 대하여 민영화정책(民營化政策)의 '체크리스트'를 제시하고 있다.

  • PDF

직무특성과 직무성과 간의 관계에 미치는 코칭 리더십의 조절효과 (The Moderating Effects of Managerial Coaching between Job Characteristics and Job Performance)

  • 우형록
    • 한국콘텐츠학회논문지
    • /
    • 제15권10호
    • /
    • pp.425-435
    • /
    • 2015
  • 코칭에 대한 실무적 관심이 높아졌음에도 불구하고 이에 대한 학문적 정의와 발전은 아직 미약한 실정이다. 본 연구의 목적은 기업현장에서 이미 광범위하게 수용된 코칭이 직무성과에 기여하는 실제적 영향과 메커니즘을 밝히는 것이다. 대다수 선행연구들은 코칭교육의 우수성이나 효과성에 대한 선언적 평가에 그쳤다는 한계가 있었다. 이를 극복하고자 코칭 리더십(managerial coaching)이 직무특성이론의 동기부여과정에 개입하는 영향을 실증하고, 코칭교육이 아니라 관리자의 코칭활동에 집중하는 행동주의적 접근을 시도하였다. 연구모형을 검증하기 위하여 국내 금융기업의 조직구성원 453명에 대한 설문자료를 바탕으로 다수준 분석을 실시하였다. 분석 결과, 코칭 리더십이 조직구성원의 직무성과에 미치는 긍정적인 직접효과를 확인할 수 있었다. 또한 핵심직무특성 중에서 직무유의성(job meaningfulness) 및 자율성(autonomy)과 직무성과의 관계를 코칭리더십이 긍정적으로 조절하는 수준 간 영향(cross-level moderating effect)이 유의하게 나타났다. 직무특성의 요건에 따라 집중해야 할 코칭의 기술과 방향이 최적화 관점에서 모색되어야 한다는 본 연구의 시사점은, 기업현장에서 광범위하게 수행된 코칭교육이 간과했던 실천적 공백을 메우는 데 기여할 것으로 기대한다.