• 제목/요약/키워드: Manifold learning

검색결과 37건 처리시간 0.03초

ManiFL : 얕은 학습 기반의 더 나은 자연어처리 도구 (ManiFL : A Better Natural-Language-Processing Tool Based On Shallow-Learning)

  • 신준철;김완수;이주상;옥철영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.311-315
    • /
    • 2021
  • 근래의 자연어처리 분야에서는 잘 만들어진 도구(Library)를 이용하여 생산성 높은 개발과 연구가 활발하게 이뤄지고 있다. 이 중에 대다수는 깊은 학습(Deep-Learning, 딥러닝) 기반인데, 이런 모델들은 학습 속도가 느리고, 비용이 비싸고, 사용(Run-Time) 속도도 느리다. 이뿐만 아니라 라벨(Label)의 가짓수가 굉장히 많거나, 라벨의 구성이 단어마다 달라질 수 있는 의미분별(동형이의어, 다의어 번호 태깅) 분야에서 딥러닝은 굉장히 비효율적인 문제가 있다. 이런 문제들은 오히려 기존의 얕은 학습(Shallow-Learning)기반 모델에서는 없던 것들이지만, 최근의 연구경향에서 딥러닝 비중이 급격히 증가하면서, 멀티스레딩 같은 고급 기능들을 지원하는 얕은 학습 기반 언어모델이 새로이 개발되지 않고 있었다. 본 논문에서는 학습과 태깅 모두에서 멀티스레딩을 지원하고, 딥러닝에서 연구된 드롭아웃 기법이 구현된 자연어처리 도구인 혼합 자질 가변 표지기 ManiFL(Manifold Feature Labelling : ManiFL)을 소개한다. 본 논문은 실험을 통해서 ManiFL로 다의어태깅이 가능함을 보여주고, 딥러닝과 CRFsuite에서 높은 성능을 보여주는 개체명 인식에서도 비교할만한 성능이 나옴을 보였다.

  • PDF

파형 신호에 대한 다양체 임베딩의 위상학적 불변항의 분석 (Analysis of Topological Invariants of Manifold Embedding for Waveform Signals)

  • 한희일
    • 한국인터넷방송통신학회논문지
    • /
    • 제16권1호
    • /
    • pp.291-299
    • /
    • 2016
  • 본 논문에서는 임의의 주기적인 현상이나 특성은 위상구조와 밀접한 관련이 있음을 추론하고 이를 실험적으로 확인한다. 실험대상으로 주기적 특성이 있는 다양한 악기음을 선택하여 이를 유클리드 공간에 임베딩하고 이로부터 호몰로지 군을 계산하여 위상특성을 분석한다. 이를 위하여, 파형신호에서 추출한 패치모음을 패치 그래프로 구성한 다음, 대표적인 다양체 학습 방식인 통근시간 임베딩 기법을 이용하여 기하구조로 변환한다. 스펙트럼이 시간에 따라 가변적인 파형신호를 통근시간 임베딩할 때, 그에 따라 생성되는 기하구조는 변화하지만 그 신호 고유의 내재된 위상구조는 거의 변하지 않는다. 본 논문에서는 임베딩 데이터의 일부를 표본화하여 단순 복합체를 구성한 다음 이로부터 호몰로지를 계산하여 임베딩 기하구조의 위상특성을 분석하고, 이의 활용방안을 논의한다.

파형 신호 공간의 위상 구조 분석 (Topological Analysis of Spaces of Waveform Signals)

  • 한희일
    • 한국멀티미디어학회논문지
    • /
    • 제19권2호
    • /
    • pp.146-154
    • /
    • 2016
  • This paper presents methods to analyze the topological structures of the spaces composed of patches extracted from waveform signals, which can be applied to the classification of signals. Commute time embedding is performed to transform the patch sets into the corresponding geometries, which has the properties that the embedding geometries of periodic or quasi-periodic waveforms are represented as closed curves on the low dimensional Euclidean space, while those of aperiodic signals have the shape of open curves. Persistent homology is employed to determine the topological invariants of the simplicial complexes constructed by randomly sampling the commute time embedding of the waveforms, which can be used to discriminate between the groups of waveforms topologically.

Mercer Kernel Isomap

  • 최희열;최승진
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
    • /
    • pp.748-750
    • /
    • 2005
  • Isomap [1] is a manifold learning algorithm, which extends classical multidimensional scaling (MDS) by considering approximate geodesic distance instead of Euclidean distance. The approximate geodesic distance matrix can be interpreted as a kernel matrix, which implies that Isomap can be solved by a kernel eigenvalue problem. However, the geodesic distance kernel matrix is not guaranteed to be positive semidefinite. In this paper we employ a constant-adding method, which leads to the Mercer kernel-based Isomap algorithm. Numerical experimental results with noisy 'Swiss roll' data, confirm the validity and high performance of our kernel Isomap algorithm.

  • PDF

Manifold Learning을 통한 표정과 Action Unit 간의 상관성에 관한 연구 (A Study in Relationship between Facial Expression and Action Unit)

  • 김선빈;김현철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 추계학술발표대회
    • /
    • pp.763-766
    • /
    • 2018
  • 표정은 사람들 사이에서 감정을 표현하는 강력한 비언어적 수단이다. 표정 인식은 기계학습에서 아주 중요한 분야 중에 하나이다. 표정 인식에 사용되는 기계학습 모델들은 사람 수준의 성능을 보여준다. 하지만 좋은 성능에도 불구하고, 기계학습 모델들은 표정 인식 결과에 대한 근거나 설명을 제공해주지 못한다. 이 연구는 표정 인식의 근거로서 Facial Action Coding Unit(AUs)을 사용하기 위해서 CK+ Dataset을 사용하여 표정 인식을 학습한 Convolutional Neural Network(CNN) 모델이 추출한 특징들을 t-distributed stochastic neighbor embedding(t-SNE)을 사용하여 시각화한 뒤, 인식된 표정과 AUs 사이의 분포의 연관성을 확인하는 연구이다.

고전 역학의 라그랑지안을 이용한 미분 기하학적 global minimum 탐색 알고리즘 (A Novel Global Minimum Search Algorithm based on the Geodesic of Classical Dynamics Lagrangian)

  • 김준식;오장민;김종찬;장병탁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (A)
    • /
    • pp.39-42
    • /
    • 2006
  • 뉴럴네트워크에서 학습은 에러를 줄이는 방법으로 구현 된다. 이 때 parameter 공간에서 Risk function은 multi-minima potential로 표현 될 수 있으며 우리의 목적은 global minimum weight 좌표를 얻는 것이다. 이전의 연구로는 Attouch et al.의 damped oscillator 방정식을 이용한 방법이 있고, Qian의 critically damped oscillator를 통한 steepest descent의 momentum과 learning parameter 유도가 있다. 우리는 이 두 연구를 참고로 manifold 상에서 최단 경로인 geodesic을 Newton 역학의 Lagrangian에 적용함으로써 adaptive steepest descent 학습법을 얻었다. 우리는 이 새로운 방법을 Rosenbrock 과 Griewank 포텐셜들에 적용하여 그 성능을 알아 본다.

  • PDF

가상현실 기술을 활용한 역사학습 콘텐츠의 구현 (Implementation of Historic Educational Contents Using Virtual Reality)

  • 류인영;안은영;김재원
    • 한국콘텐츠학회논문지
    • /
    • 제9권8호
    • /
    • pp.32-40
    • /
    • 2009
  • 본 연구는 효과적인 학습 환경을 제공하기 위한 방안으로 가상현실 기술을 이용한 역사 학습 콘텐츠구현을 목표로 한다. 교육학적 관점에서 역사학습은 시대적 사실들을 역사적 상황 속에서 이해하고 구성 해나가는 역사적 맥락의 사고력이 중요하다. 따라서 본 연구에서는 다양한 유물 및 유적을 통한 역사적 사실이나 정보뿐만 아니라 시대적인 상황을 이해하고 상상력을 동원한 이해가 가능하도록 그 시대의 자연 환경 및 주거 환경을 함께 구현하여 제시한다. 또한 가상환경에서 다양한 정보를 수집할 수 있도록 역사교육에 관한 정보를 다양한 유형의 멀티미디어 콘텐츠로 제작하여 구성주의 학습요소를 고려하여 상호 연결함으로써 학습자가 주도적으로 학습을 수행할 수 있도록 유도한다. 본 시스템에서 사용자는 가상세계의 3차원 환경과 자유로운 상호작용을 통해 학습자의 판단 및 선택에 따라 스스로 정보를 구성해 나가는 것이 가능하다. 이로써 학습자는 가상공간에서의 경험학습을 통해 과학적 사고력과 상상력을 동원하여 적극적으로 학습에 참여하게 된다.

Sparse-Neighbor 영상 표현 학습에 의한 초해상도 (Super Resolution by Learning Sparse-Neighbor Image Representation)

  • 엄경배;최영희;이종찬
    • 한국정보통신학회논문지
    • /
    • 제18권12호
    • /
    • pp.2946-2952
    • /
    • 2014
  • 표본 기반 초해상도(Super Resolution 이하 SR) 방법들 중 네이버 임베딩(Neighbor Embedding 이하 NE) 기법의 기본 원리는 지역적 선형 임베딩이라는 매니폴드 학습방법의 개념과 같다. 그러나, 네이버 임베딩은 국부 학습 데이터 집합의 크기가 너무 작기 때문에 이에 따른 빈약한 일반화 능력으로 인하여 알고리즘의 성능을 크게 저하시킨다. 본 논문에서는 이와 같은 문제점을 해결하기 위해서 일반화 능력이 뛰어난 Support Vector Regression(이하 SVR)을 이용한 Sparse-Neighbor 영상 표현 학습 방법에 기반한 새로운 알고리즘을 제안하였다. 저해상도 입력 영상이 주어지면 bicubic 보간법을 이용하여 확대된 영상을 얻고, 이 확대된 영상으로부터 패치를 얻은 후 저주파 패치인지 고주파 패치 인지를 판별한 후 각 영상 패치의 가중치를 얻은 후 두 개의 SVR을 훈련하였으며 훈련된 SVR을 이용하여 고해상도의 해당 화소 값을 예측하였다. 실험을 통하여 제안된 기법이 기존의 보간법 및 네이버 임베딩 기법 등에 비해 정량적인 척도 및 시각적으로 향상된 결과를 보여 주었다.

시공 중 흙막이 벽체 수평변위 예측을 위한 앙상블 모델 개발 (Development of an Ensemble Prediction Model for Lateral Deformation of Retaining Wall Under Construction)

  • 서승환;정문경
    • 한국지반공학회논문집
    • /
    • 제39권4호
    • /
    • pp.5-17
    • /
    • 2023
  • 도심지 지하굴착 공사가 대형화되면서 공사 중 안전사고에 대한 위험요인이 더욱 증가하고 있다. 이에 따라 공사현장의 위험요소를 모니터링하고 사전에 예측할 수 있는 기술이 필요하다. 굴착으로 인한 흙막이 벽체의 변형을 예측하는 방법에는 크게 경험식과 수치해석 두 가지 방법으로 분류할 수 있으며, 최근에는 인공지능 기술의 발달과 함께 머신러닝 기법을 활용한 예측 모델이 한 가지 방법으로 자리 잡고 있다. 본 연구에서는 예측력과 효율성이 우수한 부스팅 계열 알고리즘 및 앙상블 모델을 이용하여 시공 중 흙막이 벽체 변형을 예측하는 모델을 구축하였다. 지하흙막이 공사의 설계-시공-유지관리 과정에서 도출되는 자료들을 복합적으로 활용하여 데이터베이스를 구축하고, 이 자료를 토대로 학습모델을 만들고 성능을 평가하였다. 모델 성능 평가 결과, 높은 정확도로 흙막이 벽체 변형을 예측할 수 있었으며, 지반계측 자료를 학습에 활용함으로써 실제 시공과정의 특성이 반영된 예측결과를 제시할 수 있었다. 본 연구에서 구축한 예측 모델을 활용하여 시공 중 흙막이 벽체의 안정성 평가 및 모니터링에 활용할 수 있을 것으로 기대된다.

딥 러닝 기반 휴먼 모션 디노이징 (Deep Learning-Based Human Motion Denoising)

  • 김성욱;임현승;김종민
    • 전기전자학회논문지
    • /
    • 제23권4호
    • /
    • pp.1295-1301
    • /
    • 2019
  • 본 논문에서는 어텐션 기법을 적용한 양방향 순환신경망을 이용하여 새로운 휴먼 모션 디노이징 방법을 제안한다. 본 방법을 이용하면, 단일 3D 깊이 센서 카메라에서 캡처된 노이즈가 포함된 사람의 움직임이 잘 교정된 자연스러운 움직임으로 자동 조정된다. 양방향 순환신경망에 어텐션 기법을 도입하면, 입력으로 들어온 움직임을 인코딩할 때 여러 자세 중에 더 중요한 자세가 있는 프레임에 더 높은 어텐션 가중치를 부여함으로써, 다른 딥 러닝 네트워크와 비교해 더 나은 최적화 결과와 더 높은 정확도를 보인다. 실험을 통해 본 논문에서 제시한 방법이 다양한 스타일의 움직임과 노이즈를 효과적으로 처리함을 확인하였으며, 제시한 방법은 모션 캡처 후처리 단계의 애플리케이션으로 충분히 사용 가능할 것으로 기대된다.