• 제목/요약/키워드: 다계층 신경망

검색결과 19건 처리시간 0.021초

다국어 정보 검색을 위한 적대적 언어 적응을 활용한 ColBERT (ColBERT with Adversarial Language Adaptation for Multilingual Information Retrieval)

  • 김종휘;김윤수;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.239-244
    • /
    • 2023
  • 신경망 기반의 다국어 및 교차 언어 정보 검색 모델은 타겟 언어로 된 학습 데이터가 필요하지만, 이는 고자원 언어에 치중되어있다. 본 논문에서는 이를 해결하기 위해 영어 학습 데이터와 한국어-영어 병렬 말뭉치만을 이용한 효과적인 다국어 정보 검색 모델 학습 방법을 제안한다. 언어 예측 태스크와 경사 반전 계층을 활용하여 인코더가 언어에 구애 받지 않는 벡터 표현을 생성하도록 학습 방법을 고안하였고, 이를 한국어가 포함된 다국어 정보 검색 벤치마크에 대해 실험하였다. 본 실험 결과 제안 방법이 다국어 사전학습 모델과 영어 데이터만을 이용한 베이스라인보다 높은 성능을 보임을 실험적으로 확인하였다. 또한 교차 언어 정보 검색 실험을 통해 현재 검색 모델이 언어 편향성을 가지고 있으며, 성능에 직접적인 영향을 미치는 것을 보였다.

  • PDF

DS/SS 이동 통신에서 반복적 최소 자승 역전파 신경망을 이용한 적응 상관기 (Performance of Adaptive Correlator using Recursive Least Square Backpropagation Neural Network in DS/SS Mobile Communication Systems)

  • 정우열;김환용
    • 한국음향학회지
    • /
    • 제15권2호
    • /
    • pp.79-84
    • /
    • 1996
  • 본 논문은 CDMA 이동 통신 시스템에서 직접 순차 확산 스펙트럼의 협대역 간섭 신호를 억압하기 위해 다계층 퍼셉트론을 기본으로 한 역전파 신경망을 이용하여 적응 상관기 모델을 제시하였다. 적응 상관기 구조는 빠른 수렴 율과 보다 좋은 성능을 제공하기 위해 역전파된 에러를 가진 반복적 최소 자승 역전파 알고리즘을 도입하였다. 컴퓨터 시뮬레이션 결과는 동일 채널 간섭과 협대역 간섭을 고려한 신호 잡음비와 전송 전력비에 대해 직접 순차 확산 스펙트럼 적응 횡단선 필터의 비트 에러율보다 역전파 신경망을 이용한 적응 상관기의 비트 에러율이 개선됨을 보였고, 특히 간섭 대 신호비가 5dB인 곳에서 역전파 신경망을 이용한 적응 상관기가 적응 횡단선 필터의 비트 에러율보다 약 $10^{-1}$ 정도 감소되었다.

  • PDF

선형 BISP 알고리즘을 이용한 간섭 신호 제어 (Interference Signal Control using Linear BISP Algorithm)

  • 나하선;김문환;석경휴;송선희;박동석;정유선;배철수;나상동
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2005년도 춘계종합학술대회
    • /
    • pp.630-634
    • /
    • 2005
  • 본 논문은 신경망을 이용한 간섭 신호 제어 복합 다층 퍼셉트론에서 DS/SS 이동 통신에서 수신된 신호를 검출하는 것에 대하여 연구한다. 수신 신호가 일정한 비트율을 갖는 채널에 전송하기 위하여 신경망을 이용한 새로운 탭 가중치 갱신 제어 방법을 제안한다. 적응 횡단선 필터는 상호 심볼간 간섭을 억압하기 위해 LMS 알고리즘 사용하고, 응답과 실제 출력간의 차인 에러를 이용하여 탭 가중치 조절 메카니즘을 통해 탭 가중치를 갱신함으로서 효과적으로 간섭을 제거한다. 본 논문은 상호 심볼간 간섭을 효율적으로 억압해온 다계층 퍼셉트론 조합을 이용하여 제안된 알고리즘을 통해 탭 가중치 갱신이 보다 효율적으로 이루어질 수 있도록 한다. 시뮬레이션을 통해 평균자승 에러의 수렴 특성이 우월하다는 것을 연구한다.

  • PDF

웨이브렛 특징 추출을 이용한 숫자인식 의 최적화 (Optimization Numeral Recognition Using Wavelet Feature Based Neural Network.)

  • 황성욱;임인빈;박태윤;최재호
    • 융합신호처리학회 학술대회논문집
    • /
    • 한국신호처리시스템학회 2003년도 하계학술대회 논문집
    • /
    • pp.94-97
    • /
    • 2003
  • 본 논문에서는, 웨이브렛 변환과 잡음 섞인 숫자 영상에 대한 최적화 인식 훈련기법을 사용한 다계층 신경망을 제안하고, 이 시스템을 아라비아숫자 인식에 적용한다. 웨이브렛 변환을 이용해 원 영상 정보의 중요한 부분은 최대한 보존하면서 입력벡터의 크기를 줄임으로써 신경망의 노드 수와 학습 수렴시간이 줄어들도록 하였고, 최적화 인식 훈련기법은 데이터의 잡음을 점차적으로 높여가면서 훈련벡터에 적용, 인식률의 변화에 대해 살펴보았다. 잡음이 섞인 숫자 영상의 인식율을 높이기 위해 원 영상에 0, 10, 20, 30, 40, 50㏈의 잡음을 섞은 영상을 훈련에 함께 사용하였다. 테스트 영상에 잡음이 30∼50㏈정도 섞였을 경우에는 원 영상만을 훈련에 이용했을 패와 잡음이 섞인 영상을 이용하여 훈련시켰을 경우에 인식율의 차이가 별로 없지만, 0∼20㏈정도 섞인 영상을 테스트에 사용할때에는 0, 10, 20, 30, 40 , 50㏈의 잡음이 있는 영상을 훈련에 사용했을 때가 원 영상만을 훈련에 이용했을 경우에 비해 인식율이 9% 향상된다.

  • PDF

딥러닝 분산처리 기술동향 (Trends on Distributed Frameworks for Deep Learning)

  • 안신영;박유미;임은지;최완
    • 전자통신동향분석
    • /
    • 제31권3호
    • /
    • pp.131-141
    • /
    • 2016
  • 최근 알파고를 통해 인공지능 기술이 전 세계인의 이목을 집중시켰던 반면, 인공지능 연구자들은 인공지능 부활에 결정적 역할을 한 딥러닝 기술에 주목하고 있다. 딥러닝은 다계층 인공신경망 기반의 기계학습 기술로서 최근 컴퓨터 비전, 음성인식, 자연어 처리 분야에서 인식 성능을 높이는 데 중요한 역할을 하고 있다. 딥러닝 기술을 이용하여 기계가 수천만장의 이미지를 학습하여 객체를 인식하게 하고, 수천 시간의 음성 데이터를 학습하여 사람의 말을 알아듣게 처리하는 데에는 다수의 고성능 컴퓨터가 필요하다. 따라서 딥러닝에는 다수의 컴퓨터를 효율적으로 이용하기 위한 분산처리 기술이 필수적이며 관련 연구들이 활발히 진행되고 있다. 이에 본고는 다중 컴퓨터 노드들에서 딥러닝 모델을 분산처리할 수 있는 기존의 프레임워크들을 비교 분석하고 딥러닝 분산처리 기술에 대한 발전 방향을 전망한다.

  • PDF

다해상도 영상과 개선된 RBF 네트워크를 이용한 계층적 영문 명함 인식 (Hierarchical Recognition of English Calling Card by Using Multiresolution Images and Enhanced RBF Network)

  • 김광백;김영주
    • 정보처리학회논문지B
    • /
    • 제10B권4호
    • /
    • pp.443-450
    • /
    • 2003
  • 본 논문은 영문 명함의 다해상도 영상을 이용한 계층적 영살 처리를 통해 문자를 추출하고 개선된 신경망 기법을 이용하여 문자를 인식하는 새로운 계층적 명함 인식 알고리즘을 제안하였다 계층적 인식 알고리즘은 명함 인식 과정을 구성하는 각 처리 단계별로 처리 시간을 단축함과 동시에 성능 향상을 위해 입력된 명함 영상을 해상도가 서로 다른 영상들로 분리하여 적용한다. 우선 1/3배 축소 영상에 가로 스미어링 기법을 적용하여 명함 영상 내에서 문자들을 포함하는 문자열 영역을 추출하고, 문자열 영역으로부터 개별 문자를 추출하기 위하여 1/2배 축소 영상에 새로 스미어링 및 윤곽선 추적 마스킹을 적용한다. 마지막으로 추출된 문자를 인식하기 위해서 문자의 형태학적 특성을 그대로 가지고 있는 원 영상을 사용하며, 다양한 형태를 가진 명함상의 문자를 인식하기 위해 ART1 기반의 개선된 RBF 네트워크를 제안하고 인식 과정에 적용하였다 제안된 인식 알고리즘을 실제 영문 명함 영상에 적용하여 실험한 결과, 기존의 방법과 비교하여 문자 추출 및 인식 성능이 크게 향상됨을 확인하였다.

아파치 스파크에서 모바일 빅 데이터에 대한 다계층 인공신경망 기반 분산 딥러닝 구현 및 최적화 (Implementation and Optimization of Distributed Deep learning based on Multi Layer Neural Network for Mobile Big Data at Apache Spark)

  • 명노영;안범진;유헌창
    • 한국컴퓨터교육학회 학술대회
    • /
    • 한국컴퓨터교육학회 2017년도 하계학술대회
    • /
    • pp.201-204
    • /
    • 2017
  • 빅 데이터의 시대가 도래하면서 이전보다 데이터로부터 유의미한 정보를 추출하는 것에 대한 연구가 활발하게 진행되고 있다. 딥러닝은 텍스트, 이미지, 동영상 등 다양한 데이터에 대한 학습을 가능하게 할 뿐만 아니라 높은 학습 정확도를 보임으로써 차세대 머선러닝 기술로 각광 받고 있다. 그러나 딥러닝은 일반적으로 학습해야하는 데이터가 많을 뿐만 아니라 학습에 요구되는 시간이 매우 길다. 또한 데이터의 전처리 수준과 학습 모델 튜닝에 의해 학습정확도가 크게 영향을 받기 때문에 활용이 어렵다. 딥러닝에서 학습에 요구되는 데이터의 양과 연산량이 많아지면서 분산 처리 프레임워크 기반 분산 학습을 통해 학습 정확도는 유지하면서 학습시간을 단축시키는 사례가 많아지고 있다. 본 연구에서는 범용 분산 처리 프레임워크인 아파치 스파크에서 데이터 병렬화 기반 분산 학습 모델을 활용하여 모바일 빅 데이터 분석을 위한 딥러닝을 구현한다. 딥러닝을 구현할 때 분산학습을 통해 학습 속도를 높이면서도 학습 정확도를 높이기 위한 모델 튜닝 방법을 연구한다. 또한 스파크의 분산 병렬처리 효율을 최대한 끌어올리기 위해 파티션 병렬 최적화 기법을 적용하여 딥러닝의 학습속도를 향상시킨다.

  • PDF

Power Ramp Rate를 이용한 풍력 발전량 예측모델 구축 (Building of Prediction Model of Wind Power Generationusing Power Ramp Rate)

  • 황미영;김성호;윤은일;김광득;류근호
    • 한국컴퓨터정보학회논문지
    • /
    • 제17권1호
    • /
    • pp.211-218
    • /
    • 2012
  • 전 세계적으로 화석연료의 많이 사용이 증가되고 있으며 이로 인해 온실가스가 배출되어 지구 온난화와 환경오염이 심각해지고 있는 실정이다. 지구의 환경오염을 줄이기 위해서 무공해 청정에너지인 신재생에너지에 대한 관심이 증가되는 추세인데, 그중에서도 풍력발전은 환경오염 물질을 배출하지 않고, 자원량이 무한대이기 때문에 많은 관심을 받고 있다. 하지만, 풍력발전은 전력 생산량이 불규칙한 단점을 갖고 있어 풍력 터빈의 손상과 전력 생산량이 불규칙적인 문제를 야기하여 이러한 문제점을 보완하기 위해 풍력 발전량을 정확하게 예측하는 것이 중요하다. 풍력 발전량을 정확하게 예측하기 위해서 전력 생산량이 급증 또는 급감하는 것을 의미하는 ramp의 특성을 잘 활용해야 한다. 이 논문에서는 예측의 정확도를 높이기 위하여 다계층 신경망을 이용해 예측모델을 구축하였다. 구축된 예측모델은 흔히 사용되는 풍속, 풍향 속성뿐만 아니라 Power Ramp Rate(PRR) 속성까지 사용하였다. 구축된 풍력 발전량 예측모델은 앞서 말한 세 가지 속성을 모두 사용한 경우, 두 속성을 조합하여 사용한 경우 총 4가지 예측모델을 구축하였다. 구축된 4가지 예측모델을 성능평가 한 결과 PRR, 풍속, 풍향의 속성 모두를 사용한 예측모델의 예측 값이 풍력 터빈에서 관측된 관측 값에 가장 근접하였다. 그로 인해 PRR 속성을 사용하면 풍력 발전량의 예측 정확도를 향상 시킬 수 있었다.

휴리스틱 함수를 이용한 feature selection에 관한 연구 (Research about feature selection that use heuristic function)

  • 홍석미;정경숙;정태충
    • 정보처리학회논문지B
    • /
    • 제10B권3호
    • /
    • pp.281-286
    • /
    • 2003
  • 실생활에서 해결하고자 하는 문제에 대해 수많은 feature들이 수집되어지나 그 feature들을 모두 문제 해결에 활용하는 것은 어렵다. 모든 feature들에 대한 정확한 자료의 수집이 어려우며 관련된 feature들을 모두 학습에 이용할 경우 복잡한 학습 모델이 생성되어지며 좋은 수행 결과도 얻을 수 없다. 또한 수집된 자료들 간에는 상호 관계나 계층적 관계가 존재하는데, 경험적 지식이나 통계적 방법을 이용하여 feature들간의 관계를 분석함으로써 feature의 수를 줄일 수 있다. 휴리스틱 기법은 반복적인 시행 착오와 경험을 통한 학습으로써 미래가 불확실하고 완전한 정보를 갖고 있지 못할 때, 인간의 사고 기능을 통하여 기억이나 경험을 살려, 스스로 해결방안을 모색하면서 점차로 해에 접근해 가는 방법이다. 전문가들은 경험에 의한 의견 수렴 과정을 거쳐 해당 문제 영역에 접근 가능하며, 이러한 특성을 학습에 사용될 feature의 수를 줄이는데 활용할 수 있다. 전문가들은 원시 자료들을 이용하여 새로운 feature들을 생성할 수 있다 새로이 산출된 feature들과 원시 데이터 내의 feature들을 혼합하여 학습 모델 생성에 이용한다. 본 논문에서는 휴리스틱 함수를 이용하여 학습에 사용될 feature의 수를 줄이고, 추출된 feature들을 신경망의 입력값으로 사용하는 기계 학습 모델을 제시한다. 모델의 성능 평가를 위해 프로야구 경기의 승패 예측 문제를 이용하였다. 실험 결과는 신경 회로망과 휴리스틱 모델을 단독으로 사용했을 때 보다 두 기법을 혼합한 모델이 신경 회로망의 복잡성을 감소시킬 뿐 아니라 분류(classification)의 정확성이 향상되었다.아니라 Hep G2 세포에서도 명백히 단백질의 발현을 관찰할 수 있었다. 또한, Hep G2와 COS세포 모두에서 endogenous RXR의 발현이 일어남을 확인하였고 RXR expression plasmid를 transfection시켰을 때 두 세포 모두에서 단백질의 발현이 현저하게 증가되었다. Constitutive Androstane Receptor (CAR)에 의한 CYP2B의 PBRU 활성효과를 다르게 분화된 세포에서 차이가 일어나는지를 비교하기 위하여 CAR에 의해 매개되는 PBRU의 transactivation효과를 Hep G2와 COS세포에서 조사하였다. Hep G2 세포에서는 transfection된 CAR의 발현에 의해 firefly luciferase 보고단백질의 활성이 약 12배 증가하였다. CAR 발현유전자를 15 ng transfection하였을 때 주어진 보고유전자의 양에 대하여 최대반응을 나타내었고 CYP2B1PBRU가 제거된 CYP2C1 promotor/firefly luciferase를 보고유전자로 사용하였을 때는 CAR에 의한 luciferase의 활성이 나타나지 않았다. Hep G2와는 달리, COS세포에서는 transfection된 CAR의 발현이 PBRU에 의한 firefly luciferase보고단백질의 발현에 영향을 주지 못하였다. 이러한 결과들은 분화된 세포의 종류에 따라서 constitutive androstane receptor의 CYP2BPBRU 활성효과가 다르게 나타날 수 있음을 제시할 뿐만 아니라, 간세포에서 Phenobarbital에 의한 PBRU의 활성유도에 영향을 주는 endogenous 매개 인자들 중 CAR와 RXR과는 다