• 정보와 통신
• /
• 제33권10호
• /
• pp.40-48
• /
• 2016

본고에서는 최근 활발하게 연구되고 있는 심층 학습에 대하여 알아본다. 기계 학습 분야 중 하나인 심층 학습은 인공 신경망의 한 형태인 심층 신경망을 통해 구현된다. 심층 신경망은 기존 다층 신경망의 구조와 거의 유사한 학습 구조를 가지지만, 학습 과정에서 발생하는 부정확한 학습 문제를 해결함으로써 최근의 성공을 이끌어낼 수 있었다. 본고에서는 다층 신경망이 가지고 있던 문제점들을 심층 신경망에서 어떻게 극복하였는지 심층 신경망의 발전 과정을 통해 알아보고, 기계 학습의 기본개념을 바탕으로 이를 설명하여 비전문가들의 이해를 돕고자 하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 추계학술대회
• /
• pp.102-105
• /
• 2019

본 논문에서는 심층 신경망 검색 방법을 사용하여 이미지 고해상도화를 위한 심층 신경망을 설계하는 방법을 구현하였다. 일반적으로 이미지 고해상도화, 잡음 제거 및 번짐 제거를 위한 심층신경망 구조는 사람이 설계하였다. 최근에는 이미지 분류 등 다른 영상처리 기법에서 사용하는 심층 신경망 구조를 검색하기 위한 방법이 연구되었다. 본 논문에서는 강화학습을 사용하여 이미지 고해상도화를 위한 심층 신경망 구조를 검색하는 방법을 제안하였다. 제안된 방법은 policy gradient 방법의 일종인 REINFORCE 알고리즘을 사용하여 심층 신경망 구조를 출력하여 주는 제어용 RNN(recurrent neural network)을 학습하고, 최종적으로 이미지 고해상도화를 잘 실현할 수 있는 심층 신경망 구조를 검색하여 설계하였다. 제안된 심층 신경망 구조를 사용하여 이미지 고해상도화를 구현하였고, 약 36.54dB 의 피크 신호 대비 잡음 비율(PSNR)을 가지는 것을 확인할 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.43-46
• /
• 2021

최근 기계 임무수행에 사용되는 데이터양이 증가함에 따라 기계를 위한 효율적인 영상 압축방식의 필요성이 높아졌다. 기존의 비디오 코덱은 HVS (Human Visual System) 특성을 고려한 기술이기 때문에 부호화 과정에서 기계 임무수행에 필요하지 않은 정보를 효과적으로 제거할 수 없다. 반면 심층신경망 기반 압축네트워크의 경우, 원본 영상으로부터 기계 임무수행에 필수적인 데이터만을 추출하여 부호화 하도록 학습할 수 있는 장점이 있다. 본 논문에서는 압축 심층신경망과 기계 임무수행 네트워크로 구성되는 VCM (Video Coding for Machine) 프레임워크를 제안하고 학습에 의한 압축효율 향상을 검증한다. 이를 위해 압축 심층신경망을 객체탐지 임무수행 네트워크와 함께 학습시킨 결과, VVC (Versatile Video Coding) 대비 평균 61.16%의 BD-rate 감소가 확인되었다. 뿐만 아니라, 학습된 압축 심층신경망은 객체분할 임무수행에서도 VVC 대비 평균 58.43%의 BD-rate 감소를 보여 다중 기계 임무의 효율적 수행이 가능함을 확인할 수 있었다.

• 한국전자통신학회논문지
• /
• 제17권2호
• /
• pp.343-350
• /
• 2022

서로 다른 특징을 가지는 이미지를 통합하여 작물의 병충해 분류를 위한 심층신경망을 훈련하는 것이 학습 결과에 어떤 영향을 미치는지 확인하고, 심층신경망의 학습 결과를 개선할 수 있는 이미지 통합방법에 대해 실험하였다. 실험을 위해 두 종류의 작물 이미지 공개 데이터가 사용되었다. 하나는 인도의 실제 농장 환경에서 촬영된 작물 이미지이고 다른 하나는 한국의 실험실 환경에서 촬영한 작물 이미지였다. 작물 잎 이미지는 정상인 경우와 4종류의 병충해를 포함하여 5개의 하위 범주로 구성되었다. 심층신경망은 전이학습을 통해 사전 훈련된 VGG16이 특징 추출부에 사용되었고 분류기에는 다층퍼셉트론 구조를 사용하였다. 두 공개 데이터는 세 가지 방법으로 통합되어 심층신경망의 지도학습에 사용되었다. 훈련된 심층신경망은 평가 데이터를 이용해 평가되었다. 실험 결과에 따르면 심층신경망을 실험실 환경에서 촬영한 작물 이미지로 학습한 이후에 실제 농장 환경에서 촬영한 작물 이미지로 재학습하는 경우에 가장 좋은 성능을 보였다. 서로 다른 배경의 두 공공데이터를 혼용하여 사용하면 심층신경망의 학습 결과가 좋지 않았다. 심층신경망의 학습 과정에서 여러 종류의 데이터를 사용하는 방법에 따라 심층신경망의 성능이 달라질 수 있음을 확인하였다.

• 한국음향학회지
• /
• 제37권6호
• /
• pp.483-488
• /
• 2018

원거리 발성은 화자 인증 시스템의 성능을 하락시키는 주요 요인으로 알려져 있다. 본 논문에서는 교사 학생 학습을 이용하여 원거리 발성에 의한 화자 인증 시스템의 성능 하락을 보상하는 기법을 제안한다. 교사 학생 학습은 미리 학습된 교사 심층신경망의 출력과 학생 신경망의 출력이 같아지도록 학생 신경망을 학습하는 기법이다. 여기서 교사 신경망에는 근거리 발성을, 학생 신경망에는 원거리 발성을 입력한 뒤, 두 신경망의 출력을 동일하게 만드는 과정을 통해 원거리 발성을 보상할 수 있을 것이라고 기대하였다. 하지만 원거리 발성을 보상하는 과정에서, 근거리 발성에 대한 인식률이 저하되는 현상을 실험적으로 발견하였다. 위와 같은 현상을 예방하기 위해 본 논문에서는 교사 심층신경망을 학생 심층신경망의 초깃값으로 사용하는 기법과 학생 심층신경망을 근거리 발성에 대해서도 학습하는 기법을 제안하였다. 모든 실험은 원 음성을 입력 받는 심층신경망을 활용해 수행하였다. 동일한 발성을 각각 4 채널로 근거리와 원거리에서 자체적으로 수집한 문장 종속 데이터셋을 활용하였다. 동일 오류율을 기준으로 근거리 / 원거리 발성에 대한 화자 인증 성능을 평가한 결과 교사 학생 학습을 사용하지 않을 경우 2.55 % / 2.8 %, 기존의 교사 학생 학습을 사용할 경우 9.75 % / 1.8 %, 제안한 기법들을 적용한 경우 2.5 % / 2.7 %의 오류율을 확인하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.125-130
• /
• 2023

최근 심층 신경망을 활용한 한국어 자연어 처리에 대한 관심이 높아지고 있지만, 한국어 자연어 처리에 적합한 신경망 구조 탐색에 대한 연구는 이뤄지지 않았다. 본 논문에서는 문서 분류 정확도를 보상으로 하는 강화 학습 알고리즘을 이용하여 장단기 기억 신경망으로 한국어 문서 분류에 적합한 심층 신경망 구조를 탐색하였으며, 탐색을 위해 사전 학습한 한국어 임베딩 성능과 탐색한 신경망 구조를 분석하였다. 탐색을 통해 찾아낸 신경망 구조는 기존 한국어 자연어 처리 모델에 대해 4 가지 한국어 문서 분류 과제로 비교하였을 때 일반적으로 성능이 우수하고 모델의 크기가 작아 효율적이었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.18-21
• /
• 2020

심층 신경망은 영상 분류, 음성 인식, 그리고 문자 번역 등 다양한 분야에서 효과적인 성능을 보여주고 있다. 신경망의 구조 변화, 신경망 간의 정보 전달, 그리고 학습에 사용되는 데이터 증대 등의 확장된 연구를 통해 성능은 더욱 발전하고 있다. 그 중에서도 데이터 증대는 기존에 수집한 데이터의 변형을 통해 심층 신경망에 더 다양한 데이터를 제공함으로써 더욱 일반화된 신경망을 학습시기키는 것을 목표로 한다. 하지만 기존의 음향 관련 신경망 연구에서는 모델의 학습에 사용되는 데이터 증대 방법의 연구가 영상 처리 분야만큼 다양하게 이루어지지 않았다. 최근 영상 처리 분야의 데이터 증대 연구는 학습에 사용되는 데이터와 모델에 따라 최적의 데이터 증대 방법이 다르다는 것을 실험적으로 보여주었다. 이에 영감을 받아 본 논문은 자연에서 발생하는 음향을 분류하는데 있어서 최적의 데이터 증대 방법을 실험적으로 찾으며, 그 과정을 소개한다. 음향에 잡음 추가, 피치 변경 혹은 스펙트로그램의 일부 제한 등의 데이터 증대 방법을 다양하게 조합하는 실험을 통해 경험적으로 어떤 증대 방법이 효과적인지 탐색했다. 결과적으로 ESC-50 자연 음향 데이터 셋에 최적화된 데이터 증대 방법을 적용함으로써 분류 정확도를 89%로 향상시킬 수 있었다.

• 정보보호학회지
• /
• 제30권6호
• /
• pp.107-115
• /
• 2020

다양한 응용분야에서 심층신경망 기반의 학습 모델이 앞 다투어 이용됨에 따라 인공지능의 설명 가능한 동작 원리 해석과, 추론이 갖는 불확실성에 관한 분석 또한 심도 있게 연구되고 있다. 이에 심층신경망 기반 기계학습 모델의 취약성이 수면 위로 드러났으며, 이러한 취약성을 이용하여 악의적으로 모델을 공격함으로써 오동작을 유도하고자 하는 시도가 다방면으로 이루어짐에 의해 학습 모델의 강건함 보장은 보안 분야에서의 쟁점으로 부각되고 있다. 모델 추론의 입력으로 이용되는 이미지에 교란값을 추가함으로써 심층신경망의 오분류를 발생시키는 임의의 변형된 이미지를 적대적 사례라 정의하며, 본 논문에서는 최근 인공지능 및 컴퓨터비전 분야에서 이루어지고 있는 이미지 기반 적대적 사례의 생성 기법에 대하여 논한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 추계학술발표대회
• /
• pp.617-620
• /
• 2016

본 논문에서는 이미지 캡션 생성과 모델 전이에 효과적인 심층 신경망 모델을 제시한다. 본 모델은 멀티 모달 순환 신경망 모델의 하나로서, 이미지로부터 시각 정보를 추출하는 컨볼루션 신경망 층, 각 단어를 저차원의 특징으로 변환하는 임베딩 층, 캡션 문장 구조를 학습하는 순환 신경망 층, 시각 정보와 언어 정보를 결합하는 멀티 모달 층 등 총 5 개의 계층들로 구성된다. 특히 본 모델에서는 시퀀스 패턴 학습과 모델 전이에 우수한 LSTM 유닛을 이용하여 순환 신경망 층을 구성하고, 컨볼루션 신경망 층의 출력을 임베딩 층뿐만 아니라 멀티 모달 층에도 연결함으로써, 캡션 문장 생성을 위한 매 단계마다 이미지의 시각 정보를 이용할 수 있는 연결 구조를 가진다. Flickr8k, Flickr30k, MSCOCO 등의 공개 데이터 집합들을 이용한 다양한 비교 실험을 통해, 캡션의 정확도와 모델 전이의 효과 면에서 본 논문에서 제시한 멀티 모달 순환 신경망 모델의 우수성을 입증하였다.

• 한국농업기계학회:학술대회논문집
• /
• 한국농업기계학회 2017년도 춘계공동학술대회
• /
• pp.142-142
• /
• 2017

본 연구에서는 파프리카를 자동 수확하기 위한 시스템 개발의 일환으로 파프리카 재배환경에서 획득한 영상 내에 존재하는 파프리카 영역과 비 파프리카 영역의 RGB 정보를 입력으로 하는 인공신경망을 설계하고 학습을 수행하고자 하였다. 학습된 신경망을 이용하여 영상 내 파프리카 영역과 비 파프리카 영역의 구분이 가능 할 것으로 사료된다. 심층 신경망을 설계하기 위하여 MS Visual studio 2015의 C++, MFC와 Python 및 TensorFlow를 사용하였다. 먼저, 심층 신경망은 입력층과 출력층, 그리고 은닉층 8개를 가지는 형태로 입력 뉴런 3개, 출력 뉴런 4개, 각 은닉층의 뉴런은 5개로 설계하였다. 일반적으로 심층 신경망에서는 은닉층이 깊을수록 적은 입력으로 좋은 학습 결과를 기대 할 수 있지만 소요되는 시간이 길고 오버 피팅이 일어날 가능성이 높아진다. 따라서 본 연구에서는 소요시간을 줄이기 위하여 Xavier 초기화를 사용하였으며, 오버 피팅을 줄이기 위하여 ReLU 함수를 활성화 함수로 사용하였다. 파프리카 재배환경에서 획득한 영상에서 파프리카 영역과 비 파프리카 영역의 RGB 정보를 추출하여 학습의 입력으로 하고 기대 출력으로 붉은색 파프리카의 경우 [0 0 1], 노란색 파프리카의 경우 [0 1 0], 비 파프리카 영역의 경우 [1 0 0]으로 하는 형태로 3538개의 학습 셋을 만들었다. 학습 후 학습 결과를 평가하기 위하여 30개의 테스트 셋을 사용하였다. 학습 셋을 이용하여 학습을 수행하기 위해 학습률을 변경하면서 학습 결과를 확인하였다. 학습률을 0.01 이상으로 설정한 경우 학습이 이루어지지 않았다. 이는 학습률에 의해 결정되는 가중치의 변화량이 너무 커서 비용 함수의 결과가 0에 수렴하지 않고 발산하는 경향에 의한 것으로 사료된다. 학습률을 0.005, 0.001로 설정 한 경우 학습에 성공하였다. 학습률 0.005의 경우 학습 횟수 3146회, 소요시간 20.48초, 학습 정확도 99.77%, 테스트 정확도 100%였으며, 학습률 0.001의 경우 학습 횟수 38931회, 소요시간 181.39초, 학습 정확도 99.95%, 테스트 정확도 100%였다. 학습률이 작을수록 더욱 정확한 학습이 가능하지만 소요되는 시간이 크고 국부 최소점에 빠질 확률이 높았다. 학습률이 큰 경우 학습 소요 시간이 줄어드는 반면 학습 과정에서 비용이 발산하여 학습이 이루어지지 않는 경우가 많음을 확인 하였다.