• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.125-130
• /
• 2023

최근 심층 신경망을 활용한 한국어 자연어 처리에 대한 관심이 높아지고 있지만, 한국어 자연어 처리에 적합한 신경망 구조 탐색에 대한 연구는 이뤄지지 않았다. 본 논문에서는 문서 분류 정확도를 보상으로 하는 강화 학습 알고리즘을 이용하여 장단기 기억 신경망으로 한국어 문서 분류에 적합한 심층 신경망 구조를 탐색하였으며, 탐색을 위해 사전 학습한 한국어 임베딩 성능과 탐색한 신경망 구조를 분석하였다. 탐색을 통해 찾아낸 신경망 구조는 기존 한국어 자연어 처리 모델에 대해 4 가지 한국어 문서 분류 과제로 비교하였을 때 일반적으로 성능이 우수하고 모델의 크기가 작아 효율적이었다.

• 문화기술의 융합
• /
• 제9권1호
• /
• pp.649-654
• /
• 2023

본 논문은 그래프 합성곱 신경망을 이용한 신경망 구조 탐색 모델 설계를 제안한다. 딥 러닝은 블랙박스로 학습이 진행되는 특성으로 인해 설계한 모델이 최적화된 성능을 가지는 구조인지 검증하지 못하는 문제점이 존재한다. 신경망 구조 탐색 모델은 모델을 생성하는 순환 신경망과 생성된 네트워크인 합성곱 신경망으로 구성되어있다. 통상의 신경망 구조 탐색 모델은 순환신경망 계열을 사용하지만 우리는 본 논문에서 순환신경망 대신 그래프 합성곱 신경망을 사용하여 합성곱 신경망 모델을 생성하는 GC-NAS를 제안한다. 제안하는 GC-NAS는 Layer Extraction Block을 이용하여 Depth를 탐색하며 Hyper Parameter Prediction Block을 이용하여 Depth 정보를 기반으로 한 spatial, temporal 정보(hyper parameter)를 병렬적으로 탐색합니다. 따라서 Depth 정보를 반영하기 때문에 탐색 영역이 더 넓으며 Depth 정보와 병렬적 탐색을 진행함으로 모델의 탐색 영역의 목적성이 분명하기 때문에 GC-NAS대비 이론적 구조에 있어서 우위에 있다고 판단된다. GC-NAS는 그래프 합성곱 신경망 블록 및 그래프 생성 알고리즘을 통하여 기존 신경망 구조 탐색 모델에서 순환 신경망이 가지는 고차원 시간 축의 문제와 공간적 탐색의 범위 문제를 해결할 것으로 기대한다. 또한 우리는 본 논문이 제안하는 GC-NAS를 통하여 신경망 구조 탐색에 그래프 합성곱 신경망을 적용하는 연구가 활발히 이루어질 수 있는 계기가 될 수 있기를 기대한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 추계학술대회
• /
• pp.102-105
• /
• 2019

본 논문에서는 심층 신경망 검색 방법을 사용하여 이미지 고해상도화를 위한 심층 신경망을 설계하는 방법을 구현하였다. 일반적으로 이미지 고해상도화, 잡음 제거 및 번짐 제거를 위한 심층신경망 구조는 사람이 설계하였다. 최근에는 이미지 분류 등 다른 영상처리 기법에서 사용하는 심층 신경망 구조를 검색하기 위한 방법이 연구되었다. 본 논문에서는 강화학습을 사용하여 이미지 고해상도화를 위한 심층 신경망 구조를 검색하는 방법을 제안하였다. 제안된 방법은 policy gradient 방법의 일종인 REINFORCE 알고리즘을 사용하여 심층 신경망 구조를 출력하여 주는 제어용 RNN(recurrent neural network)을 학습하고, 최종적으로 이미지 고해상도화를 잘 실현할 수 있는 심층 신경망 구조를 검색하여 설계하였다. 제안된 심층 신경망 구조를 사용하여 이미지 고해상도화를 구현하였고, 약 36.54dB 의 피크 신호 대비 잡음 비율(PSNR)을 가지는 것을 확인할 수 있었다.

• 한국지능시스템학회논문지
• /
• 제9권4호
• /
• pp.396-403
• /
• 1999

본 논문에서는 새로운 블록기반 신경망을 제안하고 블록기반 신경망의 패턴류 성능을 확인하였다. 블록기반 신경망은 4개의 가변 입출력을 가지는 블록을 기본 구성요소로하고 있으며 블록들의 2차원배열 형태로 이루어진다. 블록기반 신경망은 재구성가능 하드웨어에 의하여 구현이 용이하고 구조 및 가중치의 최적화에 진화 알고리즘을 적용시킬수 있는 새로운 신경망 모델이다. 블록 기반 신경망의 구조와 가중치를 재고성 가능 하드웨어(FPGA)의 비트열에 대응시키고 유전자 알고리즘에 의하여 전역최적화를 하여 구조와 가중치를 최적화한다. 유전 알고리즘에 의하여 설계된 블록기반 신경망을 비선형 결정평면을 가지는 여러 학습패턴에 적용하여 패턴분류 성능을 확인하였다.

• 한국원자력학회:학술대회논문집
• /
• 한국원자력학회 1995년도 춘계학술발표회논문집(2)
• /
• pp.1011-1016
• /
• 1995

구조물의 미지구조계수를 추정하기 위한 방법으로 신경망이론을 사용하였다. 다층퍼셉트론과 Gaussian Basis function Network의 장점을 살리기 위해, 복합신경망을 제안하였으며, 제안된 신경망이 학습시 수렴속도가 향상되고, 적절한 분할확대의 수를 결정하면 일반화 성능도 유지할 수 있음을 확인하였다. 적단건물모형에 대하여 구조계수추정의 절차를 설명하였으며, 제안된 신경망의 효율성을 보였다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 1997년도 추계학술대회 학술발표 논문집
• /
• pp.127-130
• /
• 1997

신경망은 입출력 관계가 명시적으로 표현되기 어려운 경우에 수집된 데이터를 이용하여 원래의 함수를 근사할 수 있느 특성이 있다. 최근에는 신경망의 모델링 성능을 향상시키기 위하여 여러개의 모듈을 기반으로 신경망을 구성하는 모듈형 신경망이 활발히 연구되고 있다. 본 논문에서는 린덴마이어 시스템(L-시스템)의 문법적 적용을 통하여 이러한 모듈형 신경망의 구조를 결정하는 방법을 제시하고자 한다. L-시스템은 본래 식물의 성장과정을 기술하기 위하여 제안된 방법인데, 본 논문에서는 신경망의 모듈형 구조가 L-시스템의 문법을 통하여 적절히 결정됨을 보인다.

• 한국지능정보시스템학회:학술대회논문집
• /
• 한국지능정보시스템학회 2005년도 춘계학술대회
• /
• pp.169-185
• /
• 2005

신경계의 뉴런 구조는 흥분 뉴런과 억제 뉴런으로 구성되며 각각의 흥분 뉴런과 억제 뉴런은 주동근 뉴런(agonistic neuron)에 의해 활성화되며 길항근 뉴런(antagonist neuron)에 의해 비활성화 된다. 본 논문에서는 인간 신경계의 생리학적 뉴런 구조를 분석하여 퍼지 논리를 이용한 생리학적 퍼지 신경망을 제안한다. 제안된 구조는 주동근 뉴런에 의해 흥분 뉴런이 될 수 있는 뉴런들을 선택하여 흥분시켜 출력층으로 전달하고 나머지 뉴런들을 억제시켜 출력층에 전달시키지 않는다. 신경계를 기반으로 한 제안된 생리학적 퍼지 신경망의 학습구조는 입력층, 학습 데이터의 특징을 분류하는 중간층, 그리고 출력층으로 구성된다. 제안된 퍼지 신경망의 학습 및 인식 성능을 평가하기 위해 정확성이 요구되는 의학의 한 분야인 기관지 편평암 영상인식과 영상 인식의 주요 응용 분야인 차량 번호판 인식에 적용하여 기존의 신경망과 성능을 비교 분석하였다. 실험 결과에서는 제안된 생리학적 퍼지 신경망이 기존의 신경망보다 학습 시간과 수렴성이 개선되었을 뿐만 아니라, 인식에 있어서도 우수한 성능이 있음을 확인하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (2)
• /
• pp.330-332
• /
• 1998

모듈형 신경망은 인간의 정보처리 시스템이 고유한 목적이나 기능을 가진 모듈로 되어있다는 신경과학의 연구에 기반하여 제안된 모델이다. 하지만 모듈의 크기와 기능모듈간의 연결구조를 결정하는데 큰 어려움이 있다. 본 논문에서는 간단한 규칙으로 복잡한 구조를 생성해 낼 수 있는 린덴마이어-시스템을 이용하여 모듈형 신경망의 크기 및 연결구조를 만들어내는 과정에 대하여 고찰해본다. 또한, 신경망의 생성규칙을 유전자형으로 표현하고 진화 알고리즘을 적용하여 주어진 문제를 해결할 수 있는 최적의 규칙을 찾아내는 방법을 제안한다. 본 논문에서 제안한 유전자형과 진화연산은 최적화된 문법규칙 및 신경망의 구조를 만들어 낼 수 있는 가능성을 보여준다.

• 한국지능시스템학회논문지
• /
• 제10권6호
• /
• pp.591-596
• /
• 2000

본 논문에서는, 퍼지 신경망 시스템에 대한 최적의 규칙 베이스의 생성과 초기화를 이루기 위하여 웨이브릿 이론을 기반으로 한 퍼지 신경망 구조를 제안한다. 제안한 웨이브릿 기반의 퍼지 신경망 구조(WFNN)에서는 퍼지-신경망에 대하여 웨이브렛 함수의 성질과 다운스트레칭 메카니즘에 의하여 초기의 최적 퍼지 규칙 베이스를 구성하고 은닉층의 노드 개수를 최적화시키며, 에러 역전파 알고리즘에 의하여 각 파라미터의 조절과 학습이 진행된다. 역진자 시스템에 대한 모의 실험을 통하여 제안한 웨이브릿 기반의 퍼지 신경망 제어 시스템의 우수성을 검증하였다.

• 한국지능시스템학회논문지
• /
• 제8권3호
• /
• pp.33-40
• /
• 1998

최근 Yang과 Tseng이 제안한 직교 신경망(ONN)은 직교 함수를 이용하여 신경망을 구성한 것으로서, 다층 신경망이 가지는 층의 구조에 대한 어려움이 없이 전체 구조를 결정할 수 있다는 장점을 가지고 있다. 또한 요구되는 정확성을 기준으로 직교 함수의 급수를 증가시키므로써 학습하는 동안에 전제 구조를 변형하는 것이 가능하고 가중치의 직？ 함수의급수를 증가시키므로써 학습하는 동안에 전체 구조를 변형하는 것이 가능하고 가중치의 학습 알고리듬이 오차 역전파법 학습 알고리듬에 비해 간단하며 수렴 속도가 빠르다는 장점도 있다. 그러나 이러한 직교 신경망은 구조의 골격이 디ㅗ는 직교 함수를 변형할 수 없는 구조를 가진다는 문제점이 있다. 본 논문에서는 입력 변환을 이용하여 직교함수를 학습할 수 있는 구조를 가지는 수정된 직교 신경망(MONN)을 제안한다. 제안한 수정된 지？ 신경망을 이용하여 비선형 시스템을 식별하기 위해 식별기 구조를 설정하고 목적을 달성하기 위한 수정된 직교 신경망의 학습 알고리듬을 유도한다.사례연구른 통하여 본 논문에서 제안한 수정된 직교 신경망의 비선형 시스템 모형화 능력, 입력 변환의 유용성을 다충 신경망, 직교 신경망과 비교하여 검증한다.