• 한국컴퓨터정보학회논문지
• /
• 제29권9호
• /
• pp.69-77
• /
• 2024

본 연구는 GPT-2-Small 버전 모델을 사용하여 한국어와 영어를 학습하는 이중 언어 모델의 성능을 평가하고, 다양한 학습 조건이 모델 성능에 미치는 영향을 분석하였다. 연구 방법으로 단일 언어 학습, 순차 학습, 순차-교차 학습, 순차-EWC 학습의 네 가지 조건을 설정하여 모델을 훈련하였다. 국립국어원 말뭉치와 영어 위키피디어 말뭉치를 사용하고, PPL과 BLiMP 지표를 통해 성능을 측정하였다. 연구결과, 단일 언어 학습 조건에서 PPL 값은 16.2, BLiMP 정확도는 73.7%로 가장 우수한 성능을 보였다. 반면, 순차-EWC 학습 조건에서는 PPL 값이 41.9로 가장 높았고, BLiMP 정확도는 66.3%로 가장 낮았다(p < 0.05). 단일 언어 학습이 이중 언어 모델 성능 최적화에 가장 효과적임을 확인하였다. 이는 결정적 시기 이론에 따라 모델이 단일 언어에 최적화될 때 더 나은 성능을 보인다는 것을 의미한다. 또한, 프로그래밍 가소성을 조절하는 EWC 정규화를 적용한 지속 학습 조건에서는 성능 저하가 두드러졌는데, 이는 정규화가 가중치 업데이트를 제한하여 새로운 언어 학습 능력을 저하시켰다는 것을 의미한다. 본 연구는 언어 모델링에 대한 이해를 높이고, AI 언어 학습에서 인지적 유사성을 개선하는 데 기여한다.

• 한국보육지원학회지
• /
• 제9권2호
• /
• pp.173-189
• /
• 2013

본 연구는 유아의 정보처리능력인 동시처리 및 순차처리능력과 기초학습능력이 어떠한 관계가 있는지, 그리고 읽기, 쓰기, 기초수학을 포함하는 기초학습능력에 대한 정보처리능력의 상대적 설명력이 어떠한지를 알아보고자 하였다. 취학직전 만 5~6세 유아 99명을 대상으로 유아그림기초학습능력검사와 K-ABC 검사를 실시하여 기초학습능력과 정보처리능력을 측정하였다. 본 연구결과로써 첫째, 유아의 정보처리능력과 기초학습능력 간 상관을 살펴본 결과, 유아의 순차처리능력과 기초학습능력 간, 동시처리능력과 기초학습능력 간 유의미한 정적 상관이 있는 것으로 나타났다. 각 하위영역인 읽기, 쓰기, 기초수학 능력과 동시처리 및 순차처리능력 간에도 유의미한 정적 상관이 있는 것으로 나타났다. 둘째, 유아의 기초학습능력에 대한 정보처리능력의 상대적 설명력을 알아본 결과, 유아의 정보처리능력 중 동시처리능력이 기초학습능력에 22%의 설명력을 가지며, 여기에 순차처리능력이 첨가됨으로써 설명력이 3% 증가하여 25%의 설명력을 가지는 것으로 나타났다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
• /
• pp.327-330
• /
• 2020

순차적 문장 분류는 여러 문장들을 입력으로 받아 각 문장들에 대하여 사전 정의된 라벨을 할당하는 작업을 말한다. 일반적인 문장 분류와 대조적으로 기준 문장과 주변 문장 사이의 문맥 정보가 분류에 큰 영향을 준다. 따라서 입력 문장들 사이의 문맥 정보를 반영하는 과정이 필수적이다. 최근, 사전 학습 기반 언어 모델의 등장 이후 여러 자연 언어 처리 작업에서 큰 성능 향상이 있었다. 앞서 언급하였던 순차적 문장 분류 작업의 특성상 문맥 정보를 반영한 언어 표현을 생성하는 사전 학습 기반 언어 모델은 해당 작업에 매우 적합하다는 가설을 바탕으로 ELECTRA 기반 순차적 분류 모델을 제안하였다. PUBMED-RCT 데이터 셋을 사용하여 실험한 결과 제안 모델이 93.3%p로 가장 높은 성능을 보였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(C)
• /
• pp.376-379
• /
• 2010

인간의 학습과 기억현상에 있어서 멀티모달 데이터를 사용하는 것은 단순 모달리티 데이터를 사용하는 것에 비해서 향상된 효과를 보인다는 여러 연구 결과가 있어왔다. 이 논문에서는 인간의 순차적인 정보처리와 생성현상을 기계에서의 시뮬레이션을 통해서 기계학습에 있어서도 동일한 현상이 나타나는지에 대해서 알아보고자 하였다. 이를 위해서 가중치를 가진 랜덤 하이퍼그래프 모델을 통해서 순차적인 멀티모달 데이터의 상호작용을 하이퍼에지들의 조합으로 나타내는 것을 제안 하였다. 이러한 제안의 타당성을 알아보기 위해서 비디오 데이터를 이용한 문장생성을 시도하여 보았다. 이전 장면의 사진과 문장을 주고 다음 문장의 생성을 시도하였으며, 단순 암기학습이나 주어진 룰을 통하지 않고 의미 있는 실험 결과를 얻을 수 있었다. 단순 텍스트와 텍스트-이미지 쌍의 단서를 통한 실험을 통해서 멀티 모달리티가 단순 모달리티에 비해서 미치는 영향을 보였으며, 한 단계 이전의 멀티모달 단서와 두 단계 및 한 단계 이전의 멀티모달 단서를 통한 실험을 통해서 순차적 데이터의 단계별 단서의 차이에 따른 영향을 알아볼 수 있었다. 이를 통하여 멀티 모달리티가 시공간적으로 미치는 기계학습에 미치는 영향과 순차적 데이터의 시간적 누적에 따른 효과가 어떻게 나타날 수 있는지에 대한 실마리를 제공할 수 있었다고 생각된다.

• Journal of Platform Technology
• /
• 제6권4호
• /
• pp.34-40
• /
• 2018

현재 인공신경망은 단일 작업에 대해선 뛰어난 성능을 보이나, 다른 종류의 작업을 학습하면 이전 학습 내용을 잊어버리는 단점이 있다. 이를 catastrophic forgetting이라고 한다. 인공신경망의 활용도를 높이긴 위해선 이 현상을 극복해야 한다. catastrophic forgetting을 극복하기 위한 여러 노력이 있다. 하지만 많은 노력이 있었음에도 완벽하게 catastrophic forgetting을 극복하지는 못하였다. 본 논문에서는 여러 노력 중 elastic weight consolidation(EWC)에 사용되는 핵심 개념을 이용하여, 순차적 반복학습을 제시한다. 인공신경망 학습에 많이 쓰이는 MNIST를 확장한 EMNIST 데이터 셋을 이용하여 catastrophic forgetting 현상을 재현하고 이를 순차적 반복학습을 통해 극복하는 실험을 진행하였으며, 그 결과 모든 작업에 대해서 학습이 가능하였다.

• 인터넷정보학회논문지
• /
• 제11권3호
• /
• pp.25-32
• /
• 2010

게임은 여러 캐릭터와 상태공간을 갖고 있다. 그러므로 학습을 하는데 많은 시간이 걸린다. 본 논문에서는 강화학습 알고리즘을 이용하였다. 보상 값을 받아 캐릭터가 학습하게 하여 지능적으로 움직이게 하였다. 학습초기에는 학습속도가 느려진다. 순차예측 알고리즘을 개선하여 학습에 적용하였다. 기존 강화학습으로 구현된 게임과 비교 실험하였다. 실험결과 개선 구현된 게임의 성능이 학습속도 측면에서 30% 까지 향상됨을 알 수 있었다.

• 정보처리학회논문지B
• /
• 제8B권3호
• /
• pp.237-242
• /
• 2001

고전적인 GLA 알고리즘과 마찬가지로 Kohonen 학습법은 경도 강하법으로 오차함수의 해에 접근해 나간다. 따라서 KLA의 이러한 문제를 극복하기 위해 모의 담금질법의 일종인 Cauchy 학습법을 응용을 제안한다. 그러나 이 방법은 학습시간이 느리다고 하는 단점이 있다. 본 논문 이 점을 개선시키기 위해 Cauchy 학습법과 Kohonen 학습법을 순차 결합시킨 또 다른 학습법을 제안한다. 그 결과 코시 학습법과 마찬가지로 국부최적 문제를 극복하면서도 삭습시간을 단축할 수 있었다.

• 스마트미디어저널
• /
• 제11권9호
• /
• pp.9-20
• /
• 2022

심층강화학습은 자율주행 도메인에서 널리 사용되는 end-to-end 데이터 기반 제어 방법이다. 그러나 기존의 강화학습 접근 방식은 자율주행 과제에 적용하기에는 비효율성, 불안정성, 불확실성 등의 문제로 어려움이 존재한다. 이러한 문제들은 자율주행 도메인에서 중요하게 작용한다. 최근의 연구들은 이런 문제를 해결하고자 많은 시도가 이루어지고 있지만 계산 비용이 많고 특별한 가정에 의존한다. 본 논문에서는 자율주행 도메인에 불확실성 순차 모델링이라는 방법을 도입하여 비효율성, 불안정성, 불확실성을 모두 고려한 새로운 알고리즘 MCDT를 제안한다. 강화학습을 높은 보상을 얻기 위한 의사 결정 생성 문제로 바라보는 순차 모델링 방식은 기존 연구의 단점을 회피하고 효율성과 안정성을 보장하며, 여기에 불확실성 추정 기법을 융합해 안전성까지 고려한다. 제안 방법은 OpenAI Gym CarRacing 환경을 통해 실험하였고 실험 결과는 MCDT 알고리즘이 기존의 강화학습 방법에 비해 효율적이고 안정적이며 안전한 성능을 내는 것을 보인다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
• /
• pp.172-174
• /
• 2001

침입 탐지란 컴퓨터와 네트워크 지원에 대한 유해한 침입 행동을 식별하고 대응하는 과정이다. 점차적으로 시스템에 대한 침입 유형들이 복잡해지고 전문적으로 이루어지면서 빠르고 정확한 대응을 할 수 있는 시스템이 요구되고 있다. 이에 따라, 대용량의 데이터를 지능적으로 분석하여 의미있는 정보를 추출하는 데이터 마이닝 기법을 적용함으로써 지능적이고 자동화된 탐지를 수행할 수 있도록 한다. 본 논문에서는 학습 데이터를 각각 사례로 데이터베이스에 저장한 후, 실험 데이터가 입려되면 가장 가까운 거리에 있는 학습 데이터의 크래스로 분류하는 사례 기반 학습을 이용하여 빠르게 사용자의 이상 행위에 대해 판정한다. 그러나 많은 사례로 인해 기억 공간이 늘어날 경우 시스템의 성능이 저하되는 문제점을 고려하여, 빈발 에피소드 알고리즘을 수행하여 발견한 순차 패턴을 사례화하여 정상 행위 프로파이로 사용하는 순차패턴에 대한 사례 기반 학습을 제안한다. 이로써, 시스템 성능의 저하율을 낮추고 빠르며 정확하게 지능적인 침입 탐지를 수행할 수 있다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(B)
• /
• pp.336-338
• /
• 2012

본 연구에서는 고차 데이터 분류를 위해 순차적 베이지만 샘플링 기반의 진화연산 기법을 이용한 하이퍼네트워크 모델의 학습 알고리즘을 제시한다. 제시하는 방법에서는 모델의 조건부 확률의 사후(posterior) 분포를 최대화하도록 학습이 진행된다. 이를 위해 사전(prior) 분포를 문제와 관련된 사전지식(prior knowledge) 및 모델 복잡도(model complexity)로 정의하고, 측정된 모델의 분류성능을 우도(likelihood)로 사 용하며, 측정된 사전분포와 우도를 이용하여 모델의 적합도(fitness)를 정의한다. 이를 통해 하이퍼네트워크 모델은 고차원 데이터를 효율적으로 학습 가능할 뿐이 아니라 모델의 학습시간 및 분류성능이 개선될 수 있다. 또한 학습 시에 파라미터로 주어지던 하이퍼에지의 구성 및 모델의 크기가 학습과정 중에 적응적으로 결정될 수 있다. 제안하는 학습방법의 검증을 위해 본 논문에서는 약 25,000개의 유전자 발현정보 데이터셋에 대한 분류문제에 모델을 적용한다. 실험 결과를 통해 제시하는 방법이 기존 하이퍼네트워크 학습 방법 뿐 아니라 다른 모델들에 비해 우수한 분류 성능을 보여주는 것을 확인할 수 있다. 또한 다양한 실험을 통해 사전분포로 사용된 사전지식이 모델 학습에 끼치는 영향을 분석한다.