• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 추계학술발표대회
• /
• pp.1330-1332
• /
• 2015

최근 지능형 감시 시스템에서 비정상 행동들을 자동으로 감지하는 연구가 활발히 진행되고 있다. 그러나 해결하기 힘든 몇 가지 이슈들이 있는데, 주어진 입력 영상에서 군중들이 중첩될 때 각각의 객체를 인식하는데 어려움이 있다는 점과 비정상 행동을 나타내는 훈련 데이터셋이 제한적이라는 점이다. 이러한 문제들을 해결하기 위해 우리는 군중 영상에서 비정상 행동들을 인식하는 새로운 프레임워크를 제안한다. 제안된 방법은 크게 특징추출모듈과 추출된 특징들을 이용한 행동인식모듈로 구성된다. 중첩문제를 해결하기 위해 움직임 에너지와 고정 에너지를 특성으로 정의하였고 위에 언급한 특징추출모듈에서 두 에너지 값을 계산한다. 그리고 정상/비정상 행동들은 HMM과 최적의 임계값을 도출하는 알고리즘을 사용하는 행동인식모듈에 의해 분류된다. 우리가 제안한 방법은 인공 데이터셋과 실제 비디오 영상 데이터셋을 이용한 실험에 의해 증명한다.

• 한국지능시스템학회논문지
• /
• 제9권6호
• /
• pp.627-633
• /
• 1999

본 논문에서는 면역 시스템에 기반한 자율분산로봇 시스템의 협조 제어 및 군행동 전략의 결정 방법을 제안한다. 면역 시스템은 생체의 자기보호 및 유지시스템이다. 면역 시스템의 유용한 성질은 동적으로 변하는 환경에서 최적의 군행동을 결정하는 문제에 적용 가능하다. 면역 시스템을 자율분산로봇 시스템에 적용하기 위하여 로봇은 B-세포로 환경조건은 항원으로 행동 전략은 항체로 제어파라미터는 T-세포로 각각 모델링 하였다, 환경(항원)변화가 감지되면 각 로봇은 적절한 행동전략(항체)을취한다. 이행동전략은 다른 로봇과의 통신에 의하여 자극 또는 억제을 받는다.(면역 네트워크) 최정적으로 많은 자극을 받은 전략이 군행동 전략으로 채택된다. 이 제어방법은 클론선택과 면역네트워크 가설에 기반을 둔것으로서 최적의 군행동 전략을 결정하는데 이용된다. 또한 제어 파라미터로서 T-세포 모델을 추가함으로서 동적인 환경에서 로봇의 적응능력이 향상되었다.

• 한국지능시스템학회논문지
• /
• 제16권1호
• /
• pp.8-17
• /
• 2006

군집 로봇시스템에서 로봇들 간의 협조행동 및 군 행동을 하기 위해서는 로봇의 센싱과 통신 기능은 필수적이다. 일반적으로 대역적 통신 시스템에서 로봇의 대수가 증가하면 통신자원의 제한과 정보의 범람이 발생한다. 따라서 이 경우 지역적 통신방법이 유리하다. 본 논문에서는 지역적 통신 방식을 제안하고, 정보의 전파(propagation) 해석을 통하여 최적의 통신 반경을 찾는 방법들을 제시한다. 또한 로봇이 정보를 획득하고 소실할 경우 발생하는 군(group)의 카오스 행동을 피하기 위한 최적의 조건을 제시한다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 1999년도 추계학술대회 논문집 학회본부 B
• /
• pp.658-660
• /
• 1999

본 논문에서는 축구로봇 시스템에서 상위 레벨 제어기에 해당하는 행동선택기를 다층신경회로망을 이용하여 설계한다. 축구로봇 시스템에서 로봇의 속도가 빠른 상태에서 제어가 가능하도록 로봇의 행동레벨을 설정하고 주어진 동적 상황에 대해 여러 가지 상황변수를 정의하여, 각 상황에 가장 효율적이며 최적의 행동을 선택하도록 한다. 각 로봇이 목표점으로 이동할 때 어떠한 행동을 선택하여 어떻게 움직이느냐에 따라 로봇은 같은 위치에서 목표점을 이동하더라도 이동경로가 달라진다. 따라서, 로봇축구 경기 상황을 나타내는 상황 변수들을 입력으로 하는 다층신경회로망을 사용하여 출력으로 행동을 판단하여 실행하는 알고리즘을 제안하고 그를 위한 하드웨어와 시뮬레이터 도구를 제작한다. 역전파 알고리즘을 통해 신경망을 학습하고 학습된 데이터를 실험에 적용한다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2001년도 합동 추계학술대회 논문집 정보 및 제어부문
• /
• pp.428-430
• /
• 2001

다수의 자율이동로봇으로 구성되는 다개체 시스템에서의 협조행동을 위해서 각 개체는 주변환경의 인식뿐만 아니라 환경변화에 적응할 수 있는 추론능력이 요구된다. 이에 본 논문에서는 강화학습을 이용하여 동적으로 변화하는 환경 하에서 개체들이 스스로 학습하고 대처할 수 있는 협조행동 방법을 제시한다. 제안한 방법을 먹이와 포식자 문제에 적용하여 포식자 로봇간의 협조행동을 구현하였다. 여러 대로 구성된 포식자 로봇은 회피가 목적인 먹이로봇을 추적하여 포획하는 것이 임무이며 포식자 로봇들 간의 협조행동을 위해 각 상태에 따른 최적의 행동방식을 찾는데 강화학습을 이용한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (1)
• /
• pp.40-42
• /
• 2003

주어진 실시간 환경의 복잡성 때문에. 항상 최적의 행동을 수행하는 완벽하게 이성적인 에이전트 (rational agent) 의 구현은 실질적으로 가능하지 않다. 이러한 실시간 문제 해결기법에서의 전통적인 접근 방식은 미리 정의된 규약에 의존한 조건-행동 추론 방식이다. 이러한 조건-행동추론 방식은 문제 영역이 다양하거나 문제의 재설계가 필요한 경우에는 아무런 해법을 갖지 못한다. 따라서 이러한 문제점을 해결하기 위해 본 논문에서는 주어진 행동들의 유틸리티를 실시간에 계산하고, 긴급한 정도를 측정하여 상황이 긴급할 경우에는 더 이상의 계산을 중단하고 즉각적인 행동을 취하며. 반면에 상황이 긴급하지 않을 경우에는 최선의 의사결정을 위하여 추가적인 정보를 고려하여 더 바람직한 행동을 결정하는 방법론을 제안한다. 제안한 방법론의 평가를 위하여 시간 제약적인 환경에서 최선의 의사결정을 수행하는 실질적이며 유연한 에이전트를 구현 하고자 한다.

• 한국지능정보시스템학회:학술대회논문집
• /
• 한국지능정보시스템학회 2002년도 추계정기학술대회
• /
• pp.399-408
• /
• 2002

다중 에이전트 학습이란 다중 에이전트 환경에서 에이전트간의 조정을 위한 행동전략을 학습하는 것을 말한다. 본 논문에서는 에이전트간의 통신이 불가능한 다중 에이전트 환경에서 각 에이전트들이 서로 독립적으로 대표적인 강화학습법인 Q학습을 전개함으로써 서로 효과적으로 협조할 수 있는 행동전략을 학습하려고 한다. 하지만 단일 에이전트 경우에 비해 보다 큰 상태-행동 공간을 갖는 다중 에이전트환경에서는 강화학습을 통해 효과적으로 최적의 행동 전략에 도달하기 어렵다는 문제점이 있다. 이 문제에 대한 기존의 접근방법은 크게 모듈화 방법과 일반화 방법이 제안되었으나 모두 나름의 제한을 가지고 있다. 본 논문에서는 대표적인 다중 에이전트 학습 문제의 예로서 먹이와 사냥꾼 문제(Prey and Hunters Problem)를 소개하고 이 문제영역을 통해 이와 같은 강화학습의 문제점을 살펴보고, 해결책으로 신경망 SOM을 이용한 일반화 방법인 QSOM 학습법을 제안한다. 이 방법은 기존의 일반화 방법과는 달리 군집화 기능을 제공하는 신경망 SOM을 이용함으로써 명확한 다수의 훈련 예가 없어도 효과적으로 이전에 경험하지 못했던 상태-행동들에 대한 Q값을 예측하고 이용할 수 있다는 장점이 있다. 또한 본 논문에서는 실험을 통해 QSOM 학습법의 일반화 효과와 성능을 평가하였다.

• 한국지능정보시스템학회:학술대회논문집
• /
• 한국지능정보시스템학회 2007년도 추계학술대회
• /
• pp.294-302
• /
• 2007

멀티 에이전트 강화학습에서 중요한 이슈 중의 하나는 자신의 성능에 영향을 미칠 수 있는 다른 에이전트들이 존재하는 동적 환경에서 어떻게 최적의 행동 정책을 학습하느냐 하는 것이다. 멀티 에이전트 강화 학습을 위한 기존 연구들은 대부분 단일 에이전트 강화 학습기법들을 큰 변화 없이 그대로 적용하거나 비록 다른 에이전트에 관한 별도의 모델을 이용하더라도 현실적이지 못한 가정들을 요구한다. 본 논문에서는 상대 에이전트에 대한RBFN기반의 행동 정책 모델을 소개한 뒤, 이것을 이용한 강화 학습 방법을 설명한다. 본 논문에서는 제안하는 멀티 에이전트 강화학습 방법은 기존의 멀티 에이전트 강화 학습 연구들과는 달리 상대 에이전트의 Q 평가 함수 모델이 아니라 RBFN 기반의 행동 정책 모델을 학습한다. 또한, 표현력은 풍부하나 학습에 시간과 노력이 많이 요구되는 유한 상태 오토마타나 마코프 체인과 같은 행동 정책 모델들에 비해 비교적 간단한 형태의 행동 정책 모델을 이용함으로써 학습의 효율성을 높였다. 본 논문에서는 대표적이 절대적 멀티 에이전트 환경인 고양이와 쥐 게임을 소개한 뒤, 이 게임을 테스트 베드 삼아 실험들을 전개함으로써 제안하는 RBFN 기반의 정책 모델의 효과를 분석해본다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2003년도 춘계 학술대회 학술발표 논문집
• /
• pp.157-161
• /
• 2003

본 논문에서는 차량의 주행경로 최적화를 위해 강화학습 개념을 적용하고자 한다. 강화학습의 특징은 관심 대상에 대한 구체적인 지배 규칙의 정보 없이도 최적화된 행동 방식을 학습시킬 수 있는 특징이 있어서, 실제 차량의 주행경로와 같이 여러 교통정보 및 시간에 따른 변화 등에 대한 복잡한 고려가 필요한 시스템에 적합하다. 또한 학습을 위한 강화(보상, 벌칙)의 정도 및 기준을 조절해 즘으로써 다양한 최적주행경로를 제공할 수 있다. 따라서, 본 논문에서는 강화학습 알고리즘을 이용하여 다양한 최적주행경로를 제공해 주는 시스템을 구현한다.

• 정보처리학회논문지B
• /
• 제10B권7호
• /
• pp.795-802
• /
• 2003

로봇이나 가상 캐릭터와 같은 지능형 에이전트가 자율적으로 살아가기 위해서는 주어진 환경을 인식하고, 그에 맞는 최적의 행동을 선택하는 능력을 가지고 있어야 한다. 본 논문은 이러한 지능형 에이전트를 구현하기 위하여, 외부 환경에 적응하면서 최적의 행동을 배우고 선택하는 방법을 연구하였다. 본 논문에서 제안한 방식은 강화 학습을 이용한 행동기반 학습 방법과 기호 학습을 이용한 인지 학습 방법을 통합한 방식으로 다음과 같은 특징을 가진다. 첫째, 강화 학습을 이용하여 환경에 대한 적응성을 학습함으로 지능형 에이전트가 변화하는 환경에 대한 유연성을 가지도록 하였다. 둘째, 귀납적 기계학습과 연관 규칙을 이용하여 규칙을 추출하여 에이전트의 목적에 맞는 환경 요인을 학습함으로 주어진 환경에서 보다 빠르게, 확장된 환경에서 보다 효율적으로 행동을 선택을 하도록 하였다. 셋째, 본 논문은 지능형 에이전트를 구현하는데 있어서 처음부터 모든 상태를 고려하기 보다 상태 탐지기를 이용하여 새로운 상태가 입력될 때마다 상태를 확장시키는 방식을 이용하였다. 이러한 방식은 필요한 상태에 대하여서만 고려함으로 메모리를 획기적으로 축소 할 수 있으며, 새로운 상태를 동적으로 처리 할 수 있어, 환경에 대한 변화에 능동적으로 대처 할 수 있다.