• 한국멀티미디어학회논문지
• /
• 제9권5호
• /
• pp.649-657
• /
• 2006

강화학습이란 환경에 대한 정보가 주어지지 않았을 때 현재의 상태에서 가능한 행동들을 취한 후 얻어지는 보상값이 가장 큰 행동을 최적의 행동 전략으로 학습하는 것이다. 강화학습에서 가장 많이 사용하는 Q-학습은 환경의 특정 상태에서 가능한 행동 중에 하나를 선택해서 취한 행동으로 얻어지는 보상값으로 구성되는데 실세계 상태를 이산값으로 표현하기에는 많은 어려움이 있다. 상태를 많이 정의하면 그만큼 학습에 필요한 시간이 많아지게 되고 반대로 상태 공간을 줄이면 다양한 환경상태를 한 개의 환경상태로 인지를 하고 그 환경에 맞는 한 가지의 행동만 취하도록 학습하기 때문에 행동이 단순해진다. 본 논문에서는 학습 시간을 단축하기 위해 상태 공간을 줄이는 데서 발생하는 행동의 단순화의 단점을 보완하기 위한 방법으로 영향력 분포도를 이용한 Q-학습 방법을 제안한다. 즉, 영향력 분포도와 인접한 학습 결과를 이용해서 학습하지 못한 중간 상태에 적합한 행동을 취하게 하여 동일한 상태 개수에 대해서 학습 시간을 단축하는 것이다. 동일한 학습 시간 동안에 일반적인 강화학습 방법으로 학습한 에이전트와 영향력 분포도와 강화학습을 이용해서 학습한 에이전트의 성능을 비교해 보았을 때 영향력 분포도와 강화학습을 이용해서 학습한 에이전트가 단지 일반적인 강화학습에 필요한 상태공간의 4.6%만 정의를 하고도 성능 면에서는 거의 비슷한 효과를 볼 수가 있음을 확인하였다. 이는 영향력 분포도와 강화학습을 이용한 학습이 일반적인 강화학습에 비해서 학습 속도가 2.77배정도 빨리 이루어지고 실제 학습해야 할 상태 공간의 개수가 적어져서 발생되는 문제를 영향력 분포도를 이용해서 보완을 하기 때문이다.

• 한국콘텐츠학회논문지
• /
• 제8권1호
• /
• pp.308-317
• /
• 2008

실시간으로 렌더링 되는 인터렉티브한 3D 가상공간에서 객체들은 일정한 조건을 고려한 이 벤트 발생에 따라 상호작용이 가능하다. 그러나 이러한 상호작용의 행동 표현을 위해서는 이벤트의 조건과 행동 패턴들이 거의 일대일 대응되어야 한다. 이는 미리 규정한 패턴 수가 미흡할 때 사실적인 행동을 하지 못하며 다양한 행동패턴의 표현을 위해서는 그 만큼 고려되어야하는 이벤트의 조건이 늘어나게 되므로 전체 시스템의 복잡도를 증가시키는 문제점을 야기한다. 따라서 본 논문에서는 탄성 모멘텀을 이용한 물리학적 접근 방법을 적용하고 가변형 다중 센서를 이용하여 Artificial Fish의 움직임을 보다 사실적으로 표현할 수 있고 하나의 회피 이벤트에 대해 다양한 행동 패턴 생성이 가능한 새로운 방법을 제시한다.

• 전자공학회논문지CI
• /
• 제39권3호
• /
• pp.62-78
• /
• 2002

본 논문에서는 인간의 행동을 컴퓨터에게 인식시켜 가상의 공간에 존재하는 에이전트(agent)들과 상호 작용이 가능한 시스템을 구현하였다. 이 시스템은 크게 행동을 인식하는 인식 시스템과 인식 정보를 통해 미리 구성한 가상 공간에 존재하는 여러 에이전트간의 상호 작용을 하는 시스템으로 구성되어있다. 인식 시스템은 동작자의 연속적인 행동을 CCD카메라로부터 입력받아 각각의 프레임에 대해 머리와 손의 특징을 추출한다. 그리고, 추출된 정보를 연속적인 시간의 흐름에 대해 해석을 한 후, 동작을 인식한다. 상호 작용 시스템을 위해 동작자의 분신인 아바타(avatar), 자율적으로 행동하는 퍼피(puppy), 그리고 비자율적인 객체인 탁자, 문, 창문, 공과 같은 이동이 가능한 오브젝트(object)들이 존재하는 가상 공간을 구현하였다. 인식된 동작은 상호 작용 시스템을 통해 가상 공간의 아바타에게 전달이 된다. 아바타의 동작 천이는 상태 천이도를 바탕으로 이루어진다. 상태 천이도는 각각의 동작이 노드로 정의되고, 그 노드들을 종속적으로 연결한 그래프로 구성된다. 아바타는 문과 창문을 여닫고, 오브젝트를 잡거나 이동할 수 있다. 또 퍼피에게 명령을 내리거나 퍼피의 동작에 대한 응답을 할 수 있다.

• 한국게임학회 논문지
• /
• 제11권1호
• /
• pp.111-120
• /
• 2011

가상세계에서 다중 에이전트들의 집단행동을 사실적으로 시뮬레이션하는 것은 중요하다. 대부분의 기존 연구가 개방된 공간에서의 집단행동에 초점 맞춘 반면, 본 논문은 제한된 공간에서 조종력을 이용한 집단행동에 대하여 연구한다. 에이전트들은 제한된 공간에서 하나의 공동 목적지를 가지며, 다른 에이전트와 충돌을 피하면서 목적지로 이동하여야 한다. 이러한 환경에서 세 가지 가능한 에이전트 모델을 제시 하였으며, 각 모델에 필요한 여섯 가지 조종력도 제안하였다. 제안된 모델의 올바름을 보이기 위하여 모델들을 시뮬레이션 하였다. 시뮬레이션 결과는 벽들과 출입구에 따라 각 에이전트가 목적지에 도착하는 시간은 달랐지만, 단순히 조종력만을 사용하는 제안된 모델들이 제한된 공간에서 잘 동작하는 것을 보였다.

• 한국도서관정보학회지
• /
• 제36권4호
• /
• pp.177-198
• /
• 2005

본 연구는 다양한 연령층의 이용자를 서비스대상으로 하는 어린이 도서관 및 어린이실의 공간계획을 위한 기초적 데이터를 제시하는데 그 목적이 있다. 연구방법은 체류자 점유조사와 행동관찰조사를 통하여 서로 다른 공간유형을 갖는 4개의 어린이실의 어린이와 동반가족을 대상으로 데이터를 수집하여 이를 공간구성의 특성에 비추어 분석하는 방법을 사용하였다. 조사 결과를 크게 다섯 가지로 요약할 수 있다. 첫째, 도서관의 입지 조건과 이용자 속성이 어린이실 면적 규모를 결정하는데 영향을 미치고 있었다. 둘째, 어린이실에는 어린이 이외의 다양한 연령층이 이용하고 있었다. 셋째, 어린이는 연령 단계별로 서로 다른 행동 패턴을 나타내고 있었다. 넷째, 각 영역별로 다양한 독서환경을 조성할 필요가 있다. 다섯째 가족, 형제 및 친구와 같은 그룹 이용과 단독 이용에 의해 선택되어지는 체류 장소에서 주로 보이는 행위의 내용과 공간 및 가구의 특성을 공간계획을 위한 키워드로 정리하여 제시하였다.

• 한국콘텐츠학회논문지
• /
• 제16권1호
• /
• pp.274-284
• /
• 2016

본 연구는 테마형 박물관 중 하나인 춘천 애니메이션 박물관의 어린이 놀이공간(에어바운스)을 대상으로 실제 공간을 이용하는 어린이들의 놀이행태와 놀이환경을 분석하였다. 이를 위해 어린이들의 특성을 고려하여 사용자 조사법 중 사용자 관찰법과 사용자 행동 인터뷰 조사를 병행하였다. 사용자 관찰법을 통해 연구 대상지의 어린이 놀이행태를 분석한 결과, 신체 운동, 정서, 인지, 사회성 발달과 관련된 놀이행태가 모두 관찰되었으나, 매달리거나 역할놀이와 같은 일부 행동은 관찰되지 않았다. 사용자 관찰법과 인터뷰 조사 등을 종합하여 이용밀도(수용력) 제한, 연령별 공간구분, 동반자 대기공간 조성, 아동과 동반자간 친밀감형성을 위한 공간 조성, 안전요원의 배치 등의 다양한 계획적 함의들이 도출되었다. 이러한 연구결과는 추후 유사한 어린이 놀이공간의 계획 및 설계단계에서 유용한 가이드라인으로 활용될 수 있을 것이다.

• 한국심리학회지 : 문화 및 사회문제
• /
• 제10권3호
• /
• pp.83-101
• /
• 2004

본 연구는 사이버 공간에서 자기 자신과 타인의 실재(實在)에 대한 지각을 높이는 방편으로써 사회적실재감((社會的 實在感)이 사이버 공격행동을 감소시킬 수 있는지 알아보고자 하였다. 이를 위해 온라인 게임 "포트리스2 blue forever"에 실험자가 미리 게임방을 개설하고, 실험사실을 알지 못한 채 입장한 피험자 107명을 대상으로 현장실험을 실시하였다. 피험자는 미리 대기하고 있던 3명의 실험자들과 게임시작 전에 이루어지는 채팅을 통하여 사회적 실재감 수준을 조절한 '통제집단', '실험집단1', '실험집단2' 의 세 집단에 각기 할당되었다. 이후 게임 중 피험자의 언어적 공격행동과 캐릭터를 이용한 공격행동의 빈도를 관찰한 결과, 통제집단의 피험자들은 실험집단의 피험자들보다 유의하게 더 많은 언어적 공격행동과 캐릭터 공격행동을 보였다. 한편, 사회적 실재감의 획득 경로에 따른 차이를 알아보기 위해 실험집단1과 2를 비교한 결과 피험자의 말과 행동에 대한 반응만을 처치한 집단1의 피험자는 자기노출을 추가 처치한 실험집단2의 피험자보다 언어적 공격행동을 유의하게 더 많이 한 반면, 캐릭터 직접 공격행동에서는 두 집단 간 차이를 보이지 않았다. 본 연구는 실명제나 처벌을 강제하지 않고 사이버 공격행동을 줄일 수 있는 가능성을 제시하고, 사회적 실재감과 사이버 공격행동의 관계를 밝혔다는 의의가 있다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (2)
• /
• pp.55-57
• /
• 2001

강화학습은 한 에이전트가 자신이 놓여진 환경으로부터의 보상을 최대화할 수 있는 최적의 행동 전략을 학습하는 것이다. 따라서 강화학습은 입력(상태)과 출력(행동)의 쌍으로 명확한 훈련 예들이 제공되는 교사 학습과는 다르다. 특히 Q-학습과 같은 비 모델 기반(model-free)의 강화학습은 사전에 환경에 대한 별다른 모델을 설정하거나 학습할 필요가 없으며 다양한 상태와 행동들을 충분히 자주 경험할 수만 있으면 최적의 행동전략에 도달할 수 있어 다양한 응용분야에 적용되고 있다. 하지만 실제 응용분야에서 Q-학습과 같은 강화학습이 겪는 최대의 문제는 큰 상태 공간을 갖는 문제의 경우에는 적절한 시간 내에 각 상태와 행동들에 대한 최적의 Q값에 수렴할 수 없어 효과를 거두기 어렵다는 점이다. 이런 문제점을 고려하여 본 논문에서는 로봇 축구 시뮬레이션 환경에서 각 선수 에이전트의 동적 위치 결정을 위해 효과적인 새로운 Q-학습 방법을 제안한다. 이 방법은 원래 문제의 상태공간을 몇 개의 작은 모듈들로 나누고 이들의 개별적인 Q-학습 결과를 단순히 결합하는 종래의 모듈화 Q-학습(Modular Q-Learning)을 개선하여, 보상에 끼친 각 모듈의 기여도에 따라 모듈들의 학습결과를 적응적으로 결합하는 방법이다. 이와 같은 적응적 중재에 기초한 모듈화 Q-학습법(Adaptive Mediation based Modular Q-Learning, AMMQL)은 종래의 모듈화 Q-학습법의 장점과 마찬가지로 큰 상태공간의 문제를 해결할 수 있을 뿐 아니라 보다 동적인 환경변화에 유연하게 적응하여 새로운 행동 전략을 학습할 수 있다는 장점을 추가로 가질 수 있다. 이러한 특성을 지닌 AMMQL 학습법은 로봇축구와 같이 끊임없이 실시간적으로 변화가 일어나는 다중 에이전트 환경에서 특히 높은 효과를 볼 수 있다. 본 논문에서는 AMMQL 학습방법의 개념을 소개하고, 로봇축구 에이전트의 동적 위치 결정을 위한 학습에 어떻게 이 학습방법을 적용할 수 있는지 세부 설계를 제시한다.

• 한국통신학회논문지
• /
• 제38A권1호
• /
• pp.1-9
• /
• 2013

본 논문에서는 CS-LBP (Center-Symmetric Local Binary Pattern) 특징과 공간 피라미드를 이용한 BoF (Bag of Features)를 생성하고 이를 랜덤 포레스트(Random Forest) 분류기에 적용하여 인간의 행동을 인식하는 알고리즘을 제안한다. BoF를 생성하기 위해 영상을 균일한 패치로 나누고, 각 패치 마다 CS-LBP 특징을 추출한다. 행동 분류 성능을 향상시키기 위해 패치들마다 추출한 특징벡터들에 대해 K-mean 클러스터링을 적용하여 코드 북을 생성한다. 본 논문에서는 영상의 지역적인 특성을 고려하기 위해 공간 피라미드 방법을 적용하고 각 공간 레벨에서 추출된 BoF에 대해 가중치를 적용하여 최종적으로 하나의 특징 벡터로 결합한다. 행동 분류를 위해 결정트리의 앙상블로 이루어진 랜덤 포레스트는 학습 단계에서 각 행동 클래스를 위한 분류 모델을 만든다. 가중 BoF가 적용된 랜덤 포레스트는 다양한 인간 행동 영상을 포함하고 있는 Standford Actions 40 데이터를 성공적으로 분류하였다. 또한 기존 방법에 비해 분류 성능이 유사하거나 우수하며, 한 장의 영상에 대해 빠른 인식속도를 보였다.

• 한국콘텐츠학회:학술대회논문집
• /
• 한국콘텐츠학회 2010년도 춘계 종합학술대회 논문집
• /
• pp.428-430
• /
• 2010

가상현실에서 실제 사람처럼 행동하는 가상거주자는 스스로 주변의 상황을 판단하고 평가를 내리게 된다. 이러한 상황에 대한 판단은 얼마나 정확하고 다양한 자료가 주어졌느냐에 따라서 달라지게 된다. 본 논문에서는 Spatio-temporal graph(ST graph)를 사용하여 시간과 공간에 대한 데이터를 정의하고, ontology의 개념을 더하여 다양한 상황에 대한 표현이 가능하게 하였다. 이 표현 방법으로 가상거주자는 어떠한 상황을 마주하더라도 주변 환경이나 공간에 대한 데이터를 가지고 분석하여 필요한 행동을 할 수 있게 될 것이다.