• Proceedings of the Korean Information Science Society Conference
• /
• 2006.06b
• /
• pp.106-108
• /
• 2006

강화 학습은 누적 보상 값을 최대화할 수 있는 행동 선택 전략을 학습하는 온라인 학습의 한 형태이다. 효과적인 강화학습을 위해 학습 에이전트가 매 순간 고민해야 하는 문제가 탐험(exploitation)과 탐색(exploration)의 문제이다. 경험과 학습이 충분치 않은 상태의 에이전트는 어느 정도의 보상 값을 보장하는 과거에 경험한 행동을 선택하느냐 아니면 보상 값을 예측할 수 없는 새로운 행동을 시도해봄으로써 학습의 폭을 넓힐 것이냐를 고민하게 된다. 특히 단일 에이전트에 비해 상태공간과 행동공간이 더욱 커지는 다중 에이전트 시스템의 경우, 효과적인 강화학습을 위해서는 상태 공간 축소방법과 더불어 탐색의 기회가 많은 행동 선택 전략이 마련되어야 한다. 본 논문에서는 로봇축구 Keepaway를 위한 효율적인 다중 에이전트 강화학습 방법을 설명한다. 이 방법의 특징은 상태 공간 축소를 위해 함수근사방법의 하나인 타일 코딩을 적용하였고, 다양한 행동 선택을 위해 룰렛 휠 선택 전략을 적용한 것이다. 본 논문에서는 이 방법의 효과를 입증하기 위한 실험결과를 소개한다.

• Proceedings of the KIEE Conference
• /
• 2007.10a
• /
• pp.119-120
• /
• 2007

본 논문에서는 실내의 고정된 단일 칼라 카메라에서 획득된 비디오 스트림으로부터 사람의 행동을 인식하기 위한 시스템을 제안한다. 제안된 시스템은 사람의 시공간적 상태 변화와 사람의 시선 방향을 이용하여 규칙기반으로 행동을 인식한다. 사람의 의미 있는 상태변화를 이벤트로, 이벤트의 시퀀스 즉, 사람의 행동을 시나리오로 정의하였다. 따라서 입력비디오 스트림에서 사람의 상태변화로 이벤트를 검출하고, 검출된 이벤트의 시퀀스로 사람의 행동을 인식한다. 사람의 시선은 얼굴과 머리 영역의 색정보를 이용한 시선 방향 추정 방법으로 찾아지며, 사람의 상태 변화는 사람의 위치와 키 등을 이용하여 검출된다. 본 시스템은 실내 환경에서 획득한 비디오에서 실험하였으며, 실험결과 시선 방향에 의해 서로 다른 행동을 구분하여 인식할 수 있었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2000.04a
• /
• pp.1027-1030
• /
• 2000

객체 지향 프로그램의 이해 및 테스팅을 효과적으로 수행하기 위해서는 객체 간의 상호 작용을 우선 이해하여야 한다. UML로 작성된 시스템 명세에서는 각각의 클래스에 대한 행동이 UML 상태 다이어그램으로 기술되어 있어 전체 시스템의 행동을 유추하는데 어려움이 따른다. 이 연구에서는 객체 지향 프로그램의 상태 다이어그램을 기반으로 객체간 행동 테스팅을 수행하기 위해서 UML 상태 다이어그램들을 합성하여 객체간 행동을 추출, 생성하는 과정을 기술한다. 추출, 합성된 객체간 행동 모델은 기존의 널리 알려진FSM 기반 테스팅 기법들을 그대로 이용할 수 있다.

• Journal of Digital Convergence
• /
• v.13 no.11
• /
• pp.549-559
• /
• 2015

The purpose of this study was to verify whether there are any differences in the level of exercise self-efficacy and perceived health status according to the stage of change for exercise behaviors in older adults. The subjects consisted of 231 older adults (91 male, 140 female) by convenience sampling residing in city D. The collected dates were analyzed using one-way ANOVA, Tukey HSD, and simple regression analysis by SPSS WIN 21.0 program. Moreover, all statistical significance level was set at a=.05. The study results were as follows: Analysis of variance showed that exercise self-efficacy showed significant differences according to the stage of change for exercise behaviors, and as a result of the posthoc analysis, it was found that as the stage became higher, their exercise self-efficacy became higher as well. Perceived health status showed significant differences according to the stage of change for exercise behaviors, and as a result of the posthoc analysis, it was found that as the stage became higher, their perceived health status became higher as well. Analysis of variance showed that exercise self-efficacy and perceived health status were significantly associated with the stages of exercise behavior change. This study identified that exercise self-efficacy and perceived health status were significant variables to explain a possible relationship with exercise stages of older adults. This study provides new information to influence the development of the better health promotion and exercise intervention for older adults in the community.

• Journal of Korea Game Society
• /
• v.14 no.5
• /
• pp.127-136
• /
• 2014

NPC in game is an important factor to increase the fun of the game by cooperating with player or confrontation with player. NPC's behavior patterns in the previous games are limited. Also, there is not much difference in NPC's ability among the existing games because it's designed to FSM. Therefore, players who have matched with NPCs which have the characteristics may have difficulty to play. This paper is for improving the problem and production and evaluation of the game NPC behavior model based on wolves hunting model in real life. To achieve it, first, the research surveys and studies behavior states for wolves to capture prey in the real world. Secondly, it is implemented using the Unity3D engine. Third, this paper compares the implemented state transition probability to state transition probability in real world, state transition probability in general game. The comparison shows that the number of state transitions of NPCs increases, proportions of implemented NPC behavior patterns converges to probabilities of state transition in real-world. This means that the aggressive behavior pattern of NPC implemented is similar to the wolf hunting behavior pattern of the real world, and it can thereby provide more player experience.

• Korean Journal of Childcare and Education
• /
• v.7 no.1
• /
• pp.149-166
• /
• 2011

This research examined childcare center teachers' health status, health behavior, childcare quality, and the relationship among them. The subjects were 281 child-care center teachers in Kyunggi Province and Seoul. Data were analyzed using One Way ANOVA and Pearson Correration. Results showed that the score of child-care center teachers' health status was low. The teachers whose career were 3-5 years and whose ages were below 30s and 40s had the best health status. The score of teachers' health behavior score was low. Teachers whose career were 5-10 years had the best health behaviors in mental health and teachers whose career were 3-5 years had the best health behaviors in physical health and whose age were below 30s and 40s had the best health behaviors in mental health. Childcare center teachers' health status, health behavior, and childcare quality had positive relation reciprocally.

• Journal of Korea Multimedia Society
• /
• v.9 no.5
• /
• pp.649-657
• /
• 2006

Reinforcement Learning is a computational approach to learning whereby an agent take an action which maximize the total amount of reward it receives among possible actions within current state when interacting with a uncertain environment. Q-learning, one of the most active algorithm in Reinforcement Learning, is consist of rewards which is obtained when an agent take an action. But it has the problem with mapping real world to discrete states. When state spaces are very large, Q-learning suffers from time for learning. In constant, when the state space is reduced, many state spaces map to single state space. Because an agent only learns single action within many states, an agent takes an action monotonously. In this paper, to reduce time for learning and complement simple action, we propose the Q-learning using influence map(QIM). By using influence map and adjacent state space's learning result, an agent could choose proper action within uncertain state where an agent does not learn. When this paper compares simulation results of QIM and Q-learning, we show that QIM effects as same as Q-learning even thought QIM uses 4.6% of the Q-learning's state spaces. This is because QIM learns faster than Q-learning about 2.77 times and the state spaces which is needed to learn is reduced, so the occurred problem is complemented by the influence map.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2016.01a
• /
• pp.267-269
• /
• 2016

본 논문에서는 언리얼 엔진4의 Behavior Tree(행동 트리)를 이용하여 NPC의 다양한 상태와 움직임을 가진 어드벤처 게임 AI를 설계 및 개발하였고, 그 효율성을 분석하였다. Behavior Tree는 상태와 행동을 계층적으로 나누어 AI의 행동을 결정하는 알고리즘으로 FSM(Finite State Machine, 유한상태기계)과 비교하여 유지보수와 행동 규칙 검증의 어려움을 해결하는 데 장점이 있음을 확인하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.04b
• /
• pp.550-552
• /
• 2004

가상공간에는 PC(Playerable Character), NPC(Non-Playerable Character)등의 동적 객체와 건물, 지형 등의 정적 객체들이 존재하게 된다. 동적 객체들의 경우, 현실감을 위해 인공지능이 자주 이용된다 현재까지 인공지능에 대한 연구는 유한상태기계(Finite State Machine. FSM). 학습 알고리즘, 유전자 알고리즘, 신경망 알고리즘 등을 중심으로 진행되어 왔다. 이중 유한상태기계는 비교적 알고리즘이 간단하고, 시스템의 부담이 적어 간단한 객체의 인공지능으로 가장 널리 사용되고 있다. 본 논문은 유찬상태기계를 확장하여 모드변경(Mode Change)과 그룹행동을 보여줄 수 있는 XML을 활용한 FSM 시스템을 제안한다. 여기서 모드변경이란 하나의 행동 패턴에서 다른 행동 패턴으로 변경하는 것을, 그룹행동은 여러 객체가 함께 행동하는 Flocking기법을 지칭한파. 이러한 XML을 활용한 FSM 시스템은 다양한 패턴의 정의는 물론, 객체의 상태 정의 및 수정, 확장이 용이하여, 다양한 응용 분야에서 활용될 수 있다.

• Journal of KIISE:Computing Practices and Letters
• /
• v.16 no.4
• /
• pp.477-481
• /
• 2010

In this paper, we try to classify behavior patterns of a person around a bed based on a wireless sensor network system. We define five behavioral patterns and three states of a person around a bed which is described by a state machine. We collected data sensed by motion detection and vibration sensors installed around a bed from which a feature vector was extracted. Based on feature vector corresponding to behavioral patterns and the state machine, we established a model for behavioral patterns. To validate the model, experiments on subjects were performed and the model was fixed. These experimental results revealed that behavior patterns of a person around a bed can be classified well.