• Title/Summary/Keyword: 유한상태머신

Search Result 30, Processing Time 0.035 seconds

농구 게임에서 상태 정규화 및 Dense 보상 기반 강화 학습 기법 (State Normalization and Dense Reward Based Reinforcement Learning Method in Basketball Game.)

  • 최태혁;조경은
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.475-477
    • /
    • 2022
  • 최근 강화 학습을 적용한 게임 AI 에 대한 연구가 활발히 진행되고 있다. 하지만 대부분 상용게임은 유한 상태 머신(Finite State Machine, FSM)을 이용한 스크립트 기반 AI 를 사용하기 때문에 복잡한 환경의 게임에서 불안정한 상태로 인해 적절한 강화 학습의 수행이 어렵다. 따라서 본 논문에서는 상용 게임 강화 학습 적용을 위하여 상태 정규화 및 Dense 보상 기반 강화 학습 기법을 제안한다. 제안한 기법을 상용 농구 게임에 적용하고 학습된 모델의 성능을 기존 FSM 기반 AI 와 비교를 통해 성능이 약 80% 증가한 결과를 확인하였다.

파라미터를 고려한 컴포넌트 인터페이스의 최적 테스트 시퀀스 생성 기법

  • 신영술;이우진
    • 정보처리학회지
    • /
    • 제18권1호
    • /
    • pp.33-42
    • /
    • 2011
  • 컴포넌트의 외부 행위는 파라미터를 가진 인터페이스로 정의된다. 소프트웨어 개발자는 컴포넌트를 테스트하기 위해 인터페이스를 통해 각기 다른 파라미터의 값을 반복적으로 입력하고, 입력값에 따른 출력값을 관찰한다. 테스팅에 소요되는 시간을 줄이기 위해 테스트 케이스를 자동으로 실행하는 테스팅 자동화 도구가 효율적이지 않은 테스트 시퀀스를 수행한다면 테스팅 자동화의 효과는 줄어든다. 유한 상태 머신을 기반으로 하는 기존의 테스트 시퀀스 생성 기법들은 파라미터를 가진 인터페이스 테스팅에 최적화된 테스트 시퀀스를 제공하지 않는다. 이 연구는 컴포넌트 인터페이스를 파라미터를 고려한 상태 모델로 표현하고 최적의 시퀀스 생성 기법을 제안한다. 최적의 시퀀스 생성 기법은 파라미터를 가진 상태 기반의 행위 모델에서 특정 간선을 원하는 회수만큼 수행을 보장하는 시퀀스를 생성하며, 생성된 시퀀스는 최적의 테스트 수행 시간을 갖는다.

  • PDF

SenOS : 동적 센서 노드 재구성을 위한 상태 기반 운영 체제 구조 (SenOS: State-driven Operating System Architecture for Dynamic Sensor Node Reconfigurability)

  • 홍성수;김태형;한승현;박선희
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (1)
    • /
    • pp.349-351
    • /
    • 2003
  • 무선 센서 네트웍은 동작 환경과 구조가 매우 특이하du 개발자들은 센서 네트웍의 노드를 디자인할 때 많은 제약 조건들과 요구 조건들을 고려해야 한다. 먼저 우선 센서 네트웍 상의 각 센서 노드에는 극도로 제한된 하드웨어 자원 조건 하에서도 무선 통신 기능뿐만 아니라 동시에 여러 이벤트를 재빠르게 처리할 수 있는 기능이 포함되어야 한다. 또한 환경과 응용 프로그램의 변화에 잘 대처하기 위해 런타임(run-time)에 각 센서 노드들을 동적으로 재구성할 수 있는 기능이 제공되어야 한다. 이러한 디자인 요구 조건들과 제약 조건들은 얼핏 서로 상반된 것처럼 보이는데, 무선 센서 노드들을 위한 실행 환경을 디자인할 때는 이러한 조건들을 모두 만족시킬 수 있는 운영 체제가 반드시 필요하다. 본 논문에서 우리는 무선 센서 노드들을 위한 매우 효율적이고 효과적인 유한 상태 머신(finite state machine) 기반의 운영체제, SenOS를 제안한다. 또한 새로운 운영 체제인 SenOS가 극도의 제한적인 자원에서도 동시성과 반응성, 재구성성의 요구 조건을 모두 만족시키면서 동작할 수 있다는 것을 보일 것이다.

  • PDF

Mobile Display Digital Interface 표준용 영상 데이터 전송기 설계 (Design of Image Data Transmitter for Mobile Display Digital Interface)

  • 이호경;김태호;강진구
    • 전기전자학회논문지
    • /
    • 제13권4호
    • /
    • pp.50-56
    • /
    • 2009
  • 본 논문은 MDDI(Mobile Display Digital Interface) 표준을 이용하여 휴대용 디지털 미디어 기기에서 사용 가능한 영상 데이터 전송 시스템을 구현하였다. 설계된 영상 데이터 전송 시스템은 QVGA급 영상을 전송하기 위해 필요한 연결선 수 6개를 사용한다. 본 논문에서는, MDDI의 영상관련 9개의 패킷을 사용하였고, 패킷프로세서는 유한상태머신 기반의 설계로 이루어졌다. Xilinx 사의 FPGA virtex4-LX60을 이용하여 제작 및 검증을 수행하였다. 설계된 영상 데이터 전송 시스템은 6개의 연결선 수로 363Mbps 데이터 전송 대역폭을 갖는다. 이는 24비트 RGB 50만 화소의 영상 데이터를 초당 30 프레임까지 전송할 수 있는 성능이다.

  • PDF

셀룰러 오토마타 기반 해쉬 함수 분석 (Analysis of hash functions based on cellular automata)

  • 정기태;이제상;장동훈;성재철;이상진
    • 정보보호학회논문지
    • /
    • 제14권6호
    • /
    • pp.111-123
    • /
    • 2004
  • 해쉬 함수란 임의의 길이의 비트 열을 입력으로 하여 고정된 길이의 비트 열을 출력하는 함수이다. 셀룰러 오토마타는 유한상태머신으로서 인접한 셀과의 결합 논리로 의사난수를 효과적으로 생성할 수 있는 특성을 가지고 있다. 신상욱 등$^{[1]}$ 과 Mihaljevic 등$^{[7]}$ 은 하드웨어 구현에 효율적인 셀룰러 오토마타에 기반한 해쉬 함수를 제안하였다. 본 논문에서는 [1]과 [7]에서 제안된 셀룰러 오토마타 기반 해쉬 함수에 대한 충돌 쌍을 각각 0.46875와 0.5의 확률로 찾을 수 있음을 보인다.

톱니맵을 이용한 상태머신의 설계 (Design of The State machine using the Saw-Tooth Map)

  • 서용원;서은미;박광현
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2009년도 제40회 하계학술대회
    • /
    • pp.1937_1938
    • /
    • 2009
  • 이 논문에서는 1차원 혼돈맵들 중의 하나인 톱니맵을 8비트의 유한정밀도로 이산화시켜 설계하였고, 이 이산화된 톱니맵을 사용한 혼돈 2진 순서 발생기의 회로도도 제시하였다. 설계된 혼돈맵의 실제 구현은 이산화된 진리표로부터 얻어진 출력변수의 간략화된 부울함수에 따른 입력선과 출력선들의 정확한 연결만에 의해 실현하였다. 최대길이를 발생시키는 선형궤환시프트레지스터(mLFSR)에 의해 발생되는 난수성 2진 출력 순서들을 이산화된 톱니맵의 입력순서로 사용함으로써 결과적으로 최소 8배 더 긴 주기를 갖는 혼돈 2진 순서들을 발생시켰다.

  • PDF

이기종 센서 노드 네트워크를 위한 센서용 질의처리 향상 (Improving Sensor Query Processing for Heterogeneous Sensor Networks)

  • 김민규;김태형
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (D)
    • /
    • pp.189-194
    • /
    • 2007
  • 자원 제약적인 무선 센서네트워크상에서 전송비용을 최대한 줄이기 위하여 데이터의 수집 및 처리를 분산된 형태로 처리하는 방법이 필수적이다. 이에 따라 Declarative Query Language를 이용하여 다양한 질의를 표현하고, 이와 같은 질의를 효율적으로 처리하기 위한 에너지 분산 질의처리 방법이 중요한 이슈로 부각되고 있다. 본 논문은 [3]의 확장된 논문으로써 유한 상태 머신 기반 운영체제인 SenOS상에서 질의를 처리할 수 있는 시스템의 구조 중 SenOS의 동적 재구성 기능적 특성을 적용한 SenDB의 동적 Aggregation Function 추가 기능에 대하여 살펴보았다. 아울러 [3]에서 제안한 이기종 센서노드 연동기능의 개선점 및 구현 방법에 대하여 살펴보겠다.

  • PDF

물리엔진으로 구현한 지능형 주행 시스템 (Intelligent Driving Agent System which uses Physics Engine)

  • 김태현;김동현;신동일;신동규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2008년도 한국컴퓨터종합학술대회논문집 Vol.35 No.1 (C)
    • /
    • pp.295-298
    • /
    • 2008
  • 본 논문에서는 물리엔진 기반으로 지능형 주행 시스템을 구현하여 사용자에게 쾌적한 주행 환경을 제공하여 사용자가 즐거움을 느낄 수 있도록 하는 것에 목적을 두고 있다. 이를 위해 시스템 환경 내에서 사용자의 위치 및 회전각을 추출한 다음 유한 상태 머신과 베이즈 이론에 입각하여 구현된 모듈에 입력하여서 분석을 한다. 그리고 모듈에서 나온 분석 결과를 장애물이나 커브 구역에서 제공 함으로서 사용자가 현 위치에 따른 환경을 인지하여 좀 더 나은 주행을 할 수 있도록 하였다. 또한 시스템 내부적으로 분석된 자료가 주행 시스템에 피드백 과정을 통해 입력되어 자동적으로 환경에 적응하여 주행 시간을 단축하는 시스템을 설계 하였고, 일부 기능에 대한 구현을 완료하였다.

  • PDF

잡음이 첨가된 연속음성에서의 자동 음절분할 알고리즘 (Automatic Syllable Segmentation Algorithm in Noise Additional Continuous Speech)

  • 김영섭;김창근;차영동;이광석;허강인
    • 융합신호처리학회 학술대회논문집
    • /
    • 한국신호처리시스템학회 2006년도 하계 학술대회 논문집
    • /
    • pp.17-20
    • /
    • 2006
  • 본 논문에서는 잡음이 첨가된 연속음성에서의 자동 음절분할을 위해 기존에 사용되고 있는 특징 파라미터인 단구간 에너지 이외에 잡음에 강인한 특성을 가지고 있는 새로운 특징인 스펙트럼 밀도비교척도와 의사역행렬을 이용한 선형판별함수를 제안한다. 기존에 사용되는 단구간 에너지는 잡음이 없는 환경에서는 좋은 성능을 나타내지만 잡음환경에서는 그렇지 못하다. 반면에 논문에서 제안한 척도들은 반대의 성능을 가지므로 주변잡음의 크기에 따라 각각의 파라미터를 적절한 가중치로 조합하는 음절구간 결정함수와 유한상태 머신을 추가로 사용면 무 잡음 환경뿐만 아니라, 잡음이 첨가된 연속음성에서도 일정수준 이상의 음절구간을 분리해 낼 수 있다.

  • PDF

SenDB: 무선 센서 네트워크용 질의 처리 시스템 (SenDB: Query Processing System for Wireless Sensor Network)

  • 김민규;김도혁;김태형
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (A)
    • /
    • pp.335-339
    • /
    • 2006
  • 자원 제약적인 무선 센서네트워크상에서 전송비용을 최대한 줄이기 위하여 데이터의 수집 및 처리를 분산된 형태로 처리하는 방법이 필수적이다. 또한 Declarative Query를 이용하여 다양한 질의를 표현하고 처리할 필요성이 있다. 센서네트워크 데이터베이스는 이와 밀접한 관련이 있고 본 논문에서는 기존의 센서네트워크 데이터베이스 시스템의 문제점을 분석해보고 해결책을 제안하고자 한다. 아울러 유한 상태 머신 기반의 실행모델을 이용하고 응용의 변화에 대처할 수 있게 동적 재구성 기능을 지원하도록 설계된 SenOS상에서 센서네트워크 질의 처리 시스템의 구조와 설계방법에 대하여 살펴보겠다.

  • PDF