• 제목/요약/키워드: multi-agent control

검색결과 194건 처리시간 0.03초

대 잠수함 HVU 호위 임무 분석 모델링 및 시뮬레이션 (Modeling and Simulation for Anti-submarine HVU Escort Mission)

  • 박강문;이은복;신석훈;한승진;지승도
    • 한국시뮬레이션학회논문지
    • /
    • 제23권4호
    • /
    • pp.75-83
    • /
    • 2014
  • 함정 전투체계는 각종 센서 및 무장을 포함한 플랫폼들을 효율적으로 통제하기 위해서 운용자의 개입을 필요로 한다. 이러한 문제점을 극복하기 위해서 다중 에이전트 기반의 M&S(Modeling and Simulation) 기술이 도입되어 다양한 연구가 이루어져 왔다. 하지만 다중 플랫폼간의 높은 임무 복잡도를 필요로 하는 대 잠수함 전투에 있어서는 M&S 시스템을 통한 전술에 관한 연구가 거의 진행되지 않은 실정이다. 본 연구에서는 다중 에이전트 기반의 M&S 기술을 대 잠수함 전투에 적용하였다. 이를 위해 함정, 잠수함, 헬기 등 다수의 플랫폼을 에이전트 기반으로 모델링함으로써 HVU(High Value Unit) 호위 임무를 위한 모델 구조를 제시하였다. 이를 통해 다양한 전장상황에 대한 다양한 전술 효과도를 분석할 수 있었다. 그 결과 조건별 최적의 전술적 효과를 확인할 수 있었다. 국방 관계자들이 본 연구에서 제안한 방법론을 도입하여 상세한 모델 변수값들을 대입한다면 보다 실질적인 대 잠수함 전술 효과도를 분석해 낼 수 있을 것으로 기대된다.

Effect of high energy ball milling on the structure of iron - multiwall carbon nanotubes (MWCNT) composite

  • Kumar, Akshay;Pandel, U.;Banerjee, M.K.
    • Advances in materials Research
    • /
    • 제6권3호
    • /
    • pp.245-255
    • /
    • 2017
  • High energy ball milling is employed to produce iron matrix- multiwall carbon nanotube (MWCNT) reinforced composite. The damage caused to MWCNT due to harsh ball milling condition and its influence on interfacial bonding is studied. Different amount of MWCNT is used to find the optimal percentage of MWCNT for avoidance of the formation of chemical reaction product at the matrix - reinforcement interface. Effect of process control agent is assessed by the use of different materials for the purpose. It is observed that ethanol as a process control agent (PCA) causes degradation of MWCNT reinforcements after milling for two hours whereas solid stearic acid used as process control agent, allows satisfactory conservation of MWCNT structure. It is further noted that at a high MWCNT content (~ 2wt.%), high energy ball milling leads to reaction of iron and carbon and forms iron carbide (cementite) at the iron-MWCNT interface. At low percentage of MWCNT, dissolution of carbon in iron takes place and the amount of reinforcement in iron matrix composite becomes negligibly small. However, under the present ball milling condition (ball to metal ratio~ 6:1 and 200 rpm vial speed) iron-1wt.% MWCNT composite of good interfacial bonding can retain the tubular structure of reinforcing MWCNT.

지능형 멀티 에이전트 로봇시스템을 위한 통신시스템의 설계 (Design of Communication System for Intelligent Multi Agent Robot System)

  • 김준엽;박승민;고광은;장인훈;심귀보
    • 제어로봇시스템학회논문지
    • /
    • 제18권8호
    • /
    • pp.758-767
    • /
    • 2012
  • In the ad-hoc wireless network environment, that the fixed sensor nodes and the sensor nodes to move are mixed, as the number of the sensor nodes with mobility are getting more, the costs to recover and maintain the whole network will increase more and more. This paper proposed the CDSR (Cost based Dynamic Source Routing) algorithm being motivated from the typical DSR algorithm, that is one of the reactive routing protocol. The cost function is defined through measuring the cost which any sensor node pays to participate in the whole network for communication. It is also showed in this paper that the proposed routing algorithm will increase the efficiency and life of whole sensor network through a series of experiments.

무선 및 유선환경에서 임베디드 멀티에이전트 기반의 쌍방향 건강관리 서비스 (An Embedded Multi-Agent Based Healthcare Service with Two-way Handshaking Mode)

  • 아미르자만;김형중
    • 전자공학회논문지CI
    • /
    • 제45권5호
    • /
    • pp.155-161
    • /
    • 2008
  • 자동화된 건강관리 모니터링은 많은 시간이 소요되고, 많은 문제들이 발생할 수 있다. 왜냐하면 정시에 환자들의 건강 상태에 대한 모니터링 정보를 제공받기 어렵기 때문이다 이 논문에서는 임베디드된 건강 관리 서비스가 iSCSI 프로토콜에 의해 제안된다. 이 프로토콜은 자동화된 멀티에이전트와 제한된 자원의 디바이스들(예. PD4 스마트폰, 테블릿PC)의 협력체계에 기반을 두고 있다. 이 둘의 협력체계는 쌍방향 iSCSI 프로토콜에 의해 유지된다. 자동화된 건강관리 제어는 반복되는 방식에서 매우 유용할 수 있다. 완전 집중화된 제어에서는 이 방법이 적용될 수 없다.

스마트 안전도시 조성을 위한 도로망 특성과 범죄발생 멀티에이전트(Multi-Agent) 시뮬레이션 (Road Networks and Crime Occurrence Multi-Agent Simulation for Smart Safe City)

  • 문태헌;조정훈
    • 한국지리정보학회지
    • /
    • 제18권2호
    • /
    • pp.120-134
    • /
    • 2015
  • 본 연구는 범죄로부터 안전한 생활환경 조성을 위해 도로망의 형태도 범죄발생에 영향을 미칠 것이라는 가정하에 공간구문론(Space Syntax)을 활용하여 사례지역을 대상으로 실증 분석하였다. 즉 도로별로 통합도, 통제도, 연결도를 공간구문론으로 계산하고, 각 도로별 실제 범죄발생 건수와 상관성을 분석하였다. 다음으로 분석결과를 일반화할 수 있는지를 확인하기 위해 멀티에이전트모형(Multi-Agent Model)을 개발하여 컴퓨터상의 가상공간에서 시나리오를 설정하고 시뮬레이션 하였다. 그 결과 도로망의 통합도가 범죄발생과 가장 연관성이 높은 것으로 분석되었으며, 가상공간 시뮬레이션 결과에도 통합도가 가장 영향을 많이 주는 것으로 나타났다. 본 연구는 멀티에이전트 시뮬레이션에서 실험공간 규모나 에이전트 행동의 프로그래밍에 한계가 있었지만 현실 데이터와 가상공간 시뮬레이션에 의해 도로망 체계와 범죄발생간의 관계를 규명하였다는데 의의가 있다. 또한 본 연구에서 개발된 시뮬레이션 플랫폼은 다양한 실험이 가능하므로 경찰력이나 방범시설의 배치 등 보다 현실적인 문제에 대한 해결방안 모색과 스마트 안전도시를 앞당기는데 기여할 것이다.

다중 에이전트 시스템의 컨센서스를 위한 슬라이딩 기법 강화학습 (A slide reinforcement learning for the consensus of a multi-agents system)

  • 양장훈
    • 한국항행학회논문지
    • /
    • 제26권4호
    • /
    • pp.226-234
    • /
    • 2022
  • 자율주행체와 네트워크기반 제어 기술의 발달에 따라서, 하나의 에이전트를 제어하는 것을 넘어서 다수의 이동체를 분산 제어하는데 사용 가능한 다중 에이전트의 컨센서스 제어에 대한 관심과 연구가 증가하고 있다. 컨센서스 제어는 분산형 제어이기 때문에, 정보 교환은 실제 시스템에서 지연을 가지게 된다. 또한, 시스템에 대한 모델을 정확히 수식적으로 표현하는데 있어서 한계를 갖는다. 이런 한계를 극복하는 방법 중에 하나로서 강화 학습 기반 컨센서스 알고리즘이 개발되었지만, 불확실성이 큰 환경에서 느린 수렴을 갖는 경우가 자주 발생하는 특징을 보이고 있다. 따라서, 이 논문에서는 불확실성에 강인한 특성을 갖는 슬라이딩 모드제어를 강화학습과 결합한 슬라이딩 강화학습 알고리즘을 제안한다. 제안 알고리즘은 기존의 강화학습 기반 컨센서스 알고리즘의 제어 신호에 슬라이딩 모드 제어 구조를 추가하고, 시스템의 상태 정보를 슬라이딩 변수를 추가하여 확장한다. 모의실험 결과 다양한 시변 지연과 왜란에 대한 정보가 주어지지 않았을 때에 슬라이딩 강화학습 알고리즘은 모델기반의 알고리즘과 유사한 성능을 보이면서, 기존의 강화학습에 비해서 안정적이면서 우수한 성능을 보여준다.

Deep reinforcement learning for a multi-objective operation in a nuclear power plant

  • Junyong Bae;Jae Min Kim;Seung Jun Lee
    • Nuclear Engineering and Technology
    • /
    • 제55권9호
    • /
    • pp.3277-3290
    • /
    • 2023
  • Nuclear power plant (NPP) operations with multiple objectives and devices are still performed manually by operators despite the potential for human error. These operations could be automated to reduce the burden on operators; however, classical approaches may not be suitable for these multi-objective tasks. An alternative approach is deep reinforcement learning (DRL), which has been successful in automating various complex tasks and has been applied in automation of certain operations in NPPs. But despite the recent progress, previous studies using DRL for NPP operations have limitations to handle complex multi-objective operations with multiple devices efficiently. This study proposes a novel DRL-based approach that addresses these limitations by employing a continuous action space and straightforward binary rewards supported by the adoption of a soft actor-critic and hindsight experience replay. The feasibility of the proposed approach was evaluated for controlling the pressure and volume of the reactor coolant while heating the coolant during NPP startup. The results show that the proposed approach can train the agent with a proper strategy for effectively achieving multiple objectives through the control of multiple devices. Moreover, hands-on testing results demonstrate that the trained agent is capable of handling untrained objectives, such as cooldown, with substantial success.

Gel형 인화성 용제 Compound의 특성 (Properties of Gel-like Compounds Containing Flammable Solvents)

  • 강영구;김정훈
    • 한국안전학회지
    • /
    • 제18권3호
    • /
    • pp.94-100
    • /
    • 2003
  • Gel-like compounds containing flammable solvents were prepared to use fur cleaning agents in field of innovative industries and general purposes. And experiments were conducted to improve the defects of liquified flammable solvents from the view point of safety and health hazards. Flammable solvents used in this study were several single component flammable solvents(turpentine oil, N-methyl-2-pyrrolidone(NMP), d-limonene) and multi component flammable solvent(gasoline and ethanol). For gelation of flammable solvents, commercially Known as Aerosil(equation omitted) 200 fumed silica and triethanolamine(TEA) were used as gelation agent dispersant. The analyses on properties of gel-like compounds was studied by gelation and viscosity test pH test, volatility test and differential scanning calorimetry(DSC) measurement. The experimental results indicate that gel-like compounds containing flammable solvents have pH stability, high viscosity, volatile organic compounds(VOC) control by the decrease of volatility and odor component generation, fluidity control etc. From the experimental values, it can be predicted that the safety in the working place is improved by manufacturing flammable solvents into gel-like compounds.

복합레진 수복시 복합용기 및 단일용기 상아질 접착제의 미세변연누출에 관한 연구 (MICROLEAKAGE OF CURRENT DENTIN BONDING SYSTEMS)

  • 류주희;박동성;권혁춘
    • Restorative Dentistry and Endodontics
    • /
    • 제24권1호
    • /
    • pp.55-66
    • /
    • 1999
  • The purpose of this study was to evaluate the microleakage of 5 current dentin bonding systems which are composed of 2 multi-bottle systems(Scotchbond Multi-Purpose, All Bond2) and 3 one-bottle systems(Single bond, One-Step, Prime & Bond). In this in vitro study, class V cavities were prepared on buccal and lingual surfaces of sixty extracted human premolars and molars on cementum margin. The experimental teeth were randomly divided into six groups of 10 samples (20 surfaces) each, Group 1 : Scotchbond Multi-Purpose ; Group 2 : All Bond 2 ; Group 3 : Single Bond ; Group 4 : One-Step ; Group 5 : Prime & Bond ; Group 6 : no bonding agent(control). The bonding agent and composite resin were applied for each group following the manufacturer's instructions. After 500 thermocycling between $5^{\circ}C$ and $55^{\circ}C$, the 60 teeth were placed in 2% Methylene blue dye for 24 hours, then rinsed with tab water. The specimen were embedded in clear resin, then sectioned buccolingually through the center of restoration with a low speed diamond saw. The dye penetration on each of the specimen were then observed with a stereomicroscope at ${\times}20$. The results of study were statistically analyzed using the Student-Newmann-Keul's Methods and the Mann-Whitney Rank Sum Test. The resin/dentin interfaces were examined under Scanning Electron Microscopy. The results of this study were as follows. 1. None of the dentin bonding systems used in this study showed significant difference in leakage values at both the enamel and the dentin margins (P>0.05). 2. In all groups except the control, leakage value seen at the enamel margin was significantly lower than that seen at the dentin margin (P<0.05). 3. Compared to the control group, all the groups treated with dentin bonding systems showed significantly lower leakage value at both enamel and dentin margins (P<0.05). 4. In the SEM view, gaps were observed in the composite resin / dentin interface in group 6 where no dentin bonding agent was used, and in all the other groups (group 1, 2, 3, 4, 5) composite resin, hybrid layer, and dentin were seen to be closely adhering to each other where there were no leakages. Well-developed resin tags 3~100${\mu}m$ in length infiltrated dentinal tubules past the hybrid layer and a hybrid layer 1~5${\mu}m$ thick had developed between the dentinal surface and the composite resin surface.

  • PDF

스마트 팩토리에서 그리드 분류 시스템의 협력적 다중 에이전트 강화 학습 기반 행동 제어 (Cooperative Multi-Agent Reinforcement Learning-Based Behavior Control of Grid Sortation Systems in Smart Factory)

  • 최호빈;김주봉;황규영;김귀훈;홍용근;한연희
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제9권8호
    • /
    • pp.171-180
    • /
    • 2020
  • 스마트 팩토리는 설계, 개발, 제조 및 유통 등 생산과정 전반이 디지털 자동화 솔루션으로 이루어져 있으며, 내부 설비와 기계에 사물인터넷(IoT)을 설치해 공정 데이터를 실시간으로 수집하고 이를 분석해 스스로 제어할 수 있게 하는 지능형 공장이다. 스마트 팩토리의 장비들은 게임과 같이 가상의 캐릭터가 하나의 객체 단위로 구동되는 것이 아니라 수많은 하드웨어가 물리적으로 조합되어 연동한다. 즉, 특정한 공동의 목표를 위해 다수의 장치가 개별적인 행동을 동시다발적으로 수행해야 한다. 공정 데이터를 실시간으로 수집할 수 있는 스마트 팩토리의 장점을 활용하여, 일반적인 기계 학습이 아닌 강화 학습을 사용하면 미리 요구되는 훈련 데이터 없이 행동 제어를 할 수 있다. 하지만, 현실 세계에서는 물리적 마모, 시간적 문제 등으로 인해 수천만 번 이상의 반복 학습이 불가능하다. 따라서, 본 논문에서는 시뮬레이터를 활용해 스마트 팩토리 분야에서 복잡한 환경 중 하나인 이송 설비에 초점을 둔 그리드 분류 시스템을 개발하고 협력적 다중 에이전트 기반의 강화 학습을 설계하여 효율적인 행동 제어가 가능함을 입증한다.