• 핵의학기술
• /
• 제23권2호
• /
• pp.29-37
• /
• 2019

DMIDR (General Electric Healthcare, USA)은 GE 사(社)의 최신 장비로써 PSF (Point Spread Function reconstruction), TOF(Time of Flight)와 Q.Clear의 적용이 가능하다. 특히, Q.Clear는 보정 알고리즘으로써 복셀(voxel)단위 신호 잡음 제거로 기존 OSEM (Ordered Subset Expectation Maximization)의 한계를 넘어설 수 있다. 따라서 이러한 재구성 및 보정 알고리즘의 성능 평가를 통해 정확한 SUV를 구현하며, 병변 검출 능력에 도움이 되는 알고리즘의 조합을 확인하고자 하였다. H/B(Hot & Background) Ratio 2:1, 4:1, 8:1의 비율로 NEMA/IEC 2008 PET phantom을 제작하였다. DMIDR의 NEMA test protocol을 이용하여 영상 획득을 하였다. 재구성 조합은 (1) VPFX(VUE point FX(TOF)), (2) VPHD-S(VUE point HD+PSF), (3) VPFX-S(TOF+PSF), (4) QCHD-S-400(VUE point HD+Q.Clear(${\beta}-strength$ 400)+PSF), (5) QCFX-S-400(TOF+Q.Clear(${\beta}-strength$ 400)+PSF), (6) QCHD-S-50(VUE point HD+Q.Clear(${\beta}-strength$ 50)+PSF), (7) QCFX-S-50(TOF+Q.Clear(${\beta}-strength$ 50) + PSF)의 7 가지로 구성하였다. H/B Ratio 및 재구성 알고리즘 별로 측정된 결과를 이용하여 CR (Contrast Recovery)와 BV (Background Variability)을 구하였다. 또한, 각 조합의 count를 측정하여 SNR (Signal to Noise Ratio)과 RC(Recovery Coefficient)를 구하고 SUV (Standardized Uptake Value)를 측정하였다. 구의 크기가 가장 작은 10 mm와 13 mm에서는 VPFX-S, 17 mm 이상에서는 QCFX-S-50에서 가장 높은 CR 결과를 보였다. BV와 SNR의 비교에서는 QCFX-S-400과 QCHD-S-400에서 좋은 값을 보였다. SUV 측정 결과는 H/B ratio와 비례하여 증감하는 양상을 보였다. SUV에 대한 RC의 경우 H/B ratio와 반비례하는 양상을 보였으며, 재구성 알고리즘 중에서는 QCFX-S-50이 가장 높은 값을 보였다. 또한, Q.Clear에 ${\beta}-strength$ 400이 적용된 재구성 알고리즘들이 낮은 값 분포를 보였다. Q.Clear가 적용된 재구성 조합은 ${\beta}-strength$를 높이면 신호잡음이 억제되어 영상 품질면에서 우수한 결과를 보였고 ${\beta}-strength$를 낮추면 선예도가 증가하며, partial volume effect가 감소하여 기존의 재구성 조건에 비하여 높은 RC에 근거한 SUV 측정이 가능하였다. 이러한 진보된 알고리즘의 사용으로 보다 정확한 정량화와 미세병변 검출능력을 향상 시킬 수 있으나 상관 관계를 고려하여 목적에 맞는 최적화 과정이 필요할 것으로 사료된다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권7호
• /
• pp.3333-3350
• /
• 2019

The smart jammer launches jamming attacks which degrade the transmission reliability. In this paper, smart jamming attacks based on the communication probability over different channels is considered, and an anti-jamming Q learning algorithm (AQLA) is developed to obtain anti-jamming knowledge for the local region. To accelerate the learning process across multiple regions, a multi-regional intelligent anti-jamming learning algorithm (MIALA) which utilizes transferred knowledge from neighboring regions is proposed. The MIALA algorithm is evaluated through simulations, and the results show that the it is capable of learning the jamming rules and effectively speed up the learning rate of the whole communication region when the jamming rules are similar in the neighboring regions.

• 한국지능시스템학회논문지
• /
• 제18권3호
• /
• pp.291-296
• /
• 2008

본 논문에서는 군집로봇시스템에서 목표물 추적을 위하여 SVM을 이용한 12각형 기반의 Q-learning 알고리즘을 제안한다. 제안한 알고리즘의 유효성을 보이기 위해 본 논문에서는 여러 대의 로봇과 장애물 그리고 하나의 목표물로 정하고, 각각의 로봇이 숨겨진 목표물을 찾아내는 실험을 가정하여 무작위, DBAM과 AMAB의 융합 모델, 마지막으로는 본 논문에서 제안한 SVM과 12각형 기반의 Q-learning 알고리즘을 이용하여 실험을 수행하고, 이 3가지 방법을 비교하여 본 논문의 유효성을 검증하였다.

• Journal of Power Electronics
• /
• 제11권3호
• /
• pp.360-368
• /
• 2011

This paper proposes an active frequency with a positive feedback in the d-q frame anti-islanding method suitable for a robust phase-locked loop (PLL) algorithm using the FFT concept. In general, PLL algorithms for grid-connected PV PCS use d-q transformation and controllers to make zero an imaginary part of the transformed voltage vector. In a real grid system, the grid voltage is not ideal. It may be unbalanced, noisy and have many harmonics. For these reasons, the d-q transformed components do not have a pure DC component. The controller tuning of a PLL algorithm is difficult. The proposed PLL algorithm using the FFT concept can use the strong noise cancelation characteristics of a FFT algorithm without a PI controller. Therefore, the proposed PLL algorithm has no gain-tuning of a PI controller, and it is hardly influenced by voltage drops, phase step changes and harmonics. Islanding prediction is a necessary feature of inverter-based photovoltaic (PV) systems in order to meet the stringent standard requirements for interconnection with an electrical grid. Both passive and active anti-islanding methods exist. Typically, active methods modify a given parameter, which also affects the shape and quality of the grid injected current. In this paper, the active anti-islanding algorithm for a grid-connected PV PCS uses positive feedback control in the d-q frame. The proposed PLL and anti-islanding algorithm are implemented for a 250kW PV PCS. This system has four DC/DC converters each with a 25kW power rating. This is only one-third of the total system power. The experimental results show that the proposed PLL, anti-islanding method and topology demonstrate good performance in a 250kW PV PCS.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 1995년도 하계학술대회 논문집 C
• /
• pp.1304-1306
• /
• 1995

In this study, a neural network algorithm through a data standardization method was developed to discriminate the phase-shifted partial discharge(PD) patterns such as a $\phi$-q-n pattern. Considering the PD measurement in the field, it is not so easy to acquire absolute phase angles of PD pulses. As a consequence, one of the significant problems to be solved in applying the neural network algorithm to practical systems is to develop a method that can discriminate phase-shifted $\phi$-q-n patterns. Therefore, authors established a new method which could convert phase-shifted $\phi$-q-n patterns to a standardized $\phi$-q-n pattern which was not influenced by phase shifting. This new standardization method improved the recognition performance of a neural network for the phase-shifted $\phi$-q-n patterns considerably.

• 한국공간구조학회논문집
• /
• 제21권1호
• /
• pp.79-86
• /
• 2021

Control performance of a smart tuned mass damper (TMD) mainly depends on control algorithms. A lot of control strategies have been proposed for semi-active control devices. Recently, machine learning begins to be applied to development of vibration control algorithm. In this study, a reinforcement learning among machine learning techniques was employed to develop a semi-active control algorithm for a smart TMD. The smart TMD was composed of magnetorheological damper in this study. For this purpose, an 11-story building structure with a smart TMD was selected to construct a reinforcement learning environment. A time history analysis of the example structure subject to earthquake excitation was conducted in the reinforcement learning procedure. Deep Q-network (DQN) among various reinforcement learning algorithms was used to make a learning agent. The command voltage sent to the MR damper is determined by the action produced by the DQN. Parametric studies on hyper-parameters of DQN were performed by numerical simulations. After appropriate training iteration of the DQN model with proper hyper-parameters, the DQN model for control of seismic responses of the example structure with smart TMD was developed. The developed DQN model can effectively control smart TMD to reduce seismic responses of the example structure.

• 한국게임학회 논문지
• /
• 제18권4호
• /
• pp.99-106
• /
• 2018

보드게임에서는 많은 경우의 수의 말들과 많은 상태공간들을 가지고 있다. 그러므로 게임은 학습을 오래 하여야 한다. 본 논문에서는 Q러닝 알고리즘을 이용했다. 그러나 강화학습은 학습초기에 학습속도가 느려지는 단점이 있다. 그러므로 학습을 하는 동안에 같은 최선의 값이 있을 때, 게임트리를 고려한 문제영역의 지식을 활용한 휴리스틱을 사용하여 학습의 속도향상을 시도하였다. 기존 구현된 말과 개선하여 구현된 말을 비교하기 위하여 보드게임을 제작했다. 그래서 일방적으로 공격하는 말과 승부를 겨루게 하였다. 개선된 말은 게임트리를 고려하여 상대방 말을 공격하였다. 실험결과 개선하여 구현된 말이 학습속도적인 면에서 향상됨 것을 알 수 있었다.

• 대한전자공학회논문지TE
• /
• 제39권1호
• /
• pp.83-90
• /
• 2002

본 논문은 2인용 보드게임의 정보에 대한 전략을 학습할 수 있는 방법을 역전파 신경회로망과 Q학습알고리즘을 이용하여 제안하였다. 학습의 과정은 단순히 상대프로세스와의 대국에 의하여 이루어진다. 시스템의 구성은 탐색을 담당하는 부분과 기물의 수를 발생하는 부분으로 구성되어 있다. 수의 발생부분은 보드의 상태에 따라서 갱신되고, 탐색커널은 αβ 탐색을 기본으로 역전파 신경회로망과 Q학습을 결합하여 게임에 대해 양호한 평가함수를 학습하였다. 학습의 과정에서 일련의 기물의 이동에 있어서 인접한 평가치들의 차이만을 줄이는 Temporal Difference학습과는 달리, 기물의 이동에 따른 평가치에 대해 갱신된 평가치들을 이용하여 평가함수를 학습함으로써 최적의 전략을 유도할 수 있는 Q학습알고리즘을 사용하였다. 일반적으로 많은 학습을 통하여 평가함수의 정확도가 보장되면 승률이 학습의 양에 비례함을 알 수 있었다.

• 한국지능시스템학회논문지
• /
• 제16권1호
• /
• pp.79-85
• /
• 2006

본 논문은 인접한 두 로봇의 위치와 역할에 따라 로봇의 행동을 결정하는 퍼지 로직 중계자를 사용한 로봇 축구의 전략 및 전술을 제안한다. 기존의 Q 학습 알고리즘은 로봇의 수에 따라 상태의 수가 기하급수적으로 증가하여, 많은 연산을 필요로 하기 때문에 실시간 연산을 필요로 하는 로봇 축구 시스템에 알맞지 않다. Modular Q 학습 알고리즘은 해당 지역을 분할하는 방법으로 상태수를 줄였는데, 여기에는 로봇들 간의 협력을 위하여 따로 중재자 알고리즘이 사용되었다. 제안된 방법은 퍼지 규칙을 사용하여 로봇들 간의 협력을 위한 중재자 알고리즘을 구현하였고, 사용된 퍼지 규칙이 간단하기 때문에 계산 량이 작아 실시간 로봇 축구에 적합하다. MiroSot 시뮬레이션을 통하여 제안된 방법의 가능성을 보인다.

• 한국항행학회논문지
• /
• 제26권2호
• /
• pp.72-77
• /
• 2022

강화학습의 기법 중 Q-Learning은 주어진 상태에서 행동을 수행하면서 미래의 효율적인 기댓값을 예측하는 Q 함수를 학습하면서 최적의 정책을 학습하는 것이다. Q-Learning은 강화학습의 기본적인 알고리즘으로 많이 활용하고 있다. 본 논문에서는 Q-Learning을 바탕으로 정책과 보상을 설계하여 효율적인 경로를 선택하고 학습하는 효용성에 대하여 연구하였다. 또한 Frozen Lake 게임의 8x8 그리드 환경에 동일한 학습 횟수를 적용하여 기존 알고리즘 및 처벌 보상 정책과 제시한 처벌강화 정책의 결과를 비교하였다. 해당 비교를 통해 본 논문에서 제시한 Q-Learning의 처벌강화 정책이 통상적인 알고리즘의 적용보다 학습 속도를 상당히 높일 수 있는 것으로 분석되었다.