• International Journal of Internet, Broadcasting and Communication
• /
• 제16권1호
• /
• pp.63-71
• /
• 2024

Deep reinforcement learning (RL) significantly influences autonomous vehicle development by optimizing decision-making and adaptation to complex driving environments through simulation-based training. In deep RL, an activation function is used, and various activation functions have been proposed, but their performance varies greatly depending on the application environment. Therefore, finding the optimal activation function according to the environment is important for effective learning. In this paper, we analyzed nine commonly used activation functions for RL to compare and evaluate which activation function is most effective when using deep RL for autonomous vehicles to learn highway merging. To do this, we built a performance evaluation environment and compared the average reward of each activation function. The results showed that the highest reward was achieved using Mish, and the lowest using SELU. The difference in reward between the two activation functions was 10.3%.

• 인터넷정보학회논문지
• /
• 제22권4호
• /
• pp.13-28
• /
• 2021

강화학습은 한 환경에서 에이전트가 정책에 따라 액션을 취하고 보상 함수를 통해 액션을 평가 및 정책 최적화 과정을 반복하는 Closed-Loop 구조로 이루어진 알고리즘이다. 이러한 강화학습의 주요 장점은 액션의 품질을 평가하고 정책을 지속적으로 최적화 하는 것이다. 따라서, 강화학습은 지능형 시스템, 자율제어 시스템 개발에 효과적으로 활용될 수 있다. 기존의 강화학습은, 단일 정책, 단일 보상함수 및 비교적 단순한 정책 업데이트 기법을 제한적인 문제에 대해 제시하고 적용하였다. 본 논문에서는 구성요소의 복수성을 지원하는 확장된 강화학습 모델을 제안한다. 제안되는 확정 강화학습의 주요 구성 요소들을 정의하고, 그들의 컴퓨팅 모델을 포함하는 정형 모델을 제시한다. 또한, 이 정형모델을 기반으로 시스템 개발을 위한 설계 기법을 제시한다. 제안한 모델을 기반으로 자율 최적화 자동차 내비게이터 시스템에 적용 및 실험을 진행한다. 제시된 정형 모델과 설계 기법을 적용한 사례연구로, 복수의 자동차들이 최적 목적지에 단 시간에 도착할 수 있는 진화된 내비게이터 시스템 설계 및 구현을 진행한다.

• 한국인터넷방송통신학회논문지
• /
• 제14권5호
• /
• pp.131-135
• /
• 2014

본 논문은 상체움직임을 통하여 자세기능의 변화를 나타냈다. 자세의 기능은 상체의 움직임 변화에 따라 자세의 방향성을 분석하였다. 측정항목은 균형시스템에 따라 자세에 대한 평가로 활용하였다. 중추신경은 $0.226{\pm}0.04$의 변화가 발생하였고, 체성감각은 $0.939{\pm}0.46$의 변화, 전정기관은 $4.009{\pm}1.05$이고, 시각은 $8.336{\pm}4.05$로 변화가 나타났다. 본연구의 결과로 상체움직임에 따른 시각적 변화에 미세하게 영향으로 나타났고, 중수신경의 변화에도 다소 변화가 나타남으로 확인하였다.

• 공업화학
• /
• 제29권6호
• /
• pp.753-758
• /
• 2018

미생물 발효 생계면활성제인 람노리피드의 계면활성(CMC, 표면장력, 기포력 등)을 측정하였다. 람노리피드는 우수한 표면활성을 나타내었다. 람노리피드가 처방된 세정제도 우수한 표면활성을 나타내었다. 액체세정제의 성능평가 결과 지방산 대비 람노리피드가 사용된 제품의 성능이 미세하게 우세하였다. 그렇지만 기포 프로화일에서는 람노리피드가 처방된 제품의 기포량이 아주 많았으며, 헹굼과정에서 지방산의 억포작용과 같은 헹굼성 보조 작용은 나타나지 않았다. 람노리피드는 생계면활성제로써 주계면활성제 또는 보조계면활성제로써 사용될 수 있을 것이다. 그러나 지방산과 같은 억포제 또는 헹굼 보조 기능은 가지지 않은 것으로 판단된다.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2000년도 제15차 학술회의논문집
• /
• pp.489-489
• /
• 2000

Recently, Reinforcement Learning(RL) methods have been used far teaming problems in Partially Observable Markov Decision Process(POMDP) environments. Conventional RL-methods, however, have limited applicability to POMDP To overcome the partial observability, several algorithms were proposed [5], [7]. The aim of this paper is to extend our previous algorithm for POMDP, called Labeling Q-learning(LQ-learning), which reinforces incomplete information of perception with labeling. Namely, in the LQ-learning, the agent percepts the current states by pair of observation and its label, and the agent can distinguish states, which look as same, more exactly. Labeling is carried out by a hash-like function, which we call Labeling Function(LF). Numerous labeling functions can be considered, but in this paper, we will introduce several labeling functions based on only 2 or 3 immediate past sequential observations. We introduce the basic idea of LQ-learning briefly, apply it to maze problems, simple POMDP environments, and show its availability with empirical results, look better than conventional RL algorithms.

• 수산해양기술연구
• /
• 제39권2호
• /
• pp.143-151
• /
• 2003

본 연구에서는 자망에 대한 대게 수컷의 망목선택성을 구명하기 위하여 5종류의 망목 (m = 180, 210, 240, 270, 300㎜)으로 구성된 자망을 제작하고, 2002년 1월부터 2003년 3월까지 경북 죽변항 주변 수역에서 총 12회의 시험조업을 행하였다. 망목선택성 곡선의 계산에 사용될 데이터 확보를 위하여 어획된 대게 수컷의 전수에 대한 최대갑장 RL을 디지털 켈리퍼스를 사용하여 0.1㎜ 단위로 측정하였다. 망목선택성 곡선의 추정에는 Kitahara의 방법을 사용하였다. 대수 망목선택성 곡선의 함수로써 좌우대칭형인 2차식과 좌우비대칭형인 3 차식을 적용하였으며, 최소지승법을 사용하여 각 모델의 파라미터를 추정하였다. 본 연구에서 얻어진 결과를 요약하면 다음과 같다. 1. 자망에 대한 대게 수컷의 망목선택성 곡선은 Model 의 적합도 비교를 통하여 좌우비대칭형인 3 차식이 선택되었다. 2. 망목선택성의 결과는 망목이 커질수록 소형 수게의 혼획이 감소한다는 것을 나타낸다. 3. 망목선택성 곡선은 이하의 수식으로 표현된다. S(R) = S(RL/m) ＝ exp ((44.06 R³- 84.16 R²+ 52.30 R-5.46) - 5.17) 4. 선택률 1을 나타내는 최적 RL/m의 값은 0.549이며, 선택률 0.5, 0.25, 0.2를 나타내는 RL/m은 각각 0.356, 0.296, 0.281로 추정되었다.

• 한국가축번식학회지
• /
• 제23권2호
• /
• pp.95-103
• /
• 1999

본 연구는 초산의 Wistar 계 rat를 이용하여 포유기간 중 제한포유시기와 이유시기를 조절하여 혈중 progesterone 수준을 검토하였다. 정상포유군 (NL)은 포유자의 수를 8 마리로 조절하였으며, 제한포유군 (RL)과 완전이유군 (W)은 RL0, RL5, RL10, RL15 및 RL20, 그리고 W0, W5, W10, W15 및 W20으로 각각 5 개 군으로 구분하여, 제한포유군은 각 개시일에 포유자의 수를 8마리에서 4마리로 조절하였으며, 완전이유군은 각 개시일에 포유자의 수를 완전히 이유시켰다. 1. 포유자의 발육상태는 제한포유군에서 정상포유군보다 성장이 유의적 (P＜0.05)으로 증가하였고, 또한 분만직후 (RL0) 와 포유 5(RL5), 10(RL10), 15(RLl5) 일에 제한포유를 실시한 군에서는 시간이 경과함에 따라 정상포유군에 비해 유의적 (P＜0.05) 으로 증가하였으나, 포유 20 일(RL20) 에 제한포유군에서는 정상포유군과 차이가 없었다 . 초산 rat 의 임신기간은 21.53$\pm$0.04일이었고 산자수는 13.75$\pm$0.07 마리였다. 2. 포유기간 중 모체의 성주기 변화는 정상포유군은 발정징후가 관찰되지 않았으나 분만직후 제한포유군은 20 일을 전후하여 불규칙적인 성주기가 관찰되었고, 분만직후 완전이유군은 10일을 전후하여 정상적인 성주기가 관찰되었다. 3. 정상포유군의 progesterone 농도는 포유 0 일에 33.16$\pm$2.64ng/$m\ell$에서 포유 10 일에 122.55$\pm$3.68ng/$m\ell$ 까지 증가하여 포유 20 일까지 높은 수준을 유지하다가 그 후 25 일에 97.30$\pm$3.21ng/$m\ell$ 까지 급속히 감소 (P＜0.05) 하였다. 포유초기 (RL0, RL5)와 포유중기 (RL10)의 제한포유군은 제한포유실시 이후 5일 까지는 정상포유군과 같은 수준을 유지하다가 그 후 급격히 (P＜0.05) 감소하였다. 결론적으로 흰쥐에 있어서 분만 후 포유자의 포유자극이 모체 난소의 기능에 중요하게 작용하는 것으로 사료된다.

• Corrosion Science and Technology
• /
• 제4권1호
• /
• pp.15-18
• /
• 2005

Hydroxyapatite(HAp) was synthesized using the waste sludge from semiconductor process and used as an anticorrosive pigment. The water absorption of coating pigmented with anticorrosive pigment and the corrosion at interface between coating and substrate were monitored using AC impedance techniques. The anticorrosive performance of HAp was compared with those of red lead(RL) and zinc potassium chromate(ZPC), which have been known as representative anticorrosive pigments. The amount of absorbed water in ZPC- and HAp- pigmented coatings was much higher compared to that in RL-pigmented and unpigmented film. However, it seems that the water absorbed into HAp- or ZPC-pigmented film is beneficial to anticorrosive function. The anticorrosive performance of HAp is superior or at least comparable to those of ZPC and RL. The excellent anticorrosive properties of HAp can be explained by its passivating ability, caused by the reaction of the soluble component of HAp with Fe to form iron phosphate in the presence of water.

• 한국식품영양학회지
• /
• 제29권3호
• /
• pp.335-340
• /
• 2016

The objective of the present investigation was to obtain vitamin, mineral, flavonoid, and polyphenol profiles of Rudbeckia laciniata (RL), and to examine the effects of extract of RL (RLE) on various physiological activities of HaCaT keratinocyte for the utilization of RL as natural raw materials to develop functional food. To accomplish this purpose, we checked the contents of the general nutrients of RL. The contents of vitamin A, vitamin $B_1$ and vitamin $B_2$ were $7.49{\mu}g/g$, $51.96{\mu}g/g$, and $132{\mu}g/g$ respectively, while vitamin C and vitamin $D_3$ were not detected. The contents of mineral such as Ca, K and Fe were 2.01 mg/g, 6.06 mg/g and 0.03 mg/g respectively. Total flavonoid contents of RLE were 0.25 mg/g, and total polyphenol were estimated as 1.43 mg/g. Because RL contains high levels of vitamin A which is associated with skin aging, we investigated the effect of RLE on physiological function of keratinocytes with respect to skin aging. We found that RLE significantly increased the growth rate of HaCaT cells and reduced ultraviolet radiation B (UVB)-induced cellular toxicity. Also, the extract of Rudbeckia laciniata attenuated the UVB-induced reactive oxygen species (ROS) generation in a dose-dependent manner in HaCaT cells. In addition, treatment with the extract dose-dependently increased migration activity of HaCaT cells. Thus, these findings indicated that RLE could regulate the physiological activity of keratinocytes, and may be used to develop functional foods.

• 수면정신생리
• /
• 제22권1호
• /
• pp.20-24
• /
• 2015

목 적 : 제 1형 당뇨병을 진단 받은 소아 청소년 환자들을 대상으로 RLS를 평가하고 RLS를 동반하는 환자군과 RLS를 동반하지 않은 환자군 간의 임상적 변인과 수면의 특성을 비교하고자 하였다. 방 법 : 소아 청소년과에서 제 1형 당뇨병으로 진단 받은 7세 이상 18세 이하의 소아 청소년 55명을 대상으로 면담, 설문조사, 임상학적 검사를 시행하였다. RLS 진단은 IRLSSG 진단기준을 따랐으며 설문은 Epworth sleepiness scale (ESS), International restless legs syndrome rating scale (IRLSRS)를 이용하였다. 결 과 : 55명의 대상자 중 RLS 빈도는 13명으로 23.6%였다. RLS 관련 변인으로 BMI, Hb, Iron, ferritin, TIBC, creatinine, GFR에서 두 군간에 유의한 차이는 없었다. RLS 환자 13명 중 RLS 가족력을 가진 환자는 7명으로, RLS가 없는 환자의 경우와 현저한 차이를 보였다. 수면의 특성을 조사한 결과 RLS를 동반한 환자군이 RLS를 동반하지 않은 군에 비해 ESS, IRLSRS 결과가 유의하게 높았다. 결 론 : 제 1형 당뇨병을 진단 받은 소아 청소년은 RLS가 흔히 동반되었다. 임상적으로 당뇨 소아 청소년의 RLS 동반여부와 수면의 질을 평가하여 치료하는 것이 필요하겠으며 향후 보다 많은 환자를 대상으로 보다 객관적인 방법을 이용한 연구가 진행되어야 할 것이다.