• 제목/요약/키워드: RL-function

검색결과 35건 처리시간 0.029초

Q-learning 알고리즘이 성능 향상을 위한 CEE(CrossEntropyError)적용 (Applying CEE (CrossEntropyError) to improve performance of Q-Learning algorithm)

  • 강현구;서동성;이병석;강민수
    • 한국인공지능학회지
    • /
    • 제5권1호
    • /
    • pp.1-9
    • /
    • 2017
  • Recently, the Q-Learning algorithm, which is one kind of reinforcement learning, is mainly used to implement artificial intelligence system in combination with deep learning. Many research is going on to improve the performance of Q-Learning. Therefore, purpose of theory try to improve the performance of Q-Learning algorithm. This Theory apply Cross Entropy Error to the loss function of Q-Learning algorithm. Since the mean squared error used in Q-Learning is difficult to measure the exact error rate, the Cross Entropy Error, known to be highly accurate, is applied to the loss function. Experimental results show that the success rate of the Mean Squared Error used in the existing reinforcement learning was about 12% and the Cross Entropy Error used in the deep learning was about 36%. The success rate was shown.

Anti-Tumor and Immunoregulatory Effects of Fermented Papaya Preparation (FPP: SAIDO-PS501)

  • Murakami, Shinki;Eikawa, Shingo;Kaya, Savas;Imao, Mitsuko;Aji, Toshiki
    • Asian Pacific Journal of Cancer Prevention
    • /
    • 제17권7호
    • /
    • pp.3077-3084
    • /
    • 2016
  • Various beneficial effects have been described for fermented papaya preparation (FPP: SAIDO-PS501) based on its anti-oxidative and anti-inflammatory functions. The present study was designed to determine the effects of FPP on carcinogenesis in vivo, and immunomodulatory function in vitro. Mice were injected with RL male 1 cells subcutaneously or 3-methylcholantherene (MCA) intravenously to induce cancer and orally or intraperitoneally treated with FPP solution. Human peripheral blood mononuclear cells (PBMC) were obtained from healthy volunteers and patients with atopic dermatitis, treated with FPP, and subjected to measurement of cytokine production and changes in Foxp3-expressing regulatory T cell (Treg) stimulated with phytohemagglutinin (PHA). Administration of FPP suppressed tumor size and the incidence of malignancy. In vitro, treatment of PBMC with FPP induced IL-$1{\beta}$, $TNF{\alpha}$ and $IFN{\gamma}$ production. Moreover, FPP suppressed proliferation of PHA-stimulated Foxp3-expressing Treg. These results suggest that FPP has chemotherapeutic properties.

무인수상정 경로점 추종을 위한 강화학습 기반 Dynamic Window Approach (Dynamic Window Approach with path-following for Unmanned Surface Vehicle based on Reinforcement Learning)

  • 허진영;하지수;이준식;유재관;권용진
    • 한국군사과학기술학회지
    • /
    • 제24권1호
    • /
    • pp.61-69
    • /
    • 2021
  • Recently, autonomous navigation technology is actively being developed due to the increasing demand of an unmanned surface vehicle(USV). Local planning is essential for the USV to safely reach its destination along paths. the dynamic window approach(DWA) algorithm is a well-known navigation scheme as a local path planning. However, the existing DWA algorithm does not consider path line tracking, and the fixed weight coefficient of the evaluation function, which is a core part, cannot provide flexible path planning for all situations. Therefore, in this paper, we propose a new DWA algorithm that can follow path lines in all situations. Fixed weight coefficients were trained using reinforcement learning(RL) which has been actively studied recently. We implemented the simulation and compared the existing DWA algorithm with the DWA algorithm proposed in this paper. As a result, we confirmed the effectiveness of the proposed algorithm.

추론 비용 감소를 위한 Jess 추론과 시멘틱 웹 RL기반의 모바일 클라우드 상황인식 시스템 (Mobile Cloud Context-Awareness System based on Jess Inference and Semantic Web RL for Inference Cost Decline)

  • 정세훈;심춘보
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제1권1호
    • /
    • pp.19-30
    • /
    • 2012
  • 상황인식 서비스라는 개념은 컴퓨팅과 통신을 기반으로 서비스를 제공 받는자의 주변 상황을 컴퓨터가 인식하고 스스로 판단하여 사용자에게 유용한 정보를 제공하는 서비스이다. 그러나 모바일 환경에서 제한된 모바일 기능과 메모리 공간 및 추론 비용 증가로 인해 소규모의 상황인식 처리 능력을 가지는 단점과 추론 엔진의 부분 개발로 인한 상황 정보 추론 방식의 제한적인 형태로 나타나고 있다. 이에 본 논문에서는 특정 플랫폼에 종속되지 않고 다양한 모바일기기에서 상황인식 서비스를 제공받을 수 있도록 PaaS기반의 GAE을 이용한 모바일 클라우드 상황인식 시스템을 제안한다. 제안하는 시스템의 추론 설계 방식은 OWL의 온톨로지와 SWRL 규칙으로 표현되는 시멘틱 추론을 이용한 지식베이스 프레임워크와 규칙 기반의 추론 엔진을 제공하는 Jess를 활용하여 설계한다. 아울러 기존 추론 질의 방식인 시멘틱 검색의 SparQL 질의 추론 방식의 단점을 극복하고자 SWRL형태의 Rule 규칙 정보인 Class, Property, Individual등의 속성값들을 특정 플러그인을 이용하여 Jess 추론 엔진에 연결하도록 설계한다.

Effect of ginseng saponins on the induction of $\beta$-galactosidase in yeast

  • Lee, Hee-Bong;Kim, Kyung-Hoon;Han, Byoung-Dong
    • Journal of Ginseng Research
    • /
    • 제22권4호
    • /
    • pp.310-315
    • /
    • 1998
  • The effect of red ginseng saponins (total saponins, Rbl- and Rgl- fraction of saponins) on the induction of $\beta$-galactosidase in yeast, hccharomyces cereuisiae, was investigated to see that ginseng saponins would penetrate the cell membrane and have a function in a nucleus as steroid hormones do. To attain such a kind of purpose, a DNA fragment (685bp) containing GALI promoter was inserted into the sites of EcoRl and BamHl of polylinker region, upstream of lace gene of the plasmid YEp356 (7.966 Kb), and thus the resulting plasmid pGALl-lacZ is supposed to express $\beta$- galactosidase only in the presence of galactose. The plasmid pGALl -lacZ was introduced into yeast, Ky106 (a leu2 ura3 his3 trp 1 Iys2), and the growth of the transformed cells was much slower in the presence of galactose than glucose. The effects of saponins on the specific activity of P-galactosidase from transformed yeast cells were detected. No significant increase was observed in case of total saponins, but the Rbl- or Rgl- fraction of saponins gave much higher increase in the activity. Maximum increase was observed as 35% in 10-3% of Rbl and as 75% in 10-1% of Rgl. These data suggest that ginseng saponins might be able to enter the nucleus and stimulate transcription. However, further studies to find out the putative saponin receptor are needed to confirm this possibility. Key words : Red ginseng saponin, $\beta$-galactosidase induction, Saccharomyces cerevisiae.

  • PDF

항만공사용 로봇의 실린더 길이 측정을 위한 압력 옵서버 개발 (Development of Pressure Observer to Measure Cylinder Length of Harbor-Construction Robot)

  • 김치효;박근우;김태성;이민기
    • 대한기계학회논문집A
    • /
    • 제35권3호
    • /
    • pp.299-308
    • /
    • 2011
  • 본 논문은 항만공사용 로봇의 실린더 길이 측정을 위한 압력 옵서버 개발이다. 로봇의 유압 실린더 제어를 위해 변위 센서가 필요하며 일반적으로 LVDT, 리니어 스케일 등이 사용된다. 이러한 센서는 실린더 외부몸통에 장착되므로 건설현장과 같은 열악한 환경에서 사용할 경우 내구성이 좋지 못하다. 본 논문에서는 압력센서를 이용하여 간접적으로 실린더 길이를 측정한다. 압력센서는 유압 밸브박스 내부에 장착되어 외부충격으로부터 보호되며 방수가 용이하다. 오일을 압축성 매개체로 간주하여 실린더의 위치와 속도 함수인 동적압력 방정식을 유도하고 RLS를 이용하여 실린더가 전진, 후진 리미트에 도달할 때마다 파라미터를 갱신한다.

DNA Microarray Analysis of Methylprednisolone Inducible Genes in the PC12 Cells

  • ;;;;권오유
    • 대한의생명과학회지
    • /
    • 제15권3호
    • /
    • pp.261-263
    • /
    • 2009
  • Methylprednisolone is a synthetic glucocorticoid which is usually taken intravenously for many neurosurgical diseases which cause edema including brain tumor, and trauma including spinal cord injury. Methylprednisolone reduces swelling and decreases the body's immune response. It is also used to treat many immune and allergic disorders, such as arthritis, lupus, psoriasis, asthma, ulcerative colitis, and Crohn's disease. To identify genes expressed during methylprednisolone treatment against neurons of rats (PC12 cells), DNA microarray method was used. We have isolated 2 gene groups (up- or down-regulated genes) which are methylprednisolone differentially expressed in neurons. Lipocalin 3 is the gene most significantly increased among 772 up-regulated genes (more than 2 fold over-expression) and Aristaless 3 is the gene most dramatically decreased among 959 down-regulated genes (more than 2 fold down-expression). The gene increased expression of Fgb, Thbd, Cfi, F3, Kngl, Serpinel, C3, Tnfrsf4 and Il8rb are involved stress-response gene, and Nfkbia, Casp7, Pik3rl, I11b, Unc5a, Tgfb2, Kitl and Fgf15 are strongly associated with development. Cell cycle associated genes (Mcm6, Ccnb2, Plk1, Ccnd1, E2f1, Cdc2a, Tgfa, Dusp6, Id3) and cell proliferation associated genes (Ccl2, Tnfsf13, Csf2, Kit, Pim1, Nr3c1, Chrm4, Fosl1, Spp1) are down-regulated more than 2 times by methylprednisolone treatment. Among the genes described above, 4 up-regulated genes are confirmed those expression by RT-PCR. We found that methylprednisolone is related to expression of many genes associated with stress response, development, cell cycle, and cell proliferation by DNA microarray analysis. However, We think further experimental molecular studies will be needed to figure out the exact biological function of various genes described above and the physiological change of neuronal cells by methylprednisolone. The resulting data will give the one of the good clues for understanding of methylprednisolone under molecular level in the neurons.

  • PDF

졸음운전 방지를 위한 fuzzy 추론에 의한 각성도의 평가 (Evaluation of Arousal Level to Prevent Drowsy Driving by Fuzzy Inference)

  • 김연호;고한우;유준
    • 대한의용생체공학회:의공학회지
    • /
    • 제18권4호
    • /
    • pp.491-498
    • /
    • 1997
  • 본 연구에서는 졸음운전 방지를 위한 방법으로 기존의 3단계 경고음법과 fuzzy logic을 이용한 가성도 측정 및 제어법을 시뮬레이션으로 비교 및 분석하였다. 각성상태를 제어하는 방법으로 사용되었던 기존의 각성제어지표는 실 차에는 사용될 경우 효과적이지 못하므로 각성상태에 따른 영역별 Nz와 IRI의 상관분포도를 분석하여 기존의 각성제어지표를 수정하였다. Fuzzy 추론으로는 Sugeno의 방법을 사용하였고 멤버쉽함수와 제어규칙 베이스는 수정된 각성제어지표로부터 결정하였다. 시뮬레이션 결과 60이하의 IRI가 발생되는 경우, Nz의 변화에 따라 두 제어방법 모두 small, medium, big의 경고음이 발생되었으나 3단계 경고음법은 다음 단계의 발생영역이 될 때까지 같은 출력만을 발생한다. 그러나 퍼지추론의 출력은 피검자의 각성수준의 변화에 잘 추종하여 변화되었으므로 3단계 경고음법의 문제점을 해겨할 수 있었고 더욱이 퍼지 추론의 출력과 Nz와의 상관계수(r=0.99)가 매우 높았으므로, 실제 운전시 퍼지추론 방법을 이용한 각성도 평가 및 제어에 적용할 경우 3단계 경고음법 보다 효과적일 것으로 기대된다.

  • PDF

Pseudomonas putida로 부터 분리한 cryptic플라스미드의 제한효소지도 (Restriction map of a cryptic plasmid from Pseudomonas putida)

  • 김훈규;고상균;이영록
    • 미생물학회지
    • /
    • 제24권1호
    • /
    • pp.7-11
    • /
    • 1986
  • Pseudomonas의 분해계 플라스미드와 이들에 유용한 벡터를 개발하기 위해서 본 연구실에서 분리, 보존하고 있는 Pseudomonas 중에서 P.putita KU 190으로부터 하나의 플라스미드를 분리하여 그 특성을 해석코저 하였다. size marker로 RP4와 pSy343를 사용하여 플라스미드의 크기를 결정한 바 41Kb로 나타났으며, 이 플라스미드를 pKU 41라 명명하였다. 제한효소 Bglll, BamHl, Eco Rl, HindIII, Sall등으로 이 플라스미드를 소화하여 이들의 제한효소 pattern을 조사한 결과, Bg III가 1. BamHl 3, Hin dIll는 3, EcoRI은 6 그리고 SalI은 13개 이상의 절단부위를 가지고 있었다. 이 제한효소의 절단부위, 토막들의 크기로부터 BamHI, HindIII에 대한 지도를 작성하였다. 플라스미드의 생울학적 기능을 조사하기 위하여 탄화수소 자화능에 대한 큐어링 실험을 하였으나 이로부터 뚜렷한 관련성 여부를 관찰할 수 없었다.

  • PDF

데이터 기반 확률론적 최적제어와 근사적 추론 기반 강화 학습 방법론에 관한 고찰 (Investigations on data-driven stochastic optimal control and approximate-inference-based reinforcement learning methods)

  • 박주영;지승현;성기훈;허성만;박경욱
    • 한국지능시스템학회논문지
    • /
    • 제25권4호
    • /
    • pp.319-326
    • /
    • 2015
  • 최근들어, 확률론적 최적제어(stochastic optimal control) 및 강화학습(reinforcement learning) 분야에서는 데이터를 활용하여 준최적 제어 전략을 찾는 문제를 위한 많은 연구 노력이 있어 왔다. 가치함수(value function) 기반 동적 계획법(dynamic programming)으로 최적제어기를 구하는 고전적인 이론은 확률론적 최적 제어 문제를 풀기위해 확고한 이론적 근거 아래 확립된바 있다. 하지만, 이러한 고전적 이론은 매우 간단한 경우에만 성공적으로 적용될 수 있다. 그러므로, 엄밀한 수학적 분석 대신에 상태 전이 및 보상 신호 값 등의 관련 데이터를 활용하여 준최적해를 구하고자 하는 데이터 기반 현대적 접근 방법들은 실용적인 응용분야에서 특히 매력적이다. 본 논문에서는 확률론적 최적제어 전략과 근사적 추론 및 기계학습 기반 데이터 처리 방법을 접목하는 방법론들을 고려한다. 그리고 이러한 고려를 통하여 얻어진 방법론들을 금융공학을 포함한 다양한 응용 분야에 적용하고 그들의 성능을 관찰해보도록 한다.