• 제목/요약/키워드: real-time response

검색결과 1,655건 처리시간 0.028초

강화 학습에서의 탐색과 이용의 균형을 통한 범용적 온라인 Q-학습이 적용된 에이전트의 구현 (Implementation of the Agent using Universal On-line Q-learning by Balancing Exploration and Exploitation in Reinforcement Learning)

  • 박찬건;양성봉
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제30권7_8호
    • /
    • pp.672-680
    • /
    • 2003
  • shopbot이란 온라인상의 판매자로부터 상품에 대한 가격과 품질에 관한 정보를 자동적으로 수집함으로써 소비자의 만족을 최대화하는 소프트웨어 에이전트이다 이러한 shopbot에 대응해서 인터넷상의 판매자들은 그들에게 최대의 이익을 가져다 줄 수 있는 에이전트인 pricebot을 필요로 할 것이다. 본 논문에서는 pricebot의 가격결정 알고리즘으로 비 모델 강화 학습(model-free reinforcement learning) 방법중의 하나인 Q-학습(Q-learning)을 사용한다. Q-학습된 에이전트는 근시안적인 최적(myopically optimal 또는 myoptimal) 가격 결정 전략을 사용하는 에이전트에 비해 이익을 증가시키고 주기적 가격 전쟁(cyclic price war)을 감소시킬 수 있다. Q-학습 과정 중 Q-학습의 수렴을 위해 일련의 상태-행동(state-action)을 선택하는 것이 필요하다. 이러한 선택을 위해 균일 임의 선택방법 (Uniform Random Selection, URS)이 사용될 경우 최적 값의 수렴을 위해서 Q-테이블을 접근하는 회수가 크게 증가한다. 따라서 URS는 실 세계 환경에서의 범용적인 온라인 학습에는 부적절하다. 이와 같은 현상은 URS가 최적의 정책에 대한 이용(exploitation)의 불확실성을 반영하기 때문에 발생하게 된다. 이에 본 논문에서는 보조 마르코프 프로세스(auxiliary Markov process)와 원형 마르코프 프로세스(original Markov process)로 구성되는 혼합 비정적 정책 (Mixed Nonstationary Policy, MNP)을 제안한다. MNP가 적용된 Q-학습 에이전트는 original controlled process의 실행 시에 Q-학습에 의해 결정되는 stationary greedy 정책을 사용하여 학습함으로써 auxiliary Markov process와 original controlled process에 의해 평가 측정된 최적 정책에 대해 1의 확률로 exploitation이 이루어질 수 있도록 하여, URS에서 발생하는 최적 정책을 위한 exploitation의 불확실성의 문제를 해결하게 된다. 다양한 실험 결과 본 논문에서 제한한 방식이 URS 보다 평균적으로 약 2.6배 빠르게 최적 Q-값에 수렴하여 MNP가 적용된 Q-학습 에이전트가 범용적인 온라인 Q-학습이 가능함을 보였다.

측심기의 음향반사 특성을 이용한 해저퇴적물의 원격분류: 부산 수영만의 예비결과 (Remote Seabed Classification Based on the Characteristics of the Acoustic Response of Echo Sounder: Preliminary Result of the Suyoung Bay, Busan)

  • 김길영;김대철;김양은;이광훈;박수철;박종원;서영교
    • 한국수산과학회지
    • /
    • 제35권3호
    • /
    • pp.273-281
    • /
    • 2002
  • 해양의 표층퇴적물을 분류하는 일반적인 방법은 ground frothing에 의한 것으로 시료채취 정점에 국한된 자료라는 한계성을 가지고 있다. 최근에는 원격분류방법의 개발로 인하여 이러한 한계성을 극복한 연속적인 자료를 얻을 수 있도록 가능하게 되었다 본 연구에서는 해저면의 원격분류결과를 실시간 수치화된 자료로 얻을 수 있는 음향장비인 QTC View라는 기기를 이용해 부산 수영만의 표층 퇴적물을 원격분류 하였다. QTC View는 50kHz의 음향측심기와 연결하였고 측정장비의 설정환경은 조사동안 일정하게 유지하였다. Ground trothing에 의한 시료 분석결과 수영만은 slightly gravelly sand, slightly gravelly sandy mud. gravelly muddy sand, clayey sand, sandy mud, slightly gravelly muddy sand 그리고 rocky bottom의 총 7개의 퇴적물형으로 분류되었다. QTC View를 이용한 1차 원격분류결과 이들 7개 중 slightly gravelly sand, gravelly muddy sand, sandy mud 및 rocky bottom 등 4개의 퇴적물형이 구분되었으며 이는 2차 원격분류결과에서도 유사하게 분포하는 것으로 확인되었다. Ground frothing에 의한 분류자료와 원격분류 자료를 비교한 결과 퇴적물형을 구분할 때 소량성분에 의해 서로 다르게 구분된 경우는 다소 차이가 있으나 연구지역 전반에 걸친 퇴적물의 분포양상은 잘 일치하는 것으로 나타났다. 따라서 QTC View는 해저퇴적물을 원격분류하는데 유효하게 이용될 수 있을 것으로 본다.

Effect of trans-10, cis-12 Conjugated Linoleic Acid on Production of Prostaglandin E2, Cyclooxygenase-2 and 5-lipoxygenase in Lipopolysaccharide-Stimulated Porcine Peripheral Blood Mononuclear Cells

  • Seo, Hae-Ryun;Ahn, Changhwan;Kang, Byeong-Teck;Kang, Ji-Houn;Jeung, Eui-Bae;Yang, Mhan-Pyo
    • 한국임상수의학회지
    • /
    • 제33권4호
    • /
    • pp.194-199
    • /
    • 2016
  • The objective of this study was to examine the effect of trans-10, cis-12 conjugated linoleic acid (t10c12-CLA) on the expression of cyclooxygenase-2 (COX-2) and 5-lipoxygenase (5-LOX) pathway in lipopolysaccharide (LPS)-stimulated porcine peripheral blood mononuclear cells (PBMCs). t10c12-CLA was treated with different concentrations in culture medium of LPS$na{\ddot{i}}ve$ and LPS-stimulated PBMCs. The mRNA expressions of prostaglandin $E_2$ ($PGE_2$)-synthase, COX-2 and 5-LOX were measured using quantitative real-time PCR. In addition, the production levels of $PGE_2$ and 5-LOX in culture supernatant from PBMCs with or without LPS were assessed by ELISA. In LPS$na{\ddot{i}}ve$ PBMCs, treatment of t10c12-CLA significantly (p < 0.05) increased the mRNA expressions of PGE2 synthase and 5-LOX compared to vehicle control. Expression of COX-2 mRNA did not show significant difference compared to vehicle control by t10c12-CLA treatment in LPS$na{\ddot{i}}ve$ PBMCs. However, the addition of LPS in PBMCs markedly (p < 0.05) increased the mRNA expression of COX-2, $PGE_2$ synthase and 5-LOX, and also significantly (p < 0.05) enhanced the production of $PGE_2$ and 5-LOX relative to LPS$na{\ddot{i}}ve$ PBMCs, respectively. However, the addition of t10c12-CLA significantly (p < 0.01) suppressed the LPS-induced excessive expression of COX-2, $PGE_2$ synthase, and 5-LOX compared to those of PBMCs treated with LPS alone. The production levels of $PGE_2$ and 5-LOX in culture supernatant from LPS-stimulated PBMCs were also significantly (p < 0.05) inhibited by the treatment of t10c12-CLA compared to LPS alone. These results suggested that t10c12-CLA has an anti-inflammatory effect via dual inhibition of COX-2 and 5-LOX with gene expression and production level in LPS-stimulated porcine PBMCs. Therefore, it was thought that t10c12-CLA can attenuate the inflammatory response by down-regulation of eicosanoids production.

상수도관망 재난관리 및 복구를 위한 데이터기반 이상탐지 방법론 개발 (Data-driven event detection method for efficient management and recovery of water distribution system man-made disasters)

  • 정동휘;안재현
    • 한국수자원학회논문집
    • /
    • 제51권8호
    • /
    • pp.703-711
    • /
    • 2018
  • 상수도관의 파열은 과도한 압력, 노후화, 온도변화 나 지진 등에 의한 지반이동에 의해 발생한다. 상수도관 파열이 대규모 단수, 싱크홀 등과 같은 더 심각한 피해 이어지지 않도록 신속하게 탐지 및 대응하는 것이 중요하다. 본 연구에서는 상수도관 파열 탐지를 위해 개선 Western Electric Company (WECO) 방법을 개발하였다. 개선 WECO 방법은 통계적공정관리기법 중 하나인 기존 WECO 방법에 임계치 조정자(w)를 추가하여 대상 네트워크에 적합한 이상탐지 의사결정을 할 수 있도록 했다. 개발된 개선 WECO 방법을 미국 텍사스 오스틴 관망에 적용 및 검증하였다. 상수도관 파열 발생 시 측정한 비정상데이터와 수요량 변동만 고려한 정상데이터를 이용하여 기존 및 개선 WECO 방법을 비교하였다. 최적 임계치 조정자 w값을 결정하기 위해 민감도 분석을 수행하였으며, 다양한 계측시간 간격 데이터(dt = 5, 10, 15분 등)의 영향도 분석하였다. 각 경우 별 탐지성능은 탐지확률, 오경보확률, 평균탐지시간을 계산하여 비교하였다. 본 연구에서는 도출된 결과를 바탕으로 WECO 방법을 실제 상수도관 파열 탐지에 적용하기 위한 가이드라인을 제공한다.

모바일 GIS에서의 개인화 서비스 시스템 설계 (Design of Personalization Service System in Mobile GIS)

  • 박기호;정재곤
    • 한국GIS학회:학술대회논문집
    • /
    • 한국GIS학회 2008년도 공동추계학술대회
    • /
    • pp.106-112
    • /
    • 2008
  • 개인화(personalization)는 고객이 원하거나 필요로 하는 정보를 규정할 수 있고, 이에 의해 결과물을 제공하여 손쉽게 접근할 수 있도록 고객 선호도에 따라 동적으로 제공하는 방법을 의미한다. 이러한 개인화 서비스는 웹의 대중화 이후에 무선 인터넷과 휴대폰으로 대표되는 모바일 기기의 급속한 확산으로 모바일 분야에서도 점차 중요해지면서 공간분석 결과물의 서비스에도 적용 가능한 환경이 만들어지고 있으나 부동산 정보와 같이 수많은 정보와 복잡성을 가지는 분야에서 사용자 맞춤형 서비스가 가능하도록 적용된 경우는 거의 없다. 본 논문에서는 모바일 기기 사용자를 위한 공간 정보의 개인화 서비스 방법으로 사용자 프로파일(profile) 정보를 이용한 공간분석 및 비동기적 알림(notification) 서비스 방법을 제시한다. 이를 위해 개인 프로파일 정보를 이용하여 공간 분석을 수행할 수 있는 시스템을 설계함으로써 개인별 선호 정보에 따른 공간 분석이 가능한지 검증하고, 생성된 결과물이 알림 서비스를 통해 사용자의 모바일 기기로 효율적으로 전송될 수 있는지 확인하였다. 또한 사용자가 선택 가능한 조건이 다양한 부동산 정보에 적용함으로써 원하는 조건에 따른 실제적인 개인별 맞춤 서비스가 가능한 프로토타입을 구현하였다. 제안된 시스템을 이용하면 사용자 프로파일을 중심으로 공간 분석을 포함한 정보 서비스를 받을 수 있으며, 캐쉬 모듈을 이용한 보다 빠른 서비스가 가능하다.

  • PDF

Expression of $interferon$ $regulatory$ factor-1 in the mouse cumulus-oocyte complex is negatively related with oocyte maturation

  • Kim, Yun-Sun;Kim, Eun-Young;Moon, Ji-Sook;Yoon, Tae-Ki;Lee, Woo-Sik;Lee, Kyung-Ah
    • Clinical and Experimental Reproductive Medicine
    • /
    • 제38권4호
    • /
    • pp.193-202
    • /
    • 2011
  • Objective: We found previously that $interferon$ $regulatory$ factor ($Irf$)-1 is a germinal vesicle (GV)-selective gene that highly expressed in GV as compared to metaphase II oocytes. To our knowledge, the function of $Irf-1$ in oocytes has yet to be examined. The present study was conducted to determine the relationship between retinoic acid (RA) and RA-mediated expression of $Irf-1$ and the mouse oocyte maturation. Methods: Immature cumulus-oocyte-complexes (COCs) were collected from 17-day-old female mice and cultured $in$ $vitro$ for 16 hours in the presence of varying concentrations of RA (0-10 ${\mu}M$). Rate of oocyte maturation and activation was measured. Gene expression was measured by quantitative real-time reverse transcription-polymerase chain reaction (RT-PCR) and cytokine secretion in the medium was measured by Bio-Plex analysis. Apoptosis was analyzed by terminal deoxynucleotidyl transferase dUTP nick end labeling (TUNEL) assay. Results: The rates of oocyte maturation to metaphase II and oocyte activation increased significantly with RA treatment (10 nM-1 ${\mu}M$). With 100 nM RA treatment, lowest level of $Irf-1$ mRNA and cumulus cell's apoptosis was found. Among 23 cytokines measured by Bio-Plex system, the substantial changes in secretion of tumor necrosis factor-${\alpha}$, macrophage inflammatory protein-$1{\beta}$, eotaxin and interleukin-12 (p40) from COCs in response to RA were detected. Conclusion: We concluded that the maturation of oocytes and $Irf-1$ expression are negatively correlated, and RA enhances the developmental competence of mouse immature oocytes $in$ $vitro$ by suppressing apoptosis of cumulus cells. Using a mouse model, results of the present study provide insights into improved culture conditions for $in$ $vitro$ oocyte maturation and relevant cytokine production and secretion in assisted reproductive technology.

Response of osteoblast-like cells cultured on zirconia to bone morphogenetic protein-2

  • Han, Seung-Hee;Kim, Kyoung-Hwa;Han, Jung-Seok;Koo, Ki-Tae;Kim, Tae-Il;Seol, Yang-Jo;Lee, Yong-Moo;Ku, Young;Rhyu, In-Chul
    • Journal of Periodontal and Implant Science
    • /
    • 제41권5호
    • /
    • pp.227-233
    • /
    • 2011
  • Purpose: The aim of this study was to compare osteoblast behavior on zirconia and titanium under conditions cultured with bone morphogenetic protein-2. Methods: MC3T3-E1 cells were cultured on sandblasted zirconia and sandblasted/etched titanium discs. At 24 hours after seeding MC3T3-E1, the demineralized bone matrix (DBM) gel alone and the DBM gel with bone morphogenetic protein-2 (BMP-2) were added to the culture medium. The surface topography was examined by confocal laser scanning microscopy. Cellular proliferation was measured at 1, 4, and 7 days after gel loading. Alkaline phosphatase activity was measured at 7 days after gel loading. The mRNA expression of ALPase, bone sialoprotein, type I collagen, runt-related transcription factor 2 (Runx-2), osteocalcin, and osterix were evaluated by real-time polymerase chain reaction at 4 days and 7 days. Results: At 1, 4, and 7 days after loading the DBM gel alone and the DBM gel with BMP-2, cellular proliferation on the zirconia and titanium discs was similar and that of the groups cultured with the DBM gel alone and the DBM gel with BMP-2 was not significantly different, except for titanium with BMP-2 gel. ALPase activity was higher in the cells cultured with BMP-2 than in the other groups, but there was no difference between the zirconia and titanium. In ALPase, bone sialoprotein, osteocalcin, Runx-2 and osterix gene expression, that of cells on zirconia or titanium with BMP-2 gel was much more highly increased than titanium without gel at day 7. The gene expression level of cells cultured on zirconia with BMP-2 was higher than that on titanium with BMP-2 at day 7. Conclusions: The data in this study demonstrate that the osteoblastic cell attachment and proliferation of zirconia were comparable to those of titanium. With the stimulation of BMP-2, zirconia has a more pronounced effect on the proliferation and differentiation of the osteoblastic cells compared with titanium.

스마트폰을 활용한 위치 기반 그린 홈 서비스 (A Location-based Green Home Service using a Smart Phone)

  • 최진엽;전병찬;이상정
    • 한국인터넷방송통신학회논문지
    • /
    • 제12권3호
    • /
    • pp.89-97
    • /
    • 2012
  • 최근 환경 문제가 전 세계적으로 대두가 되면서 효율적인 에너지 관리 기술이 요구 되고 있다. 이러한 추세에 따라 앞으로의 홈 네트워크 서비스는 효율적인 에너지 관리 기술을 중심으로 한 스마트 홈 서비스 가 대두가 될 것으로 보이며 사용자 중심의 실시간 에너지 감시 및 제어 시스템의 통합 기술이 요구가 되고 있다. 본 논문에서는 주택 내 효율적인 에너지 사용 관리를 위하여 스마트폰을 이용하여 위치 기반 그린 홈 서비스를 제시한다. 단독 주택에 그린 홈 서비스를 적용하기 위한 그린 홈 네트워크 시스템을 설계하고 홈 네트워크를 구성하는 각 기기들과 연계하여 통합 게이트웨이를 구현한다. 스마트폰을 활용하여 가전 제어 서비스와 실내 위치 서비스를 구현하고 각 방의 신호세기 변화에 따른 위치 측위를 시행하여 사용자의 재실 여부를 확인한다. 에너지의 절감 여부를 확인하기 위해 에너지 사용 패턴에 대한 시나리오를 설정하고 스마트 미터를 활용하여 실내 위치 서비스 적용에 따른 에너지 변화를 비교하였다. 제안 시스템 적용 전과 적용 후의 에너지 사용량 비교 결과 최대 30%의 에너지 절감 효과를 보여 주택 내 에너지 비용의 절감 효과를 볼 수 있을 것으로 기대된다.

공공기관 모바일 서비스 수용에 관한 탐색적 연구: 사용자 및 전문가 대상 심층인터뷰를 중심으로 (An Exploratory Study on Adoption of Public Institution's Mobile Service: Focusing on In-Depth Interviews with Users and Experts)

  • 고준;손주희;양성병
    • 한국콘텐츠학회논문지
    • /
    • 제14권10호
    • /
    • pp.706-722
    • /
    • 2014
  • 정부 및 공공기관에서는 공공서비스를 모바일 환경에서 제공하기 위해 여러 가지 애플리케이션을 출시하고 있다. 하지만, 사용자를 최우선으로 배려하지 않은 일방적이고 단편적인 서비스로 인해 그 이용률은 극히 저조한 상황이다. 이에, 본 연구에서는 선행연구를 바탕으로 공공기관 모바일 서비스 수용의 핵심요인 다섯 가지(유용성, 편리성, 상호작용성, 정보의 신뢰성, 사회적 압력)를 도출하였다. 중소기업 지원을 전문으로 하는 공공기관(H 기관)의 '기업지원 앱'서비스 사용자 및 전문가 각 5인에 대한 심층인터뷰 결과, 다섯 가지 핵심요인 모두가 중소기업의 공공기관 모바일 서비스 수용에 중요한 요인으로 분석되었다. 사용자의 요구에 실시간으로 반응하고 제안된 의견을 신속히 반영함에 따라 모바일 서비스 사용자의 만족도는 크게 향상될 것이다. 또한 다양한 고급 정보를 맞춤형으로 제공함으로써 사용자와 공공기관 간 신뢰를 구축할 수 있을 것이다. 결국 사용자 가치 중심의 모바일 서비스 구현이 사용자의 서비스 수용과 사용을 높이는 중요한 요인이 되므로, 공공기관은 모바일 앱 개발 및 운영에 있어 사용자 요구 응대에 주안점을 두어야 한다.

인간 대장암 세포주에서 capsaicin 처리에 의한 차별적인 유전자 발현의 p53 의존성 분석 (Analysis of p53-Dependency of Differentially Expressed Genes by Capsaicin in Human Colorectal Cancer Cell)

  • 김효은;장민정;임승현;김효림;김순영;이건주;김종식
    • 생명과학회지
    • /
    • 제20권2호
    • /
    • pp.213-218
    • /
    • 2010
  • 본 연구에서는 대장암 세포주 모델에서 파이토케미칼 capsaicin에 의한 항 생장 활성과 유전체 수준에서의 유전자 발현 변화를 연구하였다. 그 결과, 처리한 capsaicin 농도 의존적으로 세포 생존율이 감소함을 확인하였고, capsaicin은 다양한 유전자의 발현 변화를 유도하였다. DNA microarray 실험결과 $100\;{\mu}M$ capsaicin의 처리에 의해 2배 이상 증가되는 유전자 103개가 확인된 반면, 2배 이상 발현이 감소되는 유전자 153개가 확인되었다. 발현이 증가되는 유전자 중 4개(NAG-1, DDIT3, GADD45A 그리고 PCK2)를 선택하여 RT-PCR을 수행한 결과, DNA micorarray 실험과 일치함을 확인하였다. 또한 $100\;{\mu}M$ capsaicin의 처리에 의해 암 억제유전자인 p53의 발현이 증가됨을 RT-PCR과 real-time PCR 방법으로 확인하였다. 게다가, NAG-1, DDIT3 그리고 GADD45A 유전자는 p53의 존재에 관계없이 발현이 증가되는 반면, PCK2 유전자는 반드시 p53에 의해 발현이 유도됨을 확인할 수 있었다. 이러한 연구는 대장암 세포주에서 capsaicin에 의한 항암 기전을 이해하는데 도움을 줄 것으로 기대된다.