• 제목/요약/키워드: Q learning

검색결과 426건 처리시간 0.034초

UAV 지원 MEC 시스템의 로드 밸런싱과 에너지 효율성을 고려한 강화학습 기반 태스크 마이그레이션 (Task Migration for Load Balancing and Energy Efficiency based on Reinforcement Learning in UAV-Enabled MEC System)

  • 신아영;임유진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 춘계학술발표대회
    • /
    • pp.74-77
    • /
    • 2022
  • 최근 사물 인터넷(IoT)의 발전으로 계산 집약적이거나 지연시간에 민감한 태스크가 증가하면서, 모바일 엣지 컴퓨팅 기술이 주목받고 있지만 지상에 고정되어 있는 MEC 서버는 사용자의 요구사항 변화에 따라 서버의 위치를 변경하거나 유연하게 대처할 수 없다. 이 문제를 해결하기 위해 UAV(Unmanned Aerial Vehicle)를 추가로 이용해 엣지 서비스를 제공하는 기법이 연구되고 있다. 그러나 UAV는 지상 MEC와는 달리 배터리 용량이 제한되어 있어 태스크 마이그레이션을 통해 에너지 사용량을 최소화하는 것이 필요하다. 본 논문에서는 MEC 서버들 사이의 로드 밸런싱과 UAV MEC 서버의 에너지 효율성을 최적화하기 위해 강화학습 기법인 Q-learning을 이용한 태스크 마이그레이션 기법을 제안한다. 제안 시스템의 성능을 평가하기 위해 UAV의 개수에 따라 실험을 진행하여 잔여 에너지와 로드 밸런싱 측면에서 성능을 분석한다.

교사교육을 위한 프로젝트 기반 가상학습커뮤니티 구축 (The Development of a Project-Based Cyber Learning Community for Teacher Education)

  • 조미헌;이옥화
    • 정보교육학회논문지
    • /
    • 제9권2호
    • /
    • pp.243-254
    • /
    • 2005
  • 지식정보사회의 변화와 정보통신기술의 발달과 대중화에 따른 교육의 개혁에 대한 요구가 증대되고 있으며, 그 요구에 부응하고자 최근 가상교육에 대한 관심이 고조되고 있다. 가상교육은 '정보 전달 모델'을 지양하고, '지식 구성 모델'을 채택해야 한다. 이에 가상교육 환경에서 학습자가 다양한 상호작용을 통하여 지식을 재구성하거나 생성할 수 있는 기회를 제공하고 지원할 수 있는 방안으로서 '프로젝트기반학습' 방법의 도입과 더불어서 '가상학습커뮤니티'의 구성과 운영이 필요하다. 본 연구는 교사교육에 초점을 두고, 프로젝트기반학습 방법의 활용 방안과 가상학습커뮤니티의 구성 및 운영 방안을 체계화하고, 실제 운영이 가능한 프로젝트 기반 가상학습커뮤니티 운영 시스템을 구축하였다. 시스템은 5가지 큰 메뉴와 세부 메뉴로 이루어지는데, Home(커뮤니티운영취지, 알림방, 프로젝트목록, 요구함), 프로젝트학습센터(학습활동 준비실, 모둠학습실, 발표회장), 만남의 광장(모둠별 멘터링 신청, 생각 나눔터, 전문가와의 만남, 설문조사참여, 포럼참여, 작품전시회), 자료창고(프로젝트학습사례, 프로젝트학습자료, 교사교육자료, 기타자료), 관리기능(프로젝트 관리, 프로젝트 사례, 아이디어뱅크, 파트너찾기, 교수자대화방, 자료나누기, 경험나누기, 설문조사관리, 포럼관리) 등으로 구성된다.

  • PDF

단층 코어넷 다단입력 인공신경망회로의 함수에 관한 구현가능 연구 (The Implementable Functions of the CoreNet of a Multi-Valued Single Neuron Network)

  • 박종준
    • 전기전자학회논문지
    • /
    • 제18권4호
    • /
    • pp.593-602
    • /
    • 2014
  • 인공신경망회로 목표 중의 하나는 최소한의 회로구성으로 구현가능함수를 가능한 많게 하는데 있다. 본 논문은 인공신경망회로의 가장 기본이 되는 하나의 입력노드와 하나의 출력노드, 그리고 입출력에 다단(multi-level)값을 갖는 단층(입출력 2 layer) 다단 코어넷(CoreNet)을 제안하고 그 처리 용량을 구하였고, 무게값 공간에서 구현 가능한 함수와 각 무게값 좌표(${\omega}$,${\theta}$)를 계산으로 구하여 한 함수의 구현 가능 여부를 알 수 있게 하였다. 또 입력 단계(level)값 설정 방법으로 cot(${\sqrt{x}}$)을 제안하였다. 제안된 p단 입력과 q단 출력을 갖는 코어넷의 처리용량(구현 가능한 함수의 수)은 $a_{p,q}={\frac{1}{2}}p(p-1)q^2-{\frac{1}{2}}(p-2)(3p-1)q+(p-1)(p-2)$임을 유도 증명하였다. 시뮬레이션으로 5단(level) 입력 값과, 6단 출력 값을 갖는 1(5)-1(6) 모델을 분석한 결과, cot(${\sqrt{x}}$) 입력 레벨링법에서 총 246가지의 함수가 구현가능 함을 보였다. 이 모델의 시뮬레이션 결과에서는 최대 219개의 함수가 수렴(구현 가능)하였고, 구현가능 함수 중에서 나머지 수렴되지 않은 27개의 함수는 무게값 공간에서 무게값 좌표를 계산하여 구현 가능함을 보였다. 이는 앞에서 제시된 코어넷 처리용량 $a_{5,6}(=246)$에 의한 계산 값과 일치하였다. 무게값 공간에서, 구현 가능한 함수가 차지하는 영역의 함수번호 매김 방법도 제시하여 구현 가능함수의 번호도 알 수 있도록 하였다.

웹에서 문제 해결 기반 및 자기 주도적학습 시스템의 설계와 구현 (Design and Implementation of an Problem-Solving Based and Self-Directed Learning System on Web)

  • 김경덕;이상운
    • 한국멀티미디어학회논문지
    • /
    • 제7권7호
    • /
    • pp.944-955
    • /
    • 2004
  • 현대 사회는 고도의 정보화 사회로서 평생 교육을 강조하며, 학교 현장에서는 학습자의 창의적 학습의 강조와 더불어 다양한 교수-학습 방법을 요구한다. 이러한 요구사항을 만족시키는 학습중의 하나가 웹을 활용한 자기 주도적 교수-학습 방법이다. 그러나 현재까지 개발된 대부분의 학습 자료는 단순 학습을 위한 웹 기반 교수-학습 자료이거나 단순한 문제 은행 시스템이 개발되어 있으며, 이러한 기존 학습 시스템들은 문제 해결 학습을 자기 주도적으로 수행할 수 있는 학습을 지원하기는 미흡하다. 그러므로 본 논문에서는 웹에서 문제 해결 학습과 자기 주도적 학습을 함께 활용하는 학습 시스템을 제안한다. 제안한 학습 시스템을 이용하여 학습자는 교과의 기본 개념과 원리를 학습한 후, 문제를 기반으로 하여 학습자의 사고력을 배양하고 스스로 학습 수준의 조정을 통하여 효율적인 학습을 수행한다. 제안한 학습 시스템은 중등학교 수학 교육에 적용을 보였으며, 학습자 스스로 문제 은행으로부터 선택한 문제를 이용하여 시험과 학력 수준의 파악 및 교수자와 온라인 게시판을 통하여 의문점 해결을 지원한다. 또한 자료실과 묻고 답하기를 이용한 학습자와 학습자, 교수자와 학습자간의 상호 정보를 공유함으로써 학습의 효율성을 높일 수 있는 것으로 확인하였다.

  • PDF

강화학습을 통한 시간에 엄격한 패킷 스케쥴링 (Time Critical Packet Scheduling via Reinforcement Learning)

  • 정현석;이태호;이병준;김경태;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2018년도 제58차 하계학술대회논문집 26권2호
    • /
    • pp.45-46
    • /
    • 2018
  • 본 논문에서는 시간에 엄격한(Time critical) 산업용 IoT(Industrial IoT) 환경의 무선 센서 네트워크 시스템 상의 효율적인 패킷 전달과 정확도(Accuracy) 향상을 위해 강화학습과 EDF 알고리즘을 혼합한 스케쥴링 기법을 제안한다. 이 방식은 다중 대기열(Multiple queue) 환경에서 각 대기열의 요구 정확도(Accuracy Requirement)를 기준으로 최대한 패킷 처리를 미룸으로써 효율적인 CPU자원 분배와 패킷 손실율(Packet Loss)을 조절한다. 제안하는 기법은 무선 센서 네트워크 상의 가변적이고 예측 불가능한 환경에 대한 사전지식이 없이도 요구하는 서비스의 질(Quality of service)를 만족할 수 있도록 한다. 또한 정확도를 요구조건으로 제시하여 마감시간이 중요시되는 작업에서도 효율을 최대화한다.

  • PDF

Autonomous pothole detection using deep region-based convolutional neural network with cloud computing

  • Luo, Longxi;Feng, Maria Q.;Wu, Jianping;Leung, Ryan Y.
    • Smart Structures and Systems
    • /
    • 제24권6호
    • /
    • pp.745-757
    • /
    • 2019
  • Road surface deteriorations such as potholes have caused motorists heavy monetary damages every year. However, effective road condition monitoring has been a continuing challenge to road owners. Depth cameras have a small field of view and can be easily affected by vehicle bouncing. Traditional image processing methods based on algorithms such as segmentation cannot adapt to varying environmental and camera scenarios. In recent years, novel object detection methods based on deep learning algorithms have produced good results in detecting typical objects, such as faces, vehicles, structures and more, even in scenarios with changing object distances, camera angles, lighting conditions, etc. Therefore, in this study, a Deep Learning Pothole Detector (DLPD) based on the deep region-based convolutional neural network is proposed for autonomous detection of potholes from images. About 900 images with potholes and road surface conditions are collected and divided into training and testing data. Parameters of the network in the DLPD are calibrated based on sensitivity tests. Then, the calibrated DLPD is trained by the training data and applied to the 215 testing images to evaluate its performance. It is demonstrated that potholes can be automatically detected with high average precision over 93%. Potholes can be differentiated from manholes by training and applying a manhole-pothole classifier which is constructed using the convolutional neural network layers in DLPD. Repeated detection of the same potholes can be prevented through feature matching of the newly detected pothole with previously detected potholes within a small region.

IPA 분석법을 활용한 비대면 동영상 강의 만족도 제고 방안 연구 (A Study on Improving the Satisfaction of Non-face-to-face Video Lectures Using IPA Analysis)

  • 정대현;김진성
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제29권4호
    • /
    • pp.45-56
    • /
    • 2020
  • Purpose The purpose of this study is to present the direction of efficient e-learning education through the importance and satisfaction survey of learners of non-face-to-face video lectures. Therefore, by grasping the degree of satisfaction of the importance ratio through the IPA analysis method, we try to present improvement measures for insufficient education methods. Design/methodology/approach For IPA analysis, we conducted an online survey of four universities and analyzed 154 samples. The analysis method used SPSS, and through the wordcloud analysis method of R, the suggestions for the non-face-to-face lecture method felt by learners were analyzed to derive implications for improving the quality of education. Findings As a result of the overall satisfaction survey for the entire non-face-to-face class, the factors with the greatest dissatisfaction are listed as follows. Complaints about the adequacy of learning materials and activities (quiz, discussion, assignments, etc.), Complaints about how to use the produced content, and complaints about announcements about class management (lecture schedule, lecture method) were identified in order. The factors of dissatisfaction were clear in the non-face-to-face class where interactive communication was impossible or insufficient. In addition to the lack of quick Q&A, there seems to have been a phenomenon of some neglect.

New Approaches to Xerostomia with Salivary Flow Rate Based on Machine Learning Algorithm

  • Yeon-Hee Lee;Q-Schick Auh;Hee-Kyung Park
    • Journal of Korean Dental Science
    • /
    • 제16권1호
    • /
    • pp.47-62
    • /
    • 2023
  • Purpose: We aimed to investigate the objective cutoff values of unstimulated flow rates (UFR) and stimulated salivary flow rates (SFR) in patients with xerostomia and to present an optimal machine learning model with a classification and regression tree (CART) for all ages. Materials and Methods: A total of 829 patients with oral diseases were enrolled (591 females; mean age, 59.29±16.40 years; 8~95 years old), 199 patients with xerostomia and 630 patients without xerostomia. Salivary and clinical characteristics were collected and analyzed. Result: Patients with xerostomia had significantly lower levels of UFR (0.29±0.22 vs. 0.41±0.24 ml/min) and SFR (1.12±0.55 vs. 1.39±0.94 ml/min) (P<0.001), respectively, compared to those with non-xerostomia. The presence of xerostomia had a significantly negative correlation with UFR (r=-0.603, P=0.002) and SFR (r=-0.301, P=0.017). In the diagnosis of xerostomia based on the CART algorithm, the presence of stomatitis, candidiasis, halitosis, psychiatric disorder, and hyperlipidemia were significant predictors for xerostomia, and the cutoff ranges for xerostomia for UFR and SFR were 0.03~0.18 ml/min and 0.85~1.6 ml/min, respectively. Conclusion: Xerostomia was correlated with decreases in UFR and SFR, and their cutoff values varied depending on the patient's underlying oral and systemic conditions.

Enhancing Service Availability in Multi-Access Edge Computing with Deep Q-Learning

  • 루숭구 조쉬 음와싱가;샤이드 무하마드 라자;리덕 타이;김문성;추현승
    • 인터넷정보학회논문지
    • /
    • 제24권2호
    • /
    • pp.1-10
    • /
    • 2023
  • The Multi-access Edge Computing (MEC) paradigm equips network edge telecommunication infrastructure with cloud computing resources. It seeks to transform the edge into an IT services platform for hosting resource-intensive and delay-stringent services for mobile users, thereby significantly enhancing perceived service quality of experience. However, erratic user mobility impedes seamless service continuity as well as satisfying delay-stringent service requirements, especially as users roam farther away from the serving MEC resource, which deteriorates quality of experience. This work proposes a deep reinforcement learning based service mobility management approach for ensuring seamless migration of service instances along user mobility. The proposed approach focuses on the problem of selecting the optimal MEC resource to host services for high mobility users, thereby reducing service migration rejection rate and enhancing service availability. Efficacy of the proposed approach is confirmed through simulation experiments, where results show that on average, the proposed scheme reduces service delay by 8%, task computing time by 36%, and migration rejection rate by more than 90%, when comparing to a baseline scheme.

Prenatal Diagnosis of the 22q11.2 Duplication Syndrome

  • Lee, Moon-Hee;Park, So-Yeon;Lee, Bom-Yi;Choi, Eun-Young;Kim, Jin-Woo;Park, Ju-Yeon;Lee, Yeon-Woo;Oh, Ah-Rum;Lee, Shin-Young;Yang, Jae-Hyug;Ryu, Hyun-Mee
    • Journal of Genetic Medicine
    • /
    • 제6권2호
    • /
    • pp.175-178
    • /
    • 2009
  • 22q11.2미세중복 증후군은 학습장애, 선천적 기형에서부터 정상에 이르기까지 다양한 표현형을 나타내는 증후군으로써, 22q11.2 미세결실 증후군인 DiGeorge 증후군과 동일한 위치에서 발생하는 질환이며, 이러한 원인은 유전적 불안정성이 높은 low-copy repeats (LCR) 부위에서 일어나는 유전체의 결손이나 중복에 의해 형성되는 것으로 보고되고 있다. 최근 array CGH가 임상분야에 적용됨에 따라 22q11.2 미세중복 증후군의 진단이 증가되고 있다. 이론적으로 22q11.2 부위의 미세중복이나 미세결실의 빈도는 동일하게 발생해야 하지만, 현재까지 미세결실에 비해 미세중복의 증례보고는 상대적으로 드물며 이는 증상이 없는 경우가 많기 때문인 것으로 알려져 있다. 특히 이전 보고에서 산전에 발견된 미세중복의 증례는 단1례 만이 보고된 바 있다. 저자들은 산전에 진단된 22q11.2 미세중복 증후군 1례의 보고를 통해 유전상담의 중요성과 array CGH의 임상 적용에 관하여 논하고자 한다.

  • PDF