• 제목/요약/키워드: Crawling system

검색결과 109건 처리시간 0.028초

비정형 데이터와 딥러닝을 활용한 내수침수 탐지기술 개발 (Development of a method for urban flooding detection using unstructured data and deep learing)

  • 이하늘;김형수;김수전;김동현;김종성
    • 한국수자원학회논문집
    • /
    • 제54권12호
    • /
    • pp.1233-1242
    • /
    • 2021
  • 본 연구에서는 비정형 데이터인 사진자료를 이용하여 침수의 발생여부를 판단하는 모델을 개발하였다. 침수분류를 모델 개발을 위하여 CNN기반의 VGG16, VGG19을 이용하였다. 모델을 개발하기 위하여 침수사진과 침수가 발생하지 않은 사진을 웹크롤링 방법을 이용하여 사진을 수집하였다. 웹크롤링 방법을 이용하여 수집한 데이터는 노이즈 데이터가 포함되어 있기 때문에 1차적으로 본 연구와 상관없는 데이터는 소거하였으며, 2차적으로 모델 적용을 위하여 224 × 224로 사진 사이즈를 일괄 변경하였다. 또한 사진의 다양성을 위해서 사진의 각도를 변환하여 이미지 증식을 수행하였으며. 최종적으로 침수사진 2,500장과 침수가 발생하지 않은 사진 2,500장을 이용하여 학습을 수행하였다. 모델 평가결과 모델의 평균 분류성능은 97%로 나타났으며. 향후 본 연구결과를 통하여 개발된 모델을 CCTV관제센터 시스템에 탑재한다면 신속하게 침수피해에 대한 대처가 이루어 질 수 있을 것이라 판단된다.

근력강화훈련이 뇌성마비 아동의 보행능력과 대동작 기능에 미치는 영향에 대한 체계적 고찰과 메타분석 (Effects of Strengthening Exercise on Gait Ability and GMFM in Cerebral Palsy : A Systematic Review and Meta-Analysis)

  • 허성경;이한숙;박선욱
    • 대한물리의학회지
    • /
    • 제13권3호
    • /
    • pp.39-47
    • /
    • 2018
  • PURPOSE: The purpose of this investigation was to conduct a systemic review of studies that examine the effects of strengthening exercise on gait ability and GMFM in children with cerebral palsy and propose a standard for cerebral palsy therapy based on a meta-analysis of the studies. METHODS: An extensive literature search was conducted using databases including the KISS (Korean studies Information Service System), RISS, DBpia, PubMed and ScienceDirect, with the following search terms: 'Strengthening Exercise,' 'Resistance Exercise,' 'Gait ability,' 'GMFM' or 'cerebral palsy'. RESULTS: Eleven studies were included in this review and the duration of the intervention varied from 5 to 24 weeks. The number of application per week was mostly 2-3 times, while 5 intervention per week was adopted in a few cases. The total number of intervention applied varied from 18 to 36 and the respective effect sizes of GMFM on crawling and sitting were very high (1.075 and .881) while those of GMFM on standing and walking were very low(.206 and .125). The effect size was for gait speed was only .221. CONCLUSION: Trunk exercise and lower limb exercise effectively improved GMFM in children with cerebral palsy, resulting in improved outcomes in sitting and crawling. The results of this study will be useful for designing evidencebased cerebral palsy therapy programs.

소셜 미디어 분석을 통한 음악 추천 모델의 설계 및 구현 (Design and implementation of a music recommendation model through social media analytics)

  • 정경록;박구락;박상혁
    • 융합정보논문지
    • /
    • 제11권9호
    • /
    • pp.214-220
    • /
    • 2021
  • 스마트폰이 빠르게 보급되면서 음악을 생활 속의 배경음악처럼 항상 모든 곳에서 듣는 것이 일반화되어 개인의 상황과 조건에 맞는 추천을 할 수 있는 음악 데이터베이스를 필요하다. 본 논문에서는 소셜 미디어를 통한 음악추천 모델을 제안한다. 소셜 미디어의 데이터를 사용하여 음악 데이터베이스를 작성하고 기존의 음원 제공 플랫폼이 주로 사용하는 협업필터링과는 다른 방식으로 음악을 분류한다. 웹크롤링으로 음악 제목이 해시 태그로 달린 게시글을 찾아 해당 글에 함께 달린 다른 해시 태그들을 수집하고 분류하여 실제 청취자의 음악에 관한 의견을 데이터베이스에 사용한다. 소셜 미디어를 작성할 때의 감정, 상황, 시간대, 날씨 등 많은 조건이 해시 태그에는 포함되어 있으므로 다양한 사람의 의견이 집단지성으로 반영된 소셜 미디어 기반 데이터베이스를 구축할 수 있다.

Development of A Uniform And Casual Clothing Recognition System For Patient Care In Nursing Hospitals

  • Yun, Ye-Chan;Kwak, Young-Tae
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권12호
    • /
    • pp.45-53
    • /
    • 2020
  • 본 연구의 목적은 요양병원에서 발생할 수 있는 노인안전사고 발생률을 감소시키는 것이다. 즉, 위험지역으로 접근하는 인물이 노인(환자복) 그룹인지 실무자(평상복) 그룹인지를 CCTV에 나타나는 의복을 기준으로 구별하는 것이다. Web Crawling기법과 요양병원으로부터 지원을 받아 기초 데이터를 수집하였다. 이후 Image Generator와 Labeling으로 모델 학습 데이터를 만들었다. CCTV의 제한된 성능 때문에 높은 정확도와 속도를 모두 갖춘 모델을 만드는 것은 어려웠다. 그러므로 정확성이 상대적으로 우수한 ResNet 모델, 속도에서 상대적으로 우수한 YOLO3 모델을 각각 구현했다. 그리고 요양병원이 자신의 실정에 맞는 모델을 고를 수 있게 하고자 했다. 연구 결과 환자복과 평상복을 적절한 정확도로 구별할 수 있는 모델을 구현하였다. 따라서 실제 사용처에서 노인들이 위험구역에 접근하지 못하도록 하여 요양병원 안전사고 감소에 이바지 할 것으로 평가된다.

BigCrawler: 엣지 서버 컴퓨팅·스토리지 모듈의 동적 구성을 통한 효율적인 빅데이터 처리 시스템 구현 및 성능 분석 (Implementation and Performance Aanalysis of Efficient Big Data Processing System Through Dynamic Configuration of Edge Server Computing and Storage Modules)

  • 김용연;전재호;강성주
    • 대한임베디드공학회논문지
    • /
    • 제16권6호
    • /
    • pp.259-266
    • /
    • 2021
  • Edge Computing enables real-time big data processing by performing computing close to the physical location of the user or data source. However, in an edge computing environment, various situations that affect big data processing performance may occur depending on temporary service requirements or changes of physical resources in the field. In this paper, we proposed a BigCrawler system that dynamically configures the computing module and storage module according to the big data collection status and computing resource usage status in the edge computing environment. And the feature of big data processing workload according to the arrangement of computing module and storage module were analyzed.

반응 위험성분석 및 사고방지를 위한 스마트 합성경로 탐색시스템 (Smart Synthetic Path Search System for Prevention of Hazardous Chemical Accidents and Analysis of Reaction Risk)

  • 정준수;김창완;곽동호;신동일
    • Korean Chemical Engineering Research
    • /
    • 제57권6호
    • /
    • pp.781-789
    • /
    • 2019
  • 연구실 실험, 파일럿 플랜트 및 반응기 운전 중 화학물질에 의한 안전사고가 발생하고 있다. 합성 실험을 시작하기전 사고예방을 위해 관련 정보들을 찾아볼 필요가 있으며, 공정설계 단계에서도 반응 폭주 예방을 위한 반응정보의 확보는 필수적이다. 합성반응 관련 정보는 인터넷을 포함해 다양한 source가 존재하지만, 검색에 오랜 시간이 걸리고, 합성법마다 사용되는 물질도 달라 적정경로 선택의 어려움이 있다. 연구자들의 합성경로 검색시간단축과 합성 시 존재할 수 있는 위험성 및 중간생성물질들의 확인에 도움을 주고자 본 연구는 스마트 합성경로 탐색시스템을 제안하였다. 제안한 탐색시스템은 Python 패키지인 Selenium을 사용한 Web scraping 및 Web crawling을 통해 인터넷에 존재하는 정보를 수집하여 DB를 자동으로 갱신한다. 경로 탐색 알고리즘은 depth-first search에 기반하여 목표 물질을 기준으로 탐색을 진행하고, 유해화학물질 등급, 수율 등을 구분하여, 제한된 경로 단계 수치내에 있는 모든 합성 경로를 제안한다. 또한 각자의 연구 목적에 맞게 연구원들이 가진 비공개 데이터를 형식을 맞춰 DB에 등록하여 확장할 수 있다. 시스템은 차후에 무료 사용이 가능하도록 open source로 공개할 예정이다. 개발 시스템은 연구자들이 제안된 경로를 참고하여 더 안전한 반응 방법을 찾고, 사고의 예방에도 도움을 줄 것으로 기대된다.

클러스터링을 이용한 스마트폰 사용자 추천 시스템 만들기 (Creating a Smartphone User Recommendation System Using Clustering)

  • Jin Hyoung AN
    • Journal of Korea Artificial Intelligence Association
    • /
    • 제2권1호
    • /
    • pp.1-6
    • /
    • 2024
  • In this paper, we develop an AI-based recommendation system that matches the specifications of smartphones from company 'S'. The system aims to simplify the complex decision-making process of consumers and guide them to choose the smartphone that best suits their daily needs. The recommendation system analyzes five specifications of smartphones (price, battery capacity, weight, camera quality, capacity) to help users make informed decisions without searching for extensive information. This approach not only saves time but also improves user satisfaction by ensuring that the selected smartphone closely matches the user's lifestyle and needs. The system utilizes unsupervised learning, i.e. clustering (K-MEANS, DBSCAN, Hierarchical Clustering), and provides personalized recommendations by evaluating them with silhouette scores, ensuring accurate and reliable grouping of similar smartphone models. By leveraging advanced data analysis techniques, the system can identify subtle patterns and preferences that might not be immediately apparent to consumers, enhancing the overall user experience. The ultimate goal of this AI recommendation system is to simplify the smartphone selection process, making it more accessible and user-friendly for all consumers. This paper discusses the data collection, preprocessing, development, implementation, and potential impact of the system using Pandas, crawling, scikit-learn, etc., and highlights the benefits of helping consumers explore the various options available and confidently choose the smartphone that best suits their daily lives.

RSS를 이용한 실시간 상품정보 수집시스템의 설계 (System Design for Collecting Real-Time Product Information Using RSS)

  • 뭉크자야;고선우
    • 산업경영시스템학회지
    • /
    • 제35권1호
    • /
    • pp.1-9
    • /
    • 2012
  • It is well known that internet shoppers are very sensitive to sale prices. They visit the various shopping malls and collect the product information including purchase conditions for goods purchase decision-making. Recently the necessity of information support is increasing because of increase of information amount which is necessary and complexity of goods purchase decision-making process. The comparison shopping agent systems have provided price comparison information which is collected from various shopping malls to satisfy internet shoppers information craving. But the frequent price change caused by keen price competition is becoming the primary reason of information quality decline among price comparison sites. RSS which is a family of web feed formats used to publish frequently updated is applied even in on-line shopping malls. This paper develops a RSS product information collection system to get real-time product information. The proposed product information system consists of (1) web crawler module for searching RSS feed shopping malls automatically, (2) RSS reader module for parsing product information from RSS feed file, (3) product DB and (4) product searching module. Performance of the proposed system is higher than the comparison shopping agent systems when it is defined with the volume of collecting product information per unit time.

이분법 선호도를 고려한 강건한 추천 시스템 (Bipartite Preference aware Robust Recommendation System)

  • 이재훈;오하영;김종권
    • 정보보호학회논문지
    • /
    • 제26권4호
    • /
    • pp.953-960
    • /
    • 2016
  • 온라인 시스템이 활성화 되고 접근 가능한 정보의 양이 늘어나면서 추천 시스템의 영향력 또한 커지고 있다. 하지만 일부 악의적인 유저들의 공격으로 인해 시스템에 대한 신뢰도를 저하시키고 조작하려는 시도가 늘고 있다. 본 연구팀은 해당 리뷰에 대한 공감, 비공감 비율을 분석하고 이를 추천 시스템에 적용함으로써 추천 시스템의 성능을 향상시키고 강건한 시스템을 유지할 수 있는 방법을 제안한다. 실제 영화 데이터를 수집하여 적용해 본 결과 기존의 추천 시스템보다 향상된 성능을 보였다.

변형된 TSP 및 엘라스틱서치 알고리즘 기반의 최적 여행지 코스 추천 시스템 개발 (A Development of Optimal Travel Course Recommendation System based on Altered TSP and Elasticsearch Algorithm)

  • 김준영;조경호;박준;정세훈;심춘보
    • 한국멀티미디어학회논문지
    • /
    • 제22권9호
    • /
    • pp.1108-1121
    • /
    • 2019
  • As the quality and level of life rise, many people are doing search for various pieces of information about tourism. In addition, users prefer the search methods reflecting individual opinions such as SNS and blogs to the official websites of tourist destination. Many of previous studies focused on a recommendation system for tourist courses based on the GPS information and past travel records of users, but such a system was not capable of recommending the latest tourist trends. This study thus set out to collect and analyze the latest SNS data to recommend tourist destination of high interest among users. It also aimed to propose an altered TSP algorithm to recommend the optimal routes to the recommended destination within an area and a system to recommend the optimal tourist courses by applying the Elasticsearch engine. The altered TSP algorithm proposed in the study used the location information of users instead of Dijkstra's algorithm technique used in previous studies to select a certain tourist destination and allowed users to check the recommended courses for the entire tourist destination within an area, thus offering more diverse tourist destination recommendations than previous studies.