• 제목/요약/키워드: Crawling system

검색결과 110건 처리시간 0.023초

비주얼 의류 검색기술을 위한 의류 속성 기반 Annotation 기법 개발 (Annotation Technique Development based on Apparel Attributes for Visual Apparel Search Technology)

  • 이은경;김양원;김선숙
    • 한국의류산업학회지
    • /
    • 제17권5호
    • /
    • pp.731-740
    • /
    • 2015
  • Mobile (smartphone) search engine marketing is increasingly important. Accordingly, the development of visual apparel search technology to obtain easier and faster access to visual information in the apparel field is urgently needed. This study helps establish a proper classifying system for an apparel search after an analysis of search techniques for apparel search applications and existing domestic and overseas apparel sites. An annotation technique is developed in accordance with visual attributes and apparel categories based on collected data obtained by web crawling and apparel images collecting. The categorical composition of apparel is divided into wearing, image and style. The web evaluation site traces the correlations of the apparel category and apparel factors as dependent upon visual attributes. An appraisal team of 10 individuals evaluated 2860 pieces of merchandise images. Data analysis consisted of correlations between apparel, sleeve length and apparel category (based on an average analysis), and correlation between fastener and apparel category (based on an average analysis). The study results can be considered as an epoch-making mobile apparel search system that can contribute to enhancing consumer convenience since it enables an effective search of type, price, distributor, and apparel image by a mobile photographing of the wearing state.

소셜 빅데이터 마이닝 기반 실시간 랜섬웨어 전파 감지 시스템 (Real-Time Ransomware Infection Detection System Based on Social Big Data Mining)

  • 김미희;윤준혁
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제7권10호
    • /
    • pp.251-258
    • /
    • 2018
  • 파일을 암호화시켜 몸값을 요구하는 악성 소프트웨어인 랜섬웨어는 빠른 전파력과 지능화로 더욱 위협적이 되고 있다. 이에 빠른 탐지 및 위험 분석이 요구되고 있지만, 실시간 분석 및 보고가 미비한 상태이다. 본 논문에서는 실시간 분석이 가능하도록 소셜 빅데이터 마이닝 기술을 활용하여 랜섬웨어 전파 감지 시스템을 제안한다. 본 시스템에서는 트위터 스트림을 실시간 분석하여 랜섬웨어와 관련된 키워드를 가진 트윗을 크롤링한다. 또한 뉴스피드 분석기를 통해 뉴스서버를 크롤링하여 랜섬웨어 관련 키워드를 추출하고, 보안업체의 서버나 탐색 엔진을 통해 뉴스나 통계데이터를 추출한다. 수집된 데이터는 데이터 마이닝 알고리즘으로 랜섬웨어 감염 정도를 분석한다. 2017년 전파가 많이 되었던 워너크라이와 록키 랜섬웨어 감염전파 시 관련 트윗의 수와 구글 트렌드(통계 정보) 정보, 관련 기사를 비교하여 트윗을 이용한 본 시스템의 랜섬웨어 감염 탐지 가능성을 보이고, 엔트로피와 카이-스퀘어 분석을 통해 제안 시스템 성능을 보인다.

수치해석을 이용한 연약지반 4열 강체 무한궤도 차량의 최적 선회비 연구 (Study on Steering Ratio of Four-Row Rigid Tracked Vehicle on Extremely Cohesive Soft Soil Using Numerical Simulation)

  • 김형우;이창호;홍섭;최종수;여태경;민천홍
    • 한국해양공학회지
    • /
    • 제27권6호
    • /
    • pp.81-89
    • /
    • 2013
  • This paper considers the steering characteristics of a four-row tracked vehicle crawling on extremely cohesive soft soil, where each side is composed of two parallel tracks. The four-row tracked vehicle (FRTV) is assumed to be a rigid body with 6-DOF. A dynamic analysis program for the tracked vehicle is developed using the Newmark-${\beta}$ method based on an incremental-iterative scheme. A terra-mechanics model of an extremely cohesive soft soil is implemented in the form of the relationships of the normal pressure to the sinkage, the shear resistance to the shear displacement, and the dynamic sinkage to the shear displacement. In order to investigate the steering characteristics of the four-row tracked vehicle, a series of dynamic simulations is conducted with respect to the distance between the left and right tracks (pitch), steering ratios, driving velocity, reference track velocity, lengths of the tracks, and properties of the cohesive soft soil. Through these numerical simulations, the possibility of using a kinematic steering ratio is explored.

챗봇 형태로 구현한 사용자 맞춤형 레시피 추천 시스템 (Customized Recipe Recommendation System Implemented in the form of a Chatbot)

  • 안예진;조하영;강신재
    • 한국산학기술학회논문지
    • /
    • 제21권5호
    • /
    • pp.543-550
    • /
    • 2020
  • 음식의 레시피에 대한 관심도가 높아지고 있는 요즘 대부분의 레시피 검색 시스템들은 요리명, 또는 음식 재료명으로 검색하는 정도로 구현이 되어 있으며, 레시피마다 상이한 계량 단위로 식재료의 양에 대한 정보를 제공하기 때문에 자신이 원하는 인분에 맞춰 식재료의 양을 다시 계산해야 하는 불편함이 있다. 이에 본 논문에서는 이러한 불편 사항을 해결하고 메신저 대화에 익숙한 사용자들에게 맞춤형 서비스를 제공하기 위해 챗봇 형태의 사용자 맞춤형 레시피 추천 시스템을 구현하였다. 레시피에 대한 사용자의 리뷰와 별점, 조회 수 등을 기반으로 인기 있는 레시피들을 선별하고 전처리를 통해 해당 레시피별로 주요 단어와 식재료 양, 조리 순서 등 필요한 정보들만을 추출, 가공한 뒤, 그를 통해 얻은 약 10만 개의 데이터를 기반으로 사용자가 입력한 레시피명, 식재료명, 제외할 식재료명 등을 분석해 레시피를 필터링하고, 사용자가 입력한 인분을 기준으로 재계량하여 레시피를 추천하는 시스템을 구현하였다. 사용자의 요구에 따른 레시피 추천 결과물에 대한 만족도를 평가하여 90.5%의 결과를 얻을 수 있었다.

유비쿼터스 환경에서의 연속류 적정속도 관리 기술 개발 (Developing a Freeway Flow Management Scheme Under Ubiquitous System Environments)

  • 박은미;서의현;고명석;오현선
    • 대한교통학회지
    • /
    • 제28권4호
    • /
    • pp.167-175
    • /
    • 2010
  • 유비쿼터스 통신 및 센서네트워크 기술발전으로, 기존 ITS(Intelligent Transportation System) 환경에서 불가능했던 미시 교통류 정보의 수집 가공과 V2V(Vehicle-to-Vehicle), V2I(Vehicle-to-Infra) 양방 통신환경을 활용한 개별차량 및 차량군 단위의 미세제어가 가능해졌다. 이에, 유비쿼터스 기술진보에 맞춘 진일보된 교통운영기술로서 적정속도 관리 알고리즘을 제시하고 그 알고리즘의 성능과 효과를 평가하였다. 적정속도 관리 알고리즘은, 소통원활 상황에서 과속을 억제하고 개별운전자간 속도 편차를 최소화함을 목표로 하는 과속저속관리와, 교통류가 임계상태에 가까워 졌을 때 혼잡교통류로의 전이를 예방 혹은 최대한 늦추는 것을 목표로 하는 밀도관리로 구성된다. 현재 교통 상용 시뮬레이션 소프트웨어로는 개발차량의 속도를 관리하는 본 연구의 알고리즘 모사와 평가가 불가능하여, COM(Component Object Model) Interface를 통해 VISSIM과 직접 작성한 프로그램 코드를 가지고 시뮬레이션 테스트 베드를 구축하여 이러한 효과평가를 수행하였다. 평가 결과 본 연구에서 제안한 알고리즘에 의해 적정속도를 관리 할 경우, 혼잡이 줄어들고 통행시간도 감소하는 효과를 볼 수 있었다.

오피니언 마이닝을 위한 VOC 데이타의 신뢰성 분석 (Reliability Analysis of VOC Data for Opinion Mining)

  • 김동원;유성진
    • 지능정보연구
    • /
    • 제22권4호
    • /
    • pp.217-245
    • /
    • 2016
  • 이 연구의 목적은 소셜 미디어에서 추출된 7개의 감성 도메인이 기업의 성과에 대한 영향 분석실험을 위한 데이터로서 적합한 지에 대해 신뢰성을 확인하고, 실제 고객감성이 자동차 시장점유율에 어떠한 영향을 미치는 지에 대하여 확인하기 위한 것이다. 본 연구는 총 3단계 구성으로서, 단계 1은 감성사전 구축 단계로서 미국 내 26개의 자동차 제조 회사의 고객의 소리 (VOC: Voice of Customer) 총 45,447개를 자동차 커뮤니티로부터 crawling하여 POS 정보 추출 후 감성사전을 구축하였고, 7개의 감성도메인을 만들었다. 단계 2는 신뢰성분석의 단계로서 자기상관관계분석과 주성분 분석 (PCA)을 통해 데이터의 실험 적합성을 검증하였다. 단계 3에서는 PCA를 근거로 2개의 선형회귀분석 모델을 구축하였고 GM, FCA, VOLKSWAGEN 등 3개의 기업을 선정, 2013년부터 2015년까지 7개 감성영역의 자동차 시장점유율에 대한 영향을 실험하였다. 실험 결과, 자기상관관계분석에 의해서 감성 데이터에 자기상관성과 시계열적 패턴이 관찰되었다. PCA 결과, 감성영역이 부정성, 긍정성, 중립성을 주성분으로 연결되어 있음이 확인되었다. VOC 감성 데이터에 대한 신뢰성을 바탕으로 한 2개 Model의 선형회귀분석 결과, 기업마다 시장점유율에 유의미한 영향을 미치는 감성들이 존재하며 Model 1과, 2의 감성영향력이 차이가 있고 중립성의 영향을 발견하였다. 본 연구를 통해, 데이터 상에 나타난 정보를 가진 감성이 과거 값에 기초하여 자동차 시장에서 변화를 수반할 수 있다는 것을 나타내고 있음을 확인하였다. 또한, 우리가 시장 데이터의 가용성을 적용하려고 할 때, 자동차 시장 관련 정보나 감성의 자기상관성을 잘 활용할 수 있다면, 감정 분석에 대한 연구에 큰 기여를 할 수 있을 뿐만 아니라, 실제 시장에서의 비지니스 성과에도 다양한 방법으로 기여할 수 있을 것으로 기대된다.

빅데이터 토픽모델링과 감성분석을 활용한 물공급과정에서의 수질사고 기사 분석 (Analysis of articles on water quality accidents in the water distribution networks using big data topic modelling and sentiment analysis)

  • 홍성진;유도근
    • 한국수자원학회논문집
    • /
    • 제55권spc1호
    • /
    • pp.1235-1249
    • /
    • 2022
  • 본 연구에서는 웹 크롤링 방법을 이용한 자료수집, 텍스트 마이닝을 활용한 데이터 분석과 같은 빅데이터 분석기법을 이용하여 국내 상수도 수질사고에 대한 전개양상 분석을 수행하였다. 상수도 시스템의 수질사고 빅데이터 뉴스의 추출을 위한 웹크롤링 기법을 적용하고 정확한 수질사고 뉴스를 획득하고자 알고리즘을 절차화하여 제시하였다. 또한 대규모 수질사고의 경우 사고발생에 따른 사고인지, 사고확산, 사고대응, 사고해결 등과 같은 전개양상이 나타나므로, 각 단계에 따른 적절한 뉴스기사를 추출하고, 이에 따른 정보분석을 실시하였다. 즉, 각 단계 별 주요 키워드, 감성분석을 통한 수질사고 전개양상분석을 사례기반으로 상세히 실시하고 그 의미를 분석, 도출하였다. 제안된 방법론을 2020년 발생한 인천광역시 유충사고기간에 적용하여 분석하였다. 그 결과, 수질사고와 같은 소비자에게 직접적인 영향을 미치는 정보의 공개가 제한된 상황에서 사고발생시 장기간의 피해 지속성이 있는 수질사고에 대한 뉴스 기사 언론보도의 논조 및 소비자의 긍부정도가 시간에 따라 명확히 변화됨을 확인할 수 있었다. 이것은 공급자 입장에서의 수질사고의 전개양상은 시설물의 빠른 복구도 매우 중요하지만 소비자의 긍정도를 높이기 위한 소비자 중심의 정책마련의 필요성을 제시하고 있다.

시빌 유형을 고려한 견고한 추천시스템 (STA : Sybil Type-aware Robust Recommender System)

  • 노태완;오하영;노기섭;김종권
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권10호
    • /
    • pp.670-679
    • /
    • 2015
  • 최근 인터넷의 급 성장과 함께 사용자들은 물건이나 영화, 음악 등을 구매 할 때 여러 가지 추천 사이트를 활용한다. 하지만 이러한 추천 사이트에는 악의적으로 아이템의 평점을 높이거나 낮추려는 악의적인 사용자(Sybil)들이 존재할 수 있으며, 추천시스템에 영향을 끼쳐 일반 사용자들에게 부정확한 결과를 추천할 수 있다. 본 논문에서는 사용자들이 생성하는 평점들을 일반적인 평점과 일반적이지 않은 평점으로 구분하고, 상태 정보를 재정립 및 활용하여 악의적 사용자의 영향력을 최소화 하는 추천 알고리즘을 제안한다. 특히, 현재 추천시스템에서의 문제가 되고 있는 3가지 공격모델의 개별 특성을 고려하여 시빌 유형에 견고한 추천 시스템을 처음으로 제안한다. 제안하는 기법의 성능을 입증하기 위해 실제 데이터를 직접 수집(crawling)하여 성능분석결과 제안하는 기법의 성능이 기존 알고리즘과는 다르게 공격 크기 및 종류에 상관 없이 좋은 성능을 보이는 것을 확인 하였다.

분산신원증명 기술을 활용한 허위 부동산 매물정보 검출에 관한 연구 (A Study on the Identification of fake Estimate Service using DID)

  • 문정경;김진묵
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 춘계학술대회
    • /
    • pp.649-651
    • /
    • 2021
  • 최근 들어, 부동산 매물에 대한 O2O 서비스가 웹 플랫폼 및 앱이 널리 보급되고 있다. 이로 인해서 매도자와 매수자, 부동산 중개업자는 빠르고 편리하게 부동산 매매, 전세 계약을 수행할 수 있다. 하지만, O2O 기반의 부동산 매물 정보시스템에서 가짜 정보 게시, 매물 정보에 대한 부분 수정, 고의적인 매물 정보의 미-게시로 인해서 부동산 매수자의 시간과 비용을 낭비하게 한다. 그러므로 우리는 웹 플랫폼에서 발생 가능한 부동산 매물정보들의 허위 여부를 검출 방식을 제안하고, 이에 관한 제안시스템을 설계 및 구현한다. 이를 위해서 분산 신원인증 프로토콜인 DID를 기반으로 한 개인신원증명과 매물정보 자체에 대한 검출 방식을 제안한다. 우리가 제안한 허위 부동산 매물정보 검출시스템은 3단계로 부동산 매물정보의 존재 여부 판별, 허위 매물 정보의 부분 수정 또는 고의적 미-게시 여부를 증명할 수 있다.

  • PDF

컨볼루션 신경망과 전이 학습을 이용한 버섯 영상 인식 (Mushroom Image Recognition using Convolutional Neural Network and Transfer Learning)

  • 강은철;한영태;오일석
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제24권1호
    • /
    • pp.53-57
    • /
    • 2018
  • 독버섯 중독 사건이 종종 발생한다. 본 논문은 딥러닝 기술을 활용한 버섯 인식 시스템을 제안한다. 딥러닝 기법 중 하나인 컨볼루션 신경망을 사용하였다. 컨볼루션 신경망을 학습하기 위해 이미지 크롤링을 이용하여 38종의 버섯에 대해 1478장의 영상을 수집하였다. 수집한 데이터셋을 가지고 AlexNet, VGGNet, GoogLeNet을 비교 실험하였으며, 클래스 수 확장에 따른 비교 실험, 전이 학습을 사용한 비교실험을 하였다. 실험 결과 1순위 정확도는 82.63%, 5순위 정확도는 96.84%라는 성능을 얻었다.