• 제목/요약/키워드: automatic algorithm

검색결과 2,603건 처리시간 0.032초

Python을 이용한 SNS 크롤링 시스템 구축 (Building an SNS Crawling System Using Python)

  • 이종화
    • 한국산업정보학회논문지
    • /
    • 제23권5호
    • /
    • pp.61-76
    • /
    • 2018
  • 현대인이 살고 있는 네트워크 세상으로 모든 사물들이 들어오고 있다. 사물에 센서를 부착하는 사물인터넷의 영향으로 인해 네트워크로 실시간 데이터를 주고받는 것이 가능해졌다. 현대인들의 필수품인 모바일 디바이스는 일상생활의 모든 자취를 실시간으로 남기는 역할을 하고 있다. 바로 소셜 네트워크 서비스를 통하여 정보획득 활동과 커뮤니케이션 활동을 실시간으로 거대한 네트워크에 남기고 있는 것이다. 비즈니스 관점에서 고객의 니즈 분석은 바로 SNS 자료에서부터 시작된다는 등가가 성립된다. 본 연구는 웹 환경의 SNS 콘텐츠를 파이썬을 이용하여 실시간으로 자동 수집시스템을 구축하고자 한다. 세계적으로 많은 이용자수를 확보하고 있는 인스타그램, 트위터, 유튜브의 비정형적 데이터 수집 시스템을 통하여 고객의 니즈 분석에 도움이 되고자 한다. 파이썬의 웹드라이버 환경에서 가상 웹브라우저를 이용하여 마이닝 처리와 NLP 과정을 거쳐 DB에 저장된다. 본 연구의 결과 웹페이지를 통하여 서비스를 진행하고자하며 검색 기능만으로 원하는 데이터가 자동 수집되며 데이터의 시계열 분석을 통하여 네티즌의 이슈 반응을 실시간으로 확인할 수 있었다. 또한 검색부터 실행결과가 나오기까지 5초 이내 이루어지므로 제시된 알고리즘의 우수성을 확인하였다.

동적 환경에서의 립리딩 인식성능저하 요인분석에 대한 연구 (A Study on Analysis of Variant Factors of Recognition Performance for Lip-reading at Dynamic Environment)

  • 신도성;김진영;이주헌
    • 한국음향학회지
    • /
    • 제21권5호
    • /
    • pp.471-477
    • /
    • 2002
  • 최근 립리딩에 대한 연구는 음성인식방법에 있어서 부가적인 정보를 제공하여 잡음환경에서 견인한 음성 인식을 하거나 음성정보의 부가적인 특징벡터로 사용하기 위한 방법으로 연구되고 있다. 그러나 립리딩 연구의 대부분은 실험실 환경하의 제한된 결과로서, 실제 다양한 동적 환경에서의 견인성에 대해서는 연구된 바가 없다. 현재 우리는 입술정보만을 이용한 자동22단어 인식기를 만들었으며, 이미지 기반 립리딩의 성능은 53.54%의 성능을 가지고 있다. 본 연구에서는 기 구현된 립리딩 시스템을 기반으로 하여, 립리딩 성능이 환경 적인 변화에 대해서 얼마나 안정할 수 있는지, 그리고 립리딩의 인식성능 저하를 일으키는 주요 요인이 무엇인지에 대하여 연구하였다. 입술이미지의 동적 변이로서는 이동, 회전. 크기변화와 같은 공간적 변화와 빛에 의한 조명변화를 고려하였다. 실험용 데이터로는 영상변환에 의한 시뮬레이션 된 데이터와 동적 변화가 심한 자동차 환경에서 수집한 데이터를 사용하였다. 실험결과 입술의 공간 변화가 인식성능 저하의 한가지 요인으로 작용함을 발견하였다. 그러나 실제적으로 공간변화보다 더 심각한 성능저하 원인은 시간흐름에 따른 조명조건의 변화로써 70%이상의 왜곡이 발생했다. 따라서 신뢰할 수 있는 립리딩 시스템 구현을 위해서 고려해야 할 가장 큰 요인은 빛의 변화임을 발견할 수 있었다.

리드 스위치 센서를 이용한 원격 검침용 상수도 계량기에서 채터링 오차 감소 방안 연구 (Reduction of Chattering Error of Reed Switch Sensor for Remote Measurement of Water Flow Meter)

  • ;김희식
    • 전자공학회논문지SC
    • /
    • 제44권4호통권316호
    • /
    • pp.42-47
    • /
    • 2007
  • 상수도 원격 검침에서는 리드 스위치의 채터링 오차를 감소시키기 위한 센서 연구 및 개선이 필요하다. 센서의 동작은 전기적 펄스를 발생시키기 위한 영구 자석 주각의 접근에 의한 기계적 접촉스위치처럼 나타낼 수 있다. 대부분 회전 또는 전달 이동을 잡기 위해 사용되고 수류 측정 장치에 적용하기 위해서는 높은 신뢰성이 필수이다. 동작 형태를 간단히 설명하게 되면 미터기 작동 모터 끝에 달려있는 작은 자석이 미터기 회전에 의해 리드 스위치 내부에 있는 두 개의 스프링과 기계적 접촉 형식으로 반복적으로 떨어지게 된다. 즉 수류량에 따라 펄스의 수가 증가하는 것이다. 이렇게 측정된 값은 무선 이동 통신을 통해 서버로 전달되게 된다. 문제는 자석과 리드 스위치가 만나는 지점에서 스위치가 멈추게 되면 떨리면서 펄스가 잘못 올라가는 오차가 생기는 것이다. 이러한 오차를 감소시키기 위해 보통 소프트웨어적인 방법을 사용한다. 필터 알고리듬을 사용하는것과 통계적인 보정방법을 사용하는 것이 그러한 예이다. 하지만 그러한 방법보다는 하드웨어적으로 문제를 해결하는 것이 오차를 줄일 수 있는 더 직접적인 방법이다. 본 논문에서는 기계적인 이력현상의 특성을 이용하여 리프 스프링 구조의 변화로 오차를 감소시키는 연구를 수행하였다.

해마와 피질의 상호 관계를 이용한 객체 기반 영상 검색 기법 (An Object-Based Image Retrieval Techniques using the Interplay between Cortex and Hippocampus)

  • 홍종선;강대성
    • 대한전자공학회논문지SP
    • /
    • 제42권4호
    • /
    • pp.95-102
    • /
    • 2005
  • 본 논문에서는 해마와 피질 사이의 상호 작용을 이용하여 사용자 친화적인 객체 기반 영상 검색 시스템을 제안한다. 내용기반 영상 검색 시스템은 대부분 예제(example) 질의 혹은 스케치 질의 등을 이용하고 있고 이러한 방법들은 비교적 사용하기 불편하고 방법이 편중되어 있어서 일반 사용자들의 다양한 질의 요구에 적합하지 못하다. 제안하는 알고리즘은 CSB 트리맵 (Color and Spatial based Binary tree map)을 이용하여 객체를 추출하고 지역 라벨링 알고리즘을 이용하여 객체의 색상의 상관관계, 객체의 크기와 위치 정보를 비트 스트림 형태로 변환하고 이것을 해마와 피질 사이의 상호 작용의 관계를 이용한 해마 신경망을 사용하여 학습시킨다. 사람의 뇌 속에서 어떤 패턴을 인식을 하는 경우 해당 패턴의 특이한 특징에 대해 흥분하는 세포들이 특정 신호를 발생시킨다. 이것은 흥분학습에 의해 단기기억에서 장기기억으로 저장하는 해마의 기능으로 기존의 신경망에서는 입력되는 패턴의 특성과는 상관없이 특징 개수가 모두 동일하게 비교된다. 제안하는 해마 신경망은 호감도 조정에 의해서 입력되는 영상 패턴의 특징들을 흥분학습과 억제학습을 이용하여 불필요한 특징은 억제시키고 중요한 특징은 장기 기억 시켜서 적응성 있는 고속 검색 시스템을 구현한다.

휴대형 근적외선/가시광선 분광기를 이용한 의약품 분류기법 (Classification of Tablets Using a Handheld NIR/Visible-Light Spectrometer)

  • 김태동;이승현;백경진;장병준;정경훈
    • 한국전자파학회논문지
    • /
    • 제28권8호
    • /
    • pp.628-635
    • /
    • 2017
  • 의약품은 인간의 건강 및 생명과 밀접한 관련이 있기 때문에 증상에 맞는 의약품을 처방받아 복용하는 것은 매우 중요한 문제이다. 더욱이 세계적으로 위조 의약품이 증가하는 상황에서 정품 의약품들을 정확하게 분류하는 기술은 점점 중요해진다. 그러나 의약품을 제대로 분류할 수 있는 전문적인 지식을 갖춘 인력이 제한적이라는 측면에서 의약품을 자동적으로 분류하는 기술이 필요하다. 본 논문에서는 휴대용 분광기를 이용하여 의약품의 근적외선 및 가시광선 스펙트럼을 추출하고, Support Vector Machine(SVM) 기법을 이용하여 추출한 스펙트럼 데이터를 학습시켜 분류하는 방법을 제안하였다. 모의실험을 통해 근적외선과 가시광선 스펙트럼 데이터를 사용하여 6종의 의약품을 학습시키고 분류하였을 때 평균적으로 99.9 %의 정확도를 얻었다. 또한 본 논문에서는 위조 의약품 검출을 위한 2단계 SVM 분류 기법을 제안하였으며, 이를 통해 정품과 위조 의약품을 구분하는 정확도가 향상되고, 처리속도가 개선되는 것을 확인하였다.

스트립을 이용한 요분석시스템의 개발과 퍼지추론에 의한 검사결과 평가에 관한 연구 (A Study on the Development of Urine Analysis System using Strip and Evaluation of Experimental Result by means of Fuzzy Inference)

  • 전계록;이승진;최병철;안시훈;하광;김주열;김재형
    • 대한의용생체공학회:의공학회지
    • /
    • 제19권5호
    • /
    • pp.477-486
    • /
    • 1998
  • 본 연구에서는 요분석용 스트립을 이용하여 요의 상태를 정량적·정성적으로 측정할 수 있는 요분석시스템을 구현하였다. 요분석시스템의 분석 알고리듬은 온도 변화, 전원 노이즈 통의 외란에 강인한 특성을 나타내기 위하여 퍼지 논리를 적용하였다. 강인하고 안정적인 요분석시스템을 설계하기 위하여 스트립 9가지 패드의 분강학적 특성을 검토하였다. 요분석시스템 하트웨어와 소프트웨어로 구성되었다. 요분석시스템의 하드웨어는 단일칩 마이크로프로세서를 사용하였고, 주변장치들로는 광하부, 트레이 제어, 전치증폭부, PC와의 통신, 열전사 프린터 및 동작 상태 표시기로 구성하였다. 요분석시스템의 소프트웨어는 시스템 프로그램과 분류 프로그램으로 구성하였다. 시스템 프로그램은 시스템 제어와 데이터 취득 및 분석을 수행하도록 하였다. 분규 프로그램은 퍼지추론부와 멤버쉽함수 발생기로 구성되었다 멤버쉽함수 발생기는 정도관리의 통계학적 방법을 이용하여 삼각형 멤버쉽함수를 생성하였다. 측정된 데이터는 PC로 전송되고, 전송된 데이터는 C++로 작성된 데이터 관리 및 취득 프로그램에 의해 저장된다. 요분석시스템의 정확도와 퍼지분류기의 안정성은 표준시료를 이용하여 평가하였다. 실험결과는 검사항목과 만족한 일치를 보였다.

  • PDF

내용 기반 음악 정보 검색에서 주제 선율의 변화 패턴을 이용한 색인 및 검색 기법 (Indexing and Retrieval Mechanism using Variation Patterns of Theme Melodies in Content-based Music Information Retrievals)

  • 구경이;신창환;김유성
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제30권5호
    • /
    • pp.507-520
    • /
    • 2003
  • 본 연구에서는 내용 기반 음악 정보 검색 시스템의 검색 속도를 증진하기 위해 음악의 대표 선율인 주제 선율을 추출하여 주제 선율 색인을 구성하고 이를 이용한 효율적인 내용 기반 음악 정보 검색 기법을 제안하였다. 추출된 주제 선율을 다차원 공간 색인 기법인 M-tree를 이용하여 주제 선율 색인으로 구성하기 위해 주제 선율의 평균 음 높이 변화량과 평균 음 길이 변화량을 이용하였으며 검색의 정확도를 증진하기 위해 음 높이 변화 패턴을 요약한 높이 시그니처와 음 길이 변화 패턴을 요약한 길이 시그니처를 이용하였다. 또한 제안된 내용 기반 음악 정보 검색 기법에서는 사용자의 질의 선율로부터 질의 선율의 패턴 정보를 구성하고 M-tree의 k-근접 검색 및 범위 검색 기법을 이용하여 사용자의 질의 선율과 유사한 주제 선율을 포함하고 있는 음악 정보를 검색한다. 검색된 결과로부터 순위 부여한 후 사용자 피드백을 하여 사용자의 만족도를 증진하기 위한 특성을 포함하도록 하였다. 또한, 본 논문에서 제안된 주제 선율 색인 기법 및 내용 기반 검색 기법을 포함한 내용 기반 음악 정보 검색 시스템의 프로토타입을 구현하여 제안된 기법의 실효성을 입증하였다.

Quad Chip 외관 불량 검사를 위한 2D/3D 광학 시스템 (2D/3D Visual Optical Inspection System for Quad Chip)

  • 한창호;이상준;박철근;이지연;유영기;고국원
    • 한국산학기술학회논문지
    • /
    • 제17권1호
    • /
    • pp.684-692
    • /
    • 2016
  • LQFP/TQFP(Low-profile Quad Flat Package/Thin Quad Flat Package) 패키지 공정에서는 높은 수준의 품질 관리를 위해 3차원 형상 측정 방법을 도입하고 있어 본 연구에서는 최종 외관 불량 검사를 위하여 projection moire 방식의 3D 영상 검사를 위한 광학 시스템과 영상처리 알고리즘을 개발하였다. LQFP/TQFP칩에서 발생하는 불량들은 2D 불량항목과 3D 불량 항목으로 구분하여 불량 항목을 상세히 정의하였다. 광학계를 설계함에 있어서 2D 측정 광학계는 돔 조명을 사용하여 일정한 광분포도를 갖도록 설계하고, 3D 측정 광학계는 PZT를 이용하여 모아레 패턴이 90도씩 정확한 위상을 갖도록 이송을 위한 기구적 메커니즘을 설계한다. 물체의 모아레 측정시 위상 변화에서 나타나는 $2{\pi}$ 모호성을 해결하기 위해 측정된 모아레 무늬를 비교하여 $2{\pi}$ 위상의 모호성이 발생하는 부분에서 수정된 다른 위상을 참고하는 알고리즘을 적용하였다. 개발된 검사 시스템은 LQFP/TQFP 외관 검사 공정에 적용하였으며, 실험에서 최대 높이의 측정 오차는 $1.34{\mu}m$ 이내로, 3차원 외관형상 불량 검사 조건을 만족할 만한 성능을 보였다.

멀티모달 방법론과 텍스트 마이닝 기반의 뉴스 비디오 마이닝 (A News Video Mining based on Multi-modal Approach and Text Mining)

  • 이한성;임영희;유재학;오승근;박대희
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제37권3호
    • /
    • pp.127-136
    • /
    • 2010
  • 정보 통신기술이 발전함에 따라 멀티미디어 데이터를 포함하는 디지털 기록물의 양은 기하급수적으로 증가하고 있다. 특히 뉴스 비디오는 시대상을 반영하는 풍부한 정보를 내포하고 있으므로, 이를 효과적으로 관리하고 분석하기 위한 뉴스 비디오 데이터베이스 및 뉴스 비디오 마이닝은 광범위하게 연구되어왔다. 그러나 현재까지의 뉴스 비디오 관련 연구들은 뉴스 기사에 대한 브라우징, 검색, 요약에 치중되어 있으며, 뉴스 비디오에 내재되어 있는 풍부한 잠재적 지식을 탐사하는 고수준의 의미 분석 단계에는 이르지 못하고 있다. 본 논문에서는 뉴스 비디오 클립과 스크립트를 동시에 이용하는, 멀티모달 방법론과 텍스트 마이닝 기반의 뉴스 비디오 마이닝 시스템을 제안한다. 제안된 시스템은 텍스트 마이닝의 군집분석을 통해 뉴스 기사들을 자동 분류하고, 분류 결과에 대해 기간별 군집 추이그래프, 군집성장도 분석 및 네트워크 분석을 수행함으로써, 뉴스 비디오의 기사별 주제와 관련한 다각적 분석을 수행한다. 제안된 시스템의 타당성 검증을 위하여 "2007년 제2차 남북 정상회담" 관련 뉴스 비디오를 대상으로 뉴스 비디오 분석을 수행하였다.

준구조화된 정보소스에 대한 지식기반의 Wrapper 학습 에이전트 (A Knowledge-based Wrapper Learning Agent for Semi-Structured Information Sources)

  • 서희경;양재영;최중민
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제29권1_2호
    • /
    • pp.42-52
    • /
    • 2002
  • 정보추출은 한 문서에서 그 문서의 중심적 의미를 나타내는 특정 구성요소를 인식하여 추출하는 작업이다. 기존의 정보추출 시스템은 대부분 정보추출 규칙인 wrapper를 수동으로 구성하여 적용하였기 때문에 추출의 정확성은 높지만 유연성, 확장성, 효율성의 측면에서 문제점이 발생하였다. Wrapper를 자동으로 생성하는 일부 연구에서도 도메인 지식의 획득과 표현의 어려움, 그리고 여러 정보소스 사이에 나타나는 문서형태의 구조적 이질성 때문에 정확한 정보추출이 이루어지지 못했다. 본 논문에서는 이러한 이질적이고 복잡한 형태의 실세계 정보소스로부터의 정확한 정보추출을 추구하는 정보추출 에이전트인 XTROS를 제안한다. XTROS는 도메인 지식을 이용하여 준구조화된 형태의 정보소스에서 제공하는 문서를 분석하고 학습하여 wrapper들을 자동으로 생성하고, 이 wrapper들을 모두 XML 문서의 형태로 구성하는 새로운 표현기법을 제시함으로써 도메인 지식표현의 용이성과 wrapper 해석기 구현의 간결함, XML이 지닌 이식성 등을 최대한 활용하고자 하였다. Wrapper의 정보추출 규칙은 도메인 지식과 샘플 문서를 이용하여 자동으로 생성된다. 정보추출 규칙을 자동으로 생성하는 알고리즘의 핵심은 도메인 지식을 바탕을 샘플 문서의 각 논리 라인에 의미를 부여하고 이 논리 라인 의미의 나열로부터 반복되는 패턴을 찾아내는 것이다. 이 패턴의 위치와 구조를 XML 문서로 표현한 것이 wrapper가 된다. XTROS 시스템을 부동산 매물정보를 제공하는 다수의 실제 웹 정보소스에 대해서 테스트한 결과 이질성과 복잡성을 가진 대부분의 정보소스로부터 정확한 wrapper 생성과 정보추출이 가능하였다.