• Title/Summary/Keyword: 자동 수집

Search Result 1,077, Processing Time 0.031 seconds

A Study on Methodology of Media Contents Automatically Collect and Transform based IP (IP 기반 미디어 콘텐츠 자동 수집 및 변환 기법 연구)

  • Kim, Sang-Soo;Park, Koo-Rack;Kim, Dong-Hyun
    • Journal of Digital Convergence
    • /
    • v.13 no.9
    • /
    • pp.287-295
    • /
    • 2015
  • The IPTV service has to be converted into an unified media format that fits for a variety of terminal equipments in terms of the bulk high-capacity media contents, and is spending a lot of time in the conversion time of contents including the process of collecting the media contents and extracting the information for conversion. In order to solve the problem, this paper designed the database in accordance with the automatic collection of time, and proposed a system that could increase the productivity of the contents through the automation process of the entire process using the media server and the transcoder. The media server collected contents and extracted information automatically with respect to the contents servers placed in specific locations and the media files of the storage whereas the transcoder conducted the automatic upload of the converted results to a specific server through the process of automatic conversion. As a result, the various convergence through compared to existing conversion method could minimized unnecessary waste of time.

A Study on the Logging System Design Suggestion Using Machine Learning (머신러닝을 사용한 로그수집 시스템 설계 제안에 관한 연구)

  • Seo, Deck-Won;Yooun, Ho-sang;Shin, Dong-Il;Shin, Dong-Kyoo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.11a
    • /
    • pp.299-301
    • /
    • 2017
  • 현대사회에서는 사이버 해킹 공격이 많이 일어나고 있다. 공격이 증가함에 따라 이를 다양한 방법으로 방어하고 탐지하는 연구가 많이 이루어지고 있다. 본 논문은 OpenIOC, STIX, MMDEF 등과 같은 공격자의 방법론 또는 증거를 식별하는 기술 특성 설명을 수집해 놓은 표현들을 기반을 머신러닝과 logstash라는 로그 수집기를 결합하는 새로운 시스템을 제안한다. 시스템은 pc에 공격이 가해졌을 때 로그 수집기를 사용하여 로그를 수집한 후에 로그의 속성 값들의 리스트를 가지고 머신러닝 알고리즘을 통해 학습시켜 분석을 진행한다. 향후에는 제안된 시스템을 실시간 처리 머신러닝 알고리즘을 사용하여 필요로그정보의 구성을 해주면 자동으로 로그정보를 수집하고 필터와 출력을 거쳐 학습을 시켜 자동 침입탐지시스템으로 발전할 수 있을 것이라 예상된다.

A Case Study on The Establishment of Efficient Management of Academic Information and Services. (학술정보의 효율적 전주기 관리 및 서비스 체제 구축에 관한 사례 연구)

  • Cho, Sung-Nam;Seo, Tae-Sul;Kim, Wan-Jong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.10a
    • /
    • pp.412-415
    • /
    • 2016
  • 본 연구에서는 학술정보의 효율적 관리 및 서비스 체제를 수립하고 활용성을 강화하기 위해 논문 자동 수집 및 구축, 논문 투고 및 심사, 전자출판, XML 자동 구축에 이르기까지 전주기 기능 구현에 방안을 제시하고 이를 구현한 사례를 소개하고자 한다. 기존 Peer-Review 시스템은 데이터 수집 및 변환파트와 투고 및 심사, 전자출판 파트, XML 구축 파트 등으로 분리되거나 별도로 운영되어 왔다. 본 연구에서는 이러한 기능을 통합적으로 구현하기 위해 KISTI의 Peer-Review 시스템인 ACOMS와 XML 기반 학술정보서비스 시스템(KpubS) 기능 및 프로세스를 통합한 구현 방안을 제시하고 이를 시스템으로 구현하였다. 그러나 아직까지 원문 PDF를 XML로 완전 자동 변환할 수 있는 기술은 없는 상태로써 반자동 변환 기능을 탑재하였다. 본 연구 내용은 다양한 수집 채널을 통해 입수된 학술정보 및 XML 자료에 대한 입력체계를 제공하고, XML 본문으로부터 메타데이터를 자동 식별 및 추출하여 학술정보 DB를 구축 저장하며, 구축된 DB 및 XML 기반의 전자출판 기능 제공과 함께 웹서비스 단계까지의 전주기 공정에 대한 프로세스 모델 및 시스템에 관한 것이다. 이에 데이터베이스 구축을 위한 시간 및 비용을 절감할 수 있을뿐만 아니라, 시맨틱 태깅 및 수식, 표, 그림 정보 제공 등 이용자에게 다양한 형태의 서비스를 제공할 수 있게 되었다.

An Automated Metrics Collection and Analysis Tool for PSP Support (PSP 지원을 위한 개인 메트릭 자동 수집 및 분석 도구 개발)

  • Shin Hyun-Il;Choi Ho-Jin;Baik Jong-Moon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2006.05a
    • /
    • pp.277-280
    • /
    • 2006
  • 소프트웨어 개발 프로젝트에서 메트릭 수집 및 분석 활동이 점차 중요하게 인식되고 있다. 메트릭 수집 및 분석 활동은 조직/프로젝트, 팀, 개인 모든 레벨에서 수행되어야 하는 중요한 활동으로 여겨져 오고 있다. Personal Software Process(PSP)[1]에서 개발자 개개인이 수행해야 되는 메트릭 수집 및 분석 활동이 제시된다. 이러한 메트릭 수집 및 분석 활동을 통해 개발자는 소프트웨어 품질 향상, 계획 단계에서 보다 정확한 예측 활동, 개인 프로세스의 정량적 관리 등의 이득을 얻을 수 있다. 이러한 이득을 얻기 위해서는 신뢰성 있는 메트릭 데이터의 수집이 무엇보다 중요하게 된다. 그러나 메트릭 수집의 오버헤드와 context switching 과 같은 문제로 인해 개발자가 신뢰성 있는 메트릭을 수집하는데 많은 어려움이 겪는다[2, 3]. 또한 PSP 가 제시하는 분석 기법만으로는 수집된 메트릭에 대하여 의미 있는 분석을 하기 어려운 문제점이 존재한다. 이러한 문제점들을 감소 시키기 위해 메트릭 수집 및 분석 도구를 개발하였고 본 논문에서는 이 개발된 도구를 설명한다. 이 도구의 핵심은 메트릭의 자동 수집과 다양한 분석 결과의 제공을 통해 신뢰성 있는 메트릭 데이터의 획득과 의미있는 분석을 가능케 하는 데 있다.

  • PDF

CALS: Channel State Information Auto-Labeling System for Large-scale Deep Learning-based Wi-Fi Sensing (딥러닝 기반 Wi-Fi 센싱 시스템의 효율적인 구축을 위한 지능형 데이터 수집 기법)

  • Jang, Jung-Ik;Choi, Jaehyuk
    • Journal of IKEEE
    • /
    • v.26 no.3
    • /
    • pp.341-348
    • /
    • 2022
  • Wi-Fi Sensing, which uses Wi-Fi technology to sense the surrounding environments, has strong potentials in a variety of sensing applications. Recently several advanced deep learning-based solutions using CSI (Channel State Information) data have achieved high performance, but it is still difficult to use in practice without explicit data collection, which requires expensive adaptation efforts for model retraining. In this study, we propose a Channel State Information Automatic Labeling System (CALS) that automatically collects and labels training CSI data for deep learning-based Wi-Fi sensing systems. The proposed system allows the CSI data collection process to efficiently collect labeled CSI for labeling for supervised learning using computer vision technologies such as object detection algorithms. We built a prototype of CALS to demonstrate its efficiency and collected data to train deep learning models for detecting the presence of a person in an indoor environment, showing to achieve an accuracy of over 90% with the auto-labeled data sets generated by CALS.

Development of the Fog Sensor for an Automatic Fog Water Collector (자동안개채취기를 위한 안개센서의 개발)

  • Park, Chan-Won;Kim, Il-Hwan;Shin, Sang-Yourl;Kim, Jin-Young;Kim, Hye-Na
    • Proceedings of the KIEE Conference
    • /
    • 2001.07d
    • /
    • pp.2402-2404
    • /
    • 2001
  • 산성안개에 의한 환경 오염이 점차 증가하면서, 산성 안개에 대한 관심이 증대되고있다. 이러한 안개는 늦은 밤이나 새벽에 빈번하게 발생하므로 안개가 발생하고, 걷힐 때마다 사람이 일일이 수집하고 측정하는 것은 비효율적인 작업이다. 본 연구에서는 장기간의 실제 환경실험을 통하여 안개와 비를 구별하는 최적의 안개인식센서모듈을 개발하였으며 또한 마이크로 프로세서와 무선송수신모듈 이용하여 안개의 발생과 소멸을 자동으로 인식하고 수집된 데이터를 원격으로 컴퓨터와 연결하여 자동으로 안개채취에 관련된 자료들을 저장할 수 있도록 개발하였다. 본 연구의 결과로 특히 최근 문제시되고 있는 산성 안개의 데이터 수집이 용이해 지고, 주로 산악지역에서 많이 발생하는 안개를 원격지에서 측정이 가능해져 환경영향평가분야의 실제작업에 보다 편리함과 정확성을 제공할 것으로 기대된다.

  • PDF

A Method of Selective Crawling for Web Document Using URL Pattern (URL 패턴을 이용한 웹문서의 선택적 자동수집 방안)

  • Jeong, Jun-Yeong;Jang, Mun-Su
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • 2007.11a
    • /
    • pp.41-44
    • /
    • 2007
  • 특정 분야별로 구축되는 온톨로지에 관하여 그 언스턴스를 쉽고 빠르게 구축하기 위해서는 구조화된 문서를 이용하는 것이 효율적이다. 그러나, 일반적인 웹 문서는 모든 분야에 대하여 다양한 형식으로 표현되어 존재하기 때문에, 대상이 되는 구조 문서를 자동으로 수집하기는 쉽지 않다. 본 논문에서는 웹사이트의 URL 패턴을 XML 기반의 스크립트로 정의하여, 필요한 웹 문서만을 지능적으로 수집하는 방안을 제안한다. 제안하는 수집 방안은 구조화된 형태로 정보를 제공하는 사이트에 대해서 매우 빠르고 효율적으로 적용될 수 있다. 본 논문에서는 제안하는 방법을 적용하여 5만개 이상의 웹 문서를 수집하였다.

  • PDF

Development of Automated Calibration Algorithm for Reference Values of Hydrological Data Quality Management (수문자료 자동점검기준의 보정 자동화 알고리즘 개발)

  • Park, Hee-Seong;Cho, Herin;Kim, Hyoungseop
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2015.05a
    • /
    • pp.506-506
    • /
    • 2015
  • 수문자료는 국가적으로 중요한 자료로서 이에 대한 품질관리가 반드시 필요하다. 이에 우리나라 국토교통부에서는 국가 수문자료 품질관리시스템을 구축하여 실시간으로 수집되는 수문자료의 품질을 관리하고 있다. 국가 수문자료 품질관리시스템에서 사용되는 수문자료 자동점검기준은 실시간으로 수집되는 수문자료의 상태를 구분하기 위한 점검방법에서 설정한 기준 값을 말하며, 특히 수문자료의 오류 추출을 자동화하는데 핵심적인 역할을 하는 값이다. 해당 값은 점검 방법에 따라 다른 형태를 갖고 있으며, 관측소의 관측특성과 밀접한 연관이 있어 실무에서는 기존 관측자료의 통계적인 특성을 이용해 초기값을 추정하고 이후 관측자료들에 대한 실제 품질 판정을 기준으로 실제 상황을 고려하여 주기적으로 관리자가 수작업에 의해 시행착오법으로 보정하는 방법을 사용하고 있다. 이에 본 논문에서는 국가 수문자료 품질관리시스템에서 활용하고 있는 수문자료 자동점검기준을 대상으로 기존에 수작업으로 진행되던 자동점검기준의 보정을 자동화할 수 있는 평가지표와 평가 알고리즘을 개발하였으며, 이를 실제 자료에 적용하였다. 개발된 알고리즘은 그림1과 같은 추정 이상치 집합과 실제 이상치 집합의 상관관계를 이용하여 두 집합의 교집합인 A를 증가시키는 구조이다. 이를 이용해 자동점검기준의 적중률을 향상시킬 수 있었으며, 향후 실무에 적용될 경우 수문자료 자동점검기준을 신속하고 적절하게 보정함으로써 수문자료 품질관리업무의 효율성을 향상시킬 수 있을 것으로 기대된다.

  • PDF

A Automated Method for Training Keyword Spotter based on Speech Synthesis (키워드 음성인식을 위한 음성합성 기반 자동 학습 기법)

  • Lim, Jaebong;Lee, Jongsoo;Cho, Yonghun;Baek, Yunju
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.05a
    • /
    • pp.494-496
    • /
    • 2021
  • 최근 경량 딥러닝 기반 키워드 음성인식은 가전, 완구, 키오스크 등 다양한 응용에 음성 인터페이스를 쉽게 적용할 수 있는 기술로서 주목받고 있다. 키워드 음성인식은 일부 키워드만 인식 가능한 음성인식 기술로서 저성능 디바이스에서 활용 가능한 장점이 있다. 그러나 응용에 따라 필요한 키워드에 대하여 다시 음성데이터를 수집해야하고 이를 학습하여 모델을 새로 준비해야하는 단점이 있다. 따라서 본 연구에서는 음성데이터 수집 없이 음성합성을 통해 생성한 음성으로만 키워드 음성인식 모델을 학습하는 음성합성 기반 자동 학습 기법을 제안하였다. 생성한 음성데이터를 활용하고자하는 시도가 활발히 이루어지고 있으나, 기존 연구에서는 정확도를 유지하기 위하여 수집한 실제 음성데이터가 필요한 한계가 있다. 제안한 자동 학습 기법은 생성한 음성데이터에 대해 복합 데이터 증대 기법을 적용하여 실제 음성데이터 없이 키워드 음성인식의 정확도를 높였다. 제안한 기법에 대하여 상용 음성합성 서비스를 기반으로 수집한 한국어 키워드 데이터세트를 활용하여 성능평가를 진행하였다. 20개 한국어 키워드에 대해 실험한 결과, 제안한 기법을 적용하여 학습시킨 키워드 음성인식 모델의 정확도는 86.44%임을 확인하였다.

Automatic Classification of Blog Posts Considering Category-specific Information (범주별 고유 정보를 고려한 블로그 포스트의 자동 분류)

  • Kim, Suah;Oh, Sungtak;Lee, Jee-Hyong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2015.01a
    • /
    • pp.11-14
    • /
    • 2015
  • 많은 블로그 제공 사이트는 블로그 포스트 작성자에게 미리 정의된 범주 (category)에 따라 포스트의 주제에 대하여 범주를 선택할 수 있는 환경을 제공한다. 그러나 블로거들은 작성한 포스트의 범주를 매번 수동으로 선택해야 하는 불편함이 있다. 이러한 불편함의 해결을 위해 블로그 포스트를 자동으로 분류해주는 기능을 제공한다면 블로그의 활용성이 증가할 것이다. 기존의 블로그 문서 분류의 연구는 각 범주의 고유 정보를 반영하는 것에 한계가 있었다. 이러한 문제를 해결하기 위해, 본 논문에서는 범주별 고유 정보를 반영한 어휘 가중치를 제안한다. 어휘 가중치의 분석을 위하여 범주별로 블로그 문서를 수집하고, 수집한 문서에서 어휘의 빈도와 문서의 빈도, 범주별 어휘빈도 등을 고려하여 새로운 지표인 CTF, CDF, IECDF를 개발하였다. 이러한 지표를 기반으로 기존의 Naive Bayes 알고리즘으로 학습하여, 블로그 포스트를 자동으로 분류하였다. 실험에서는 본 논문에서 제안한 가중치 방법인 TF-CTF-CDF-IECDF를 사용한 분류가 가장 높은 성능을 보였다.

  • PDF