• 제목/요약/키워드: 데이터수집 서비스

검색결과 1,695건 처리시간 0.03초

자동화된 트위터 데이터 수집 시스템 설계 및 구현 : 환경 데이터를 중심으로 (Design and Implementation of Automated Twitter Data Collecting System : Focus on Environmental Data)

  • 김도형;구자환;김응모
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 춘계학술발표대회
    • /
    • pp.361-364
    • /
    • 2020
  • 소셜 네트워크 서비스의 사용자가 늘어나면서, 소셜 네트워크 서비스상에서 발생하는 빅데이터를 활용한 서비스가 늘어나고 있다. 소셜 네트워크 서비스 데이터는 실시간으로 생성되며, 따라서 데이터 수집 시스템 역시 자동화하여 준 실시간으로 데이터를 수집할 필요가 있다. 본 논문에서는 대표적인 소셜 네트워크 서비스인 트위터의 데이터를 지속적으로 수집하기 위한 자동 수집 시스템을 제안한다. 수집 시스템은 Twitter API 를 활용하는 Python 라이브러리를 통해 내용 및 메타데이터를 수집하며, 수집된 데이터를 재 검증한 뒤 저장한다. 또한 구현된 시스템에 환경 데이터를 주제로 하는 쿼리를 입력하여 실제 트위터 데이터를 수집하며 구현된 시스템을 검증해보았다.

지상시설물 관리를 위한 데이터 수집 및 전송 서비스에 관한 연구 (A study on the Collection and Conveyance Service of the Management Data of Surface Facilities)

  • 이병복;배명남;최병철;이인환;전종암
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 춘계학술발표대회
    • /
    • pp.1049-1052
    • /
    • 2009
  • 본 논문에서는 센서노드들을 관리 대상이 되는 지상시설물에 부착하여 다양한 사건 및 상황 감지 기능을 가지고 수집한 데이터를 특정 메시지 형식으로 정의하여 IP(Internet Protocol) 네트워크에 연결된 운용자 시스템에 전달하는 센싱 데이터 수집 및 전달 서비스 개발에 관한 사항들을 기술한다. 센싱 데이터 수집 및 전달 서비스는 게이트웨이 시스템에 설치되는 순수 소프트웨어이며, 센서네트워크의 싱크노드로 부터 센싱 데이터를 수집하여 XML 형식으로 구성되어 IP 네트워크에 연결된 운용자 시스템에 전달된다. 또한, 센싱 데이터 수집 및 전달 서비스는 운용자가 요구하는 센서네트워크 제어 서비스 컴포넌트, 센싱 데이터 수집에 관한 특성 변경 서비스 컴포넌트, 센싱 데이터 보고 서비스 컴포넌트, XML 파서/인코더, C-구조체 메시지 파서/인코더 컴포넌트 등의 추가 및 변경이 용이한 유연한 소프트웨어 구조를 갖도록 서비스 로직 개념을 도입하였다.

Globus Tookit V.3를 사용한 OGSA 기반 서비스 데이터 수집기 서비스 구현 (Implementation of a Service Data Aggregator Service based on OGSA By Using Globes Toolkit V.3)

  • 강윤희
    • 디지털콘텐츠학회 논문지
    • /
    • 제6권1호
    • /
    • pp.1-5
    • /
    • 2005
  • 이 논문에서는 OGSA 기반 그리드 서비스의 특징을 기술하고 서비스 데이터 요구(Service Data Element, SDE) 정보 수집을 위한 그리드 서비스를 기술한다. 그리드 서비스의 구성을 위해서는, 주요한 시스템 컴포넌트와 이들 간의 상호작용을 표현하는 시스템의 고수준의 소프트웨어 아키텍처로의 그리드 서비스를 구성하기 위한 체계적인 접근이 고려되어야 한다. 이 논문의 목적은 SDE를 수집단위로 하는 서비스 데이터 수집 서비스의 설계 및 구현으로 이를 위해 CR의 서비스 데이터 수집기 서비스를 자원 및 서비스의 종류에 따라 SDE를 영속적으로 유지할 수 있도록 저장 스킴을 구성하고 XML DBMS인 Xindice사용하여 확장하였다. 서비스 데이터 수집 서비스는 인터넷과 같은 광대역 환경에서의 효율적인 수행을 위해 통지 메커니즘에 의해 비동기적으로 작동한다.

  • PDF

대용량 소셜 데이터의 의미 분석을 위한 MapReduce 기반의 분석 모듈 설계 및 구현 (Design and Implementation of an Analysis module based on MapReduce for Large-scalable Social Data)

  • 이혁주;김명진;이한구;윤효근
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(B)
    • /
    • pp.357-360
    • /
    • 2011
  • 최근 인터넷과 통신기술, 특히 모바일과 관련된 기술의 급속한 발전으로 소셜 커뮤니케이션 수단으로 대표되는 SNS(Social Networking Service)가 중요한 이슈로 부각되어지고 있다. SNS 서비스 제공시 중요하게 고려되어져야 할 사항은 정확하고 의미 있는 데이터를 통해서 사용자가 원하고 관심 있는 분야의 정보를 어떻게 제공할 것인가에 초점이 맞춰져 있어야 한다. 그러나 최근 폭발적으로 증가되어지고 있는 소셜 데이터 때문에 사용자는 의미 분석이 정확하게 이루어지지 않은 신뢰성이 결여된 소셜 커뮤니케이션 서비스를 제공받고 있다. 이러한 소셜데이터 분석의 문제점을 해결하기 위해서 본 논문에서는 소셜 네트워크 서비스에 필요한 데이터를 수집하고, 클라우드 컴퓨팅 환경에서 수집된 대용량 SNS 데이터의 의미를 분석 할 수 있는 MapReduce 기반의 분석 모듈의 구조를 제안하였다. 제안한 모듈은 의미 분석에 필요한 소셜 데이터를 수집하는 수집 기능과 수집된 소셜데이터의 의미 분석을 수행하는 분석 기능을 포함하고 있다. 수집 기능은 SNS에서 생성되는 텍스트 형태의 데이터를 수집하고 MapReduce를 통해서 데이터를 분석하기 쉽게 적절한 크기로 생성된 파일을 분할한다. 수집된 소셜 데이터의 의미 분석은 기존 TF-IDF 방식에 개선된 Weighted-MINMAX 적용한 알고리즘을 통해서 구현하였다. 개선된 알고리즘은 단어의 중요도를 평가하고, 중요도가 높은 단어로 구성된 의미정보 제공 서비스를 지원한다. 시스템의 성능 평가를 위해서 노드별 데이터 처리시간과 추출 키워드의 정확도를 측정하였다.

재활 운동 빅데이터 플랫폼을 위한 재활 운동 기기 데이터 연동 인터페이스의 설계 (A Design of Rehabilitation exercise device data interworking interface for Rehabilitation exercise Big data platform)

  • 최원혁;강일권;김재철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.165-167
    • /
    • 2022
  • 본 논문은 병원과 지역사회에서 제공하는 재활 서비스를 연계하여 재활 단계별 개인 맞춤 재활서비스를 제공하기 위한 재활운동 빅데이터 플랫폼과 재활 서비스를 지원하는 재활 운동 기기간의 데이터 수집을 위한 인터페이스의 설계에 관한 것이다. 재활 운동 빅데이터 플랫폼은 병원과 지역사회에서 생성되는 재활 관련 데이터를 수집하고 이를 가공, 유통하기 위한 데이터 서비스와 수집된 데이터를 예측, 분석하여 개인 맞춤형의 단계별 재활을 지원하기 위한 다양한 서비스를 제공한다. 본 논문에서는 재활 운동을 보조하는 재활 운동 기기에서 생성되는 다양한 유형의 데이터를 재활 운동 빅데이터 플랫폼으로 전송하고, 수집된 데이터를 플랫폼 내외부에서 활용 가능하도록 제공할 수 있는 인터페이스에 대하여 설명한다.

서비스 데이터 수집기를 확장한 OGSA 기반 서비스 컴포넌트 구현 (Implementation of an Extended Service Data Aggregator Service Component-based on OGSA)

  • 조광문;강경우;강윤희
    • 한국콘텐츠학회논문지
    • /
    • 제4권4호
    • /
    • pp.99-106
    • /
    • 2004
  • 이 논문에서는 OGSA 기반 그리드 서비스의 특징을 기술하고 서비스 데이터 정보 수집을 위한 서비스 컴포넌트를 기술한다. SOA를 위한 그리드 서비스의 구성을 위해서는 주요한 시스템 컴포넌트와 이들 간의 상호작용을 기술하는 시스템의 고수준의 소프트웨어 아키텍처로부터·SOA를 위한 그리드 서비스를 구성하기 위한 체계적인 접근이 고려되어야 한다. 이 논문의 목적은 서비스 데이터 수집기 서비스의 설계 및 구현이며 서비스 데이터 수집기 서비스는 인터넷과 같은 광대역 환경에서의 신뢰성 있는 수행을 위해 통지 메커니즘에 의해 비동기적으로 작동한다

  • PDF

윈도우 기반 마우스 움직임 데이터 수집 및 웹 연동을 통한 시각화 서비스 개발 (Development of a Windows-based Mouse Movement Data Collection and Visualization Service Integrated with a Website)

  • 최진명;김성진;윤영현;백재순
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
    • /
    • pp.275-276
    • /
    • 2023
  • 본 논문은 Windows 플랫폼에서 마우스 움직임 데이터를 수집하고 이를 웹사이트와 통합하여 시각화하는 서비스의 개발을 제시한다. 이 서비스는 마우스 움직임 데이터의 수치화와 표현을 가능하게 하여 사용자 행동에 대한 유용한 통찰력을 제공한다. 윈도우를 기반으로 마우스 움직임 데이터를 수집하여 데이터베이스에 데이터를 저장한다. 데이터베이스에 저장된 데이터는 실시간으로 연동하여 시각화하여 웹사이트를 통하여 보여준다. 본 연구를 통해 무의미하게 여겨질 수 있는 데이터를 사용자에게 의미있게 전환하여 보여주기 위한 시도를 하였다.

  • PDF

모니터링 정보 시스템을 위한 데이터 수집 및 분석 방법 (Data Collection and Analysis for Monitoring Information System)

  • 김대영;장유미;김은경;김석훈
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.697-699
    • /
    • 2017
  • 정보 기기와 통신 기술의 발달로 다양한 분야에서 정보 통신 기술이 융합되어 사용되고 있으며, 기존 사회 분야에 융합됨으로써 기존 시스템의 효율을 높이기 위한 시도가 계속되고 있다. 특히 모니터링 정보 시스템을 사회복지 데이터 수집과 분석 분야에 적용함으로써 기존 사회복지 서비스의 효율을 높일 수 있다. 기존 사회복지 시스템의 정보 수집 방법은 설문에 의한 데이터 수집 및 분석을 바탕으로 이루어지며, 시간과 비용의 낭비로 인해 새로운 방식의 데이터 수집 및 분석 방법이 요구되고 있다. 따라서 본 논문에서는 정보 통신 기술 기반의 모니터링 데이터 수집 및 분석 방법을 제안함으로써 기존 서비스의 효율을 향상시키고자 한다. 제안하는 방안은 데이터 수집 모듈을 통해 웹 기반의 데이터를 수집하고, 수집된 데이터를 데이터 처리 모듈로 전달하여 데이터를 저장 및 분석하게 된다. 분석된 결과는 시각화 모듈을 통해 확인할 수 있다.

스마트 항로표지 서비스를 위한 빅데이터 플랫폼 구축 연구

  • 김경원;박종빈
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2021년도 추계학술대회
    • /
    • pp.57-59
    • /
    • 2021
  • 현재 국내 해양에 설치된 항로표지를 통해 해양 상태에 대한 다양한 정보가 수집/관리되고 있으며, 기상청에서 제공되는 기상 데이터 등 항로표지 데이터와 연계를 통해 유용한 서비스 개발이 가능한 데이터가 생상되고 있으나, 각 데이터의 관리 주체/시스템이 분산되어 효율적으로 활용되기 어려운 실정이다. 이에, 본 논문에서는 항로표지 데이터와 타 시스템에서 수집/관리되고 있는 데이터의 연계/분석을 통해 항로표지 데이터 기반의 다양한 서비스 개발에 활용 가능한 스마트 항로표지 빅데이터 플랫폼 구축 기술을 제안한다.

  • PDF

효과적인 평판분석을 위한 수집사이트 프로파일링에 관한 연구 (A Study on the Profiling of Collect Site for the Effective Reputation Analysis)

  • 송은지;강민식
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2014년도 춘계학술대회
    • /
    • pp.617-618
    • /
    • 2014
  • 본 논문에서는 보다 정확하고 효과적인 평판분석을 위하여 서비스 산업별 타겟으로 하는 수집사이트를 프로파일링 하는 방법을 제안한다. 먼저 각 서비스에 특화된 타겟 사이트를 추출하고 등록하고 각 서비스에 관련한 정보 및 의견 공유 게시판과 지식인 추천/질문 등 지식 공유 사이트를 추출한다. 또한 업종별 주요 사이트를 선택하고 등록하여 유효 데이터 수집한다. 이를 통해 실시간 수집 데이터의 활용 기술을 이용하여 수집원 프로파일링을 통한 미디어별 수집 주기 산정하고 수집 엔진의 유연한 확장성을 활용한 실시간 수집 제반 기술 확대할 수 있다. 또한 지속적인 수집원 변경관리를 수행한다. 즉, 신규 생성, 변경, 삭제되는 사이트에 대한 변경관리를 수행하고 지속적인 수집량 모니터링을 통한 수집여부를 점검하며 수집 필터링 규칙에 대한 튜닝으로 데이터 품질 확보하도록 한다.

  • PDF