• 제목/요약/키워드: 데이터 처리량

검색결과 2,581건 처리시간 0.038초

감성제품의 형상데이터 처리시스템 구축에 관한 연구

  • 김형범;한성배;이동길;이순요
    • 대한인간공학회:학술대회논문집
    • /
    • 대한인간공학회 1996년도 춘계학술대회논문집
    • /
    • pp.146-150
    • /
    • 1996
  • 본 논문은 감성제품 및 부품의 형상데이터 처리시스템 구축을 목적으로한다. 감성공학적 디자인요 소변환 지원시스템의 전체구조는 다변량해석형기법을 활용하여 인간의 감성과 디자인과의 관련성을 분 석하고 이 결과들을 데이터베이스로구축하는 부분과 퍼지논리을 이용하여인간의 감성과 제품형상을 연결하는 추론기관 그리고 감성제품 및 부품의 구조를 지원하는 형상데이터 처리시스템으로 구성되어 있다. 본 논문에서는 형상데이터베이스를 이용한 형상데이터 처리시스템 구축에 관한 연구를 실시하여 보았다. 최근에 와서 데이터베이스 설계시 실세계의 데이터를 더욱 충실히 표현하기 위해 이를 객체 (object)를 사용하여나타낸 후, 이 객체들 사이에 존재하는 관련성에 관한 정보를 이용하여 데이터베 이스를 설계하는 연구가 활발히 진행되고 있다. 본 연구는 제품 세분화 과정에 객체지향 모델링기법을 고객의 감성이 잘 반영되는 가전제품 중 전화기에 적용하여 감성제품 및 부품의 형상데이터베이스를 구축하였다. 이러한 형상데이터 처리시스템은 제품설계 및 디자인 분야에 다양하고 폭넓게 적용 및 응용될 수 있을 것이며감성을 중시하는 미래의 제품설계분야에 적지않은 영향을 미칠 것으로기대된다ㅣ.

  • PDF

빅데이터 활용을 위한 클라우드 기반의 링크드 데이터 인덱싱 시스템 (Linked Data Indexing System for Big Data Processing on the Cloud System)

  • 이민아;정진욱;김응희;김홍기
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.1596-1598
    • /
    • 2013
  • 2000년대 초반 등장한 시맨틱 웹 기술은 최근 재조명을 받고 있다. 이는 초기에 구축된 시맨틱 데이터와 최근에 구축하는 시맨틱 데이터의 양적 비교를 통해서도 알 수 있다. 그러나 기존의 시맨틱웹 기술은 대용량 데이터를 처리하는데 어려움이 많아, 이를 처리하기 위한 기술이 중요한 문제로 대두되고 있다. 본 논문에서는 앞에서 말한 바와 같이, 기존 RDF Repository의 대안으로, 다양한 데이터 베이스를 복합적으로 사용하였다. RDF 데이터를 효율적으로 처리하기 위해, NoSQL DB와 메모리 기반 관계형 DB를 활용하여 시스템을 구성하였다. 또한, 사용자가 이에 대한 별도의 지식 없이 기존의 SPARQL 질의를 그대로 사용하여, 원하는 결과를 얻을 수 있는 시스템을 제안한다.

Hadoop 플랫폼을 이용한 교통데이터 기반 사용자 경로탐색 방법론 (A Traffic Data based User's Route Exploring Mechanism using Hadoop Platform)

  • 조원희;최은미
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.176-179
    • /
    • 2013
  • 본 연구는 최근 활성화된 스마트폰 내비게이션의 교통정보를 이용 시 상대적으로 품질이 취약한 지방지역의 빠른길 및 통행시간 정확도를 개선하는 방안에 대한 연구이다. 본 연구에서는 Hadoop기술을 이용하여 교통데이터에 대한 방대한 양의 데이터를 분석 처리한다. 특히, 실시간 교통정보가 제대로 수집되지 않는 지역의 도로 속도 정보에 대한 개선 방안으로 고객 단말로부터 올라오는 위치 데이터를 실시간으로 수집하여 전자지도 기본 속성값을 실시간 통계 데이터로 교체 반영하여 상대적으로 취약한 지방지역의 경로 품질 및 경로 탐색을 개선하는 방안을 제시하였다. 단말로부터 올라오는 많은 양의 GPS 위치정보등 대용량 데이터 처리를 위해 오픈소스프로젝트인 Hadoop플랫폼 환경에서 빅데이터 처리용 오픈소스를 활용하여 고가의 RDBMS를 대체하는 효과와 시간 단축의 효과를 기대할 수 있게 되었다.

대용량 데이터 분석을 위한 맵리듀스 기반의 이상치 탐지 (Outlier Detection Based on MapReduce for Analyzing Big Data)

  • 홍예진;나은희;정용환;김양우
    • 인터넷정보학회논문지
    • /
    • 제18권1호
    • /
    • pp.27-35
    • /
    • 2017
  • 가까운 미래에는 빅데이터의 많은 부분을 IoT 데이터가 차지할 것이라는 전망이 나오고 있다. 그에 따라, IoT 데이터의 많은 부분을 차치하는 센서 데이터에 관한 관심과 연구 또한 활발하게 진행되고 있다. 여러 분야에서 활용되고 있는 센서 데이터는 분석할 때 실제와는 다른 값인 이상치를 포함하게 되면 정확한 분석이 어려우며, 왜곡된 결과가 도출되어 활용할 수 없는 경우가 생긴다. 따라서 본 논문에서는 정확한 결과를 도출하기 위해 수집된 원자료를 분석하기 전에 이상치 탐지 및 제거를 하였다. 또한, 점점 늘어나고 있는 대용량의 데이터를 빠르게 처리하기 위해 메모리 접근방식인 스파크를 사용한 분산처리환경에서 처리하였다. 맵리듀스 기반의 이상치 탐지 및 제거는 총 4단계로 나누어 구현하였으며, 각 단계를 매퍼와 리듀스로 구현하였다. 제안한 기법의 평가를 위해서 3가지 환경에서 비교하였으며, 그 결과 이상치 탐지 및 제거를 하고자 하는 데이터의 용량이 커질수록 스파크를 이용한 분산처리환경에서의 처리가 가장 빠르다는 결과를 얻었다.

맵리듀스를 이용한 데이터 큐브의 상향식 계산을 위한 반복적 알고리즘 (An Iterative Algorithm for the Bottom Up Computation of the Data Cube using MapReduce)

  • 이수안;조선화;김진호
    • 정보화연구
    • /
    • 제9권4호
    • /
    • pp.455-464
    • /
    • 2012
  • 최근 데이터의 폭발적인 증가로 인해 대규모 데이터의 분석에 대한 요구를 충족할 수 있는 방법들이 계속 연구되고 있다. 본 논문에서는 맵리듀스를 이용한 분산 병렬 처리를 통해 대규모 데이터 큐브의 효율적인 계산이 가능한 MRIterativeBUC 알고리즘을 제안하였다. MRIterativeBUC 알고리즘은 기존의 BUC 알고리즘을 맵리듀스의 반복적 단계에 따른 효율적인 동작이 가능하도록 개발되었고, 기존의 대규모 데이터 큐브 계산에 따른 문제인 데이터 크기와 저장 및 처리 능력의 한계를 해결하였다. 또한, 분석자의 관심 부분에 대해서만 계산하는 빙산 큐브 개념의 도입과 파티셔닝, 정렬과 같은 큐브 계산을 분산 병렬 처리하는 방법 등의 장점들을 통해 데이터 방출량을 줄여서 네트워크 부하를 줄이고, 각 노드의 처리량을 줄이며, 궁극적으로 전체 큐브 계산 비용을 줄일 수 있다. 본 연구 결과는 맵리듀스를 이용한 데이터 큐브 계산에 대해서 상향식 처리와 반복적 알고리즘을 통해 다양한 확장이 가능하며, 여러 응용 분야에서 활용이 가능할 것으로 예상된다.

워게임 시뮬레이션 환경에 맞는 빅데이터 분석을 위한 분산처리기술 (Distributed Data Processing for Bigdata Analysis in War Game Simulation Environment)

  • 배민수
    • 한국빅데이터학회지
    • /
    • 제4권2호
    • /
    • pp.73-83
    • /
    • 2019
  • 4차 산업혁명의 기술 등장 이후 대규모 데이터 시대에서 새로운 가치 창출을 위한 데이터 정보 분석은 다양한 분야에서 시도되고 있다. 대용량 데이터를 빠르게 처리하는데 있어서 분산 데이터 처리는 이미 필수적이다. 하지만 아직 국방 분야에서 운용하고 있는 시뮬레이션들은 쌓여 있는 비정형 데이터를 활용할 수 있는 시스템이 미비하다. 이에 본 연구에서는 훈련간 발생하는 문제에 대응하기 위한 지휘결심에 가시화된 데이터를 제공하기 위해서 대대급 규모의 시뮬레이션 모델에 적용 가능한 분산 처리 플랫폼을 제안한다. 전략게임 데이터 50만개를 분석하는 과정으로, 데이터가 가지고 있는 여러 요인들 중 승리요인에 영향을 미치는 요소들을 분석할 수 있게 구현하였다. 결과적으로 상위 10%에 있는 팀들의 데이터를 분석하는 과정에서의 분산처리 사용한 결과를 측정 및 비교 하였다.

  • PDF

빅데이터의 개념적 논의와 데이터 주권에 대한 정책설계 (Big Data Conceptualization and Policy Design on Data Sovereignty)

  • 문혜정
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.911-914
    • /
    • 2013
  • 빅데이터가 이전의 대용량정보와 비교하여 어떠한 개념적인 의미를 지니는지 정책설계과정에 따라 이론적으로 논의하고, 이 시대 이슈가 되는 데이터 주권에 대하여 저작권과 CCL을 사례로 ICT정책의 설계방안을 제시한다. 사례분석의 결과 빅데이터 시대 데이터 주권에 대한 정책은 법, 시장, 기술, 규범 측면에서 균형 있게 설계되어야 하며 기술구조를 기초로 사회문제에 대한 규제구조를 설계하고 정책을 집행해야 한다.

데이터 센터 환경에서의 전력 절감을 위한 마이그레이션 기법 (Migration Scheme for Power Saving in Data Center Environments)

  • 김용헌;김정선
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 추계학술발표대회
    • /
    • pp.1662-1665
    • /
    • 2010
  • 그린 컴퓨팅의 일환으로 데이터 센터(Data Center)의 전력 효율을 고려한 소프트웨어/하드웨어 기술연구가 활발하게 진행되고 있다. 데이터 센터에서는 부하 분산(Load Balancing) 서비스의 마이그레이션(Migration) 기법을 통해 서비스의 품질을 높이고 데이터 센터의 효율성을 극대화 시킨다. 본 논문에서는 데이터 센터에서 냉각으로 소모되는 전력 절감을 위해 데이터 센터의 환경과 시스템 부하(Work Load)량에 기반을 둔 프로세스 마이그레이션(Process Migration) 기법을 제안한다.

빅데이터 분석을 통한 트렌드 파악 및 사용자 맞춤 도서 추천 (A Trend Analysis and Book Recommendation through Bigdata Analysis)

  • 윤경서;강승식
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.363-364
    • /
    • 2023
  • 카테고리별 베스트셀러를 통해 트렌드 파악 및 사용자 맞춤형 도서 추천을 위해 카테고리별로 도서 데이터를 수집하고, 대용량 데이터인 위키피디어 데이터를 이용하여 워드임베딩 모델을 구축한다. 도서 데이터에 대한 키워드 분석 및 LDA 주제분석 기법에 의해 카테고리별 핵심 단어 분석을 통해 도서 트렌드를 파악하고, 사용자 맞춤형 도서 정보 제공 및 도서를 추천하는 기능을 구현한다.

Graphgen: REST API를 이용한 시계열 데이터의 실시간 시각화 마이크로서비스 (Graphgen: Real-time Visualization Microservice for Time Series Data Using REST API)

  • 권동우;옥기수;지영민
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 추계학술발표대회
    • /
    • pp.581-584
    • /
    • 2018
  • 최근 다양한 분야에서 대량의 데이터를 수집하여 처리하고 분석하는 빅데이터 기술이 활용되고 있다. 빅데이터 분석을 위해서는 데이터 시각화 기술이 필수적이다. 본 논문에서는 REST API를 사용하여 시계열 데이터베이스에 데이터를 질의하고, 응답받은 시계열 데이터를 다양한 형태의 차트로 시각화하는 마이크로서비스(Graphgen)를 설계하고 구현한다. 이 서비스는 데이터의 변동에 따라 실시간으로 시각화 객체를 갱신하며, 대용량 데이터 처리의 성능저하를 최소화하도록 개발된다. Graphgen은 InfluxDB와 OpenTSDB 시계열 데이터베이스와 Bokeh 시각화 라이브러리를 지원하며, 추후 서비스 확장이 용이하도록 개발된다. 또한 부하 분산과 통합 배포 관리를 위하여 컨테이너를 기반으로 개발된다.