• 제목/요약/키워드: 데이터 비만도

검색결과 10,519건 처리시간 0.035초

비공유 데이터베이스 클러스터에서 온-라인 확장을 위한 데이터 분할 기법의 분석 및 평가 (Analysis and Evaluation of Data Partitioning Methods or On-line Scaling in a Shared Nothing Database Cluster)

  • 장용일;이충호;이재동;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (하)
    • /
    • pp.1859-1862
    • /
    • 2002
  • 비공유 데이터베이스 클러스터는 그 구조의 특성 상 동적인 질의 패턴의 변화, 특정 데이터에 대한 질의 집중에 의한 부하 불균형 및 집중, 사용자 증가에 의한 처리량 한계 등의 문제가 발생한다. 이러한 문제를 해결하기 위해 데이터베이스 클러스터는 최근에 제안된 온-라인 확장기법을 사용하며, 이 기법은 데이터 베이스의 확장성에 의해 큰 영향을 받는다. 일반적으로 클러스터 시스템에서 사용되는 데이터 분할 기법에는 키 값의 순서대로 분할하는 라운드-로빈 분할 기법, 해쉬 함수를 이용해 데이터를 분할하는 해쉬 분할 기법, 범위에 따라 각 노드에 데이터를 분할하는 범위 분할기법, 그리고 조건식에 따라 데이터를 분할하는 조건식 분할 기법이 있다. 본 논문에서는 이 네 가지 분할 기법의 특성을 정리하고, 비공유 데이터베이스 클러스터에서 확장성에 있어서 우수한 분할 기법을 각 분할 기법의 성능평가를 통해 얻는다. 성능평가에서는 각각의 분한 기법을 평가하기 위해 확장 시 발생되는 이동 데이터의 크기, 질의처리에 대한 영향, CPU 사용률, 그리고 온-라인 확장기법의 수행 시 발생되는 특성에 대한 영향을 분석하며, 얻어진 결과를 토대로 비공유 데이터베이스 클러스터에서 가장 적합하면서도 온-라인 확장 기법적용을 위해 확장성이 우수한 데이터 분할기법을 찾는다.

  • PDF

간섭이 존재하는 비직교 다중접속 시스템에서 데이터 전송률 공정성 개선을 위한 전력 할당 기법 (Power Allocation Scheme to Enhance Data-Rate Fairness for Non-orthogonal Multiple Access Systems in the Presence of Interference)

  • 이인호
    • 한국정보통신학회논문지
    • /
    • 제23권11호
    • /
    • pp.1407-1413
    • /
    • 2019
  • 본 논문에서는 비직교 다중접속 시스템의 주파수 효율성 최대화를 위하여 다른 송신기가 동일한 주파수 대역에서 신호를 전송할 수 있다고 가정한다. 그리고 비직교 다중접속 시스템의 총 데이터 전송률의 최대화가 아닌 수신기의 데이터 전송률의 공정성 성능 개선에 집중한다. 따라서 본 논문에서는 간섭이 존재하는 비직교 다중접속 시스템을 고려하여 수신기의 평균 데이터 전송률에 대한 공정성 성능을 개선하기 위한 전력 할당 기법을 제안한다. 레일레이 페이딩 채널을 가정하여 수신기의 평균 데이터 전송률을 정의하고, 높은 신호 대 잡음비의 근사법을 이용하여 평균 데이터 전송률의 공정성 성능을 개선하기 위한 전력 할당 계수를 유도한다. 또한, 시뮬레이션을 통해 제안하는 전력 할당 기법이 간섭을 갖는 비직교 다중접속 시스템에서 데이터 전송률의 공정성 성능을 개선할 수 있음을 보인다.

IoT 환경에서 스트리밍 기반의 비정형 데이터 수집 프레임워크 설계 (Design of Streaming based Unstructured-Data Collecting Framework in IoT Environment)

  • 이후영;박구락;김동현
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2017년도 제55차 동계학술대회논문집 25권1호
    • /
    • pp.57-58
    • /
    • 2017
  • 사물인터넷 환경의 다양한 기기에서는 매초마다 시스템 로그 데이터, 온도, 습도, 조도 및 위치 정보 등과 같은 데이터를 지속적으로 생성한다. 이렇게 생성된 데이터는 기기 안에서 대부분 소멸되거나 수집된다 하더라도 시스템 개선의 일부 목적으로 활용하는데 그칠 뿐이다. 본 논문에서는 각각의 사물인터넷 기기에서 발생하는 비정형 데이터를 스트리밍 방식을 통해 수집 서버로 전송하고 이를 유연한 스키마 구조를 가지는 NoSQL 데이터베이스에 적재하는 프레임워크 설계를 제안한다. 이렇게 수많은 장비로부터 수집된 로그 및 센싱 데이터는 빅데이터 분석을 통해 산업의 현장에서 생산성 향상을 위해 사용할 수 있으며 공공의 목적으로 도심지의 교통문제 해소와 재난 및 재해 예측에 활용될 수 있다.

  • PDF

Emergency 데이터 및 네트워크 환경 기반 노드 우선순위 선정 모델 연구 (A Study on Node Estimation Method to Assign Priority based on Emergency data and Network Environment)

  • 김세준;임환희;김경태;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2018년도 제57차 동계학술대회논문집 26권1호
    • /
    • pp.87-88
    • /
    • 2018
  • 본 논문에서는 IIoT 환경에서 중요한 비정상적 데이터 수집을 위한 노드 우선순위 선정 모델을 제안하였다. 제안하는 모델은 비정상적 데이터 수집과 다른 노드로 부터의 정상 데이터의 수집 격차를 적절히 조절하기 위하여 Fair and Delay-aware Cross-layer(FDRX) 기법과 데이터 Classification 기법을 이용, 데이터의 긴급성과 네트워크 환경을 분석하여 노드를 평가한다. 이를 통하여 IIoT 환경에서의 데이터 분석에 중요한 비정상적 데이터를 원활하게 수집하면서도 다른 노드와의 전송 격차를 줄일 수 있을 것으로 기대된다.

  • PDF

효과적인 k-RDFAnonymity를 위한 알고리즘 구현 (Implementation of algorithm for effective k-RDFAnonymity)

  • 전민혁;;서광원;안진현;임동혁
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 추계학술발표대회
    • /
    • pp.285-287
    • /
    • 2018
  • 최근 정부 및 기업단체에서 배포하는 데이터의 규모가 점점 방대해지고 있다. 민간에서는 이러한 공개데이터를 자유롭게 사용할 수 있으나, 공개 데이터에는 개인의 프라이버시를 침해할 수 있는 개인정보도 포함되어 있다. 그에 따라 대두된 문제가 공개데이터 중 개개인의 정보를 식별해낼 수 없도록 하는 데이터의 비식별화이며 그로 인해서 비식별화에 관한 많은 익명화 기법과 프라이버시 모델이 발표되었다. 그중 본 논문에서 사용하는 Mondrian algorithm은 k-익명화 모델을 사용하여 효과적으로 데이터를 비식별화 할 수 있다. 또한 방대한 웹 데이터 자원 간의 관계를 표현해놓은 RDF 모델은 DB로 변환시켜 k-익명화 방법인 kRDF에 Mondrian algorithm의 Multi-dimensional 방식을 따라 익명화하여 범용적이고 효과적인 개인정보 데이터의 프라이버시 보호를 구현하고자 한다.

MOST Network의 Asynchronous data와 control data 캡처 application 구현 및 분석 (Implementation and Analysis of Asynchronous data and Control data capture application in MOST Network)

  • 김선남;곽길봉;안귀임
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2010년도 추계학술대회
    • /
    • pp.427-430
    • /
    • 2010
  • MOST Network는 오디오와 비디오 데이터를 실시간으로 전송하는 동기식데이터 영역과 패킷데이터를 전송하는 비동기식 데이터 영역, 네트워크 관리를 위한 명령, 상태, 진단 정보를 전송하는 control Channel로 구성되어 있다. 본 논문에서는 비동기식 데이터 영역과 Control Channel의 데이터를 캡처 및 분석하는 모듈을 설계 및 구현한 후 실제 MOST 네트워크를 구축하여 검증해 보았다. 구현한 시스템을 바탕으로 고가의 장비를 별도로 보유하지 않더라도 MOST Network의 비동기식 데이터 영역과 Control Channel의 데이터를 확인할 수 있으며, 분석이 가능한 시스템을 제안하였다.

  • PDF

K-means를 활용한 항로표지 센서 데이터 군집화

  • 김두환;성상하;최형림
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2022년도 춘계학술대회
    • /
    • pp.54-55
    • /
    • 2022
  • 해양에 설치된 항로표지는 선박의 안전한 항해를 위해 위치 정보를 제공하고, 항로표지에 부착된 센서를 통해 다양한 해양 정보를 수집하고 있다. 하지만 항로표지는 육지와 멀리 떨어진 해상이라는 특수한 작업환경으로 인해 항로표지 유지보수를 위한 많은 시간과 비용이 발생하게 된다. 현재 항로표지에 부착된 센서를 통해 다양한 정보를 수집하고 있지만, 정상 데이터와 비정상 데이터를 구분할 수 있는 정보가 없어 고장진단에 어려움이 있다. 따라서 본 연구에서는 항로표지 센서 고장진단을 위해 머신러닝 비지도학습 중 하나인 K-means 알고리즘을 활용하여 정상 데이터와 비정상 데이터로 군집화하였으며, 분류가 잘 되는 것을 확인할 수 있었다. 향후 연구방향으로는 2개의 클러스터로 구분된 데이터가 실제로 정상 데이터인지, 비정상 데이터인지에 대한 비교·분석이 필요하다.

  • PDF

비-전용 분산 컴퓨팅 환경에서 맵-리듀스 처리 성능 최적화를 위한 효율적인 데이터 재배치 알고리즘 (An Efficient Data Replacement Algorithm for Performance Optimization of MapReduce in Non-dedicated Distributed Computing Environments)

  • 류은경;손인국;박준호;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제13권9호
    • /
    • pp.20-27
    • /
    • 2013
  • 최근 소셜 미디어의 성장과 모바일 장치와 같은 디지털 기기의 활용이 증가함에 따라 데이터가 기하급수적으로 증가하였다. 이러한 대용량의 데이터를 처리하기 위한 대표적인 프레임워크로 맵-리듀스가 등장하였다. 하지만 전용 분산 컴퓨팅 환경에서 균등한 데이터 배치를 기반으로 수행되는 기존 맵-리듀스는 가용성이 다른 비-전용 분산 컴퓨팅 환경에서는 적합하지 않다. 이러한 비-전용 분산 컴퓨팅 환경을 고려한 데이터 재배치 알고리즘이 제안되었지만, 재배치에 많은 시간을 필요로 하고, 불필요한 데이터 전송에 의한 네트워크 부하가 발생한다. 본 논문에서는 비-전용 분산 컴퓨팅 환경에서 맵-리듀스의 성능 최적화를 위한 효율적인 데이터 재배치 알고리즘을 제안한다. 제안하는 기법에서는 노드의 가용성 분석 모델을 기반으로 노드의 데이터 블록 비율을 연산하고, 기존의 데이터 배치를 고려하여 전송함으로써 네트워크 부하를 감소시킨다. 성능평가 결과, 제안하는 기법이 기존 기법에 비해 성능이 우수함을 확인하였다.

다치 컬러 영상을 위한 비가시적 데이터 은닉 (Invisible Data Hiding for Few-Color Image)

  • 박영란;박지환
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2003년도 추계학술발표대회(상)
    • /
    • pp.69-72
    • /
    • 2003
  • 스테가노그라피는 송/수신자간에 비밀 통신을 할 때 제3자가 기밀 정보를 인식하지 못하도록 디지털화된 각종 미디어에 몰래 숨겨서 통신을 한 수 있는 데이터 은닉의 한 분야이다. 특히 흑/백으로만 구성된 이진 영상 및 색상의 표현이 제한된 다치 영상 등에서 비시각적으로 기밀정보를 숨긴다는 것이 일반 컬러 영상에 비해 많은 어려움을 수반한다. 본 제안방식은 시각적인 영향을 작게 주는 패턴에만 기밀 데이터를 삽입하는 방식으로 기밀 데이터를 은닉시킨 후에도 화질의 열화가 거의 발생하지 않아 시각적으로 인지하기 어렵도록 개선한 방식이다.

  • PDF

안전한 비동기 통신에서 제어접두문자의 제거 방법 (Excluding the Control Prefixes on Asynchronous Secure Communication)

  • 정현철
    • 한국정보보호학회:학술대회논문집
    • /
    • 한국정보보호학회 1996년도 종합학술발표회논문집
    • /
    • pp.297-304
    • /
    • 1996
  • 본 논문에서는 비동기 프로토콜 상으로 데이터를 암호화하여 전송할 때 발생하는 모의 제어문자에 대해 제어접두문자를 추가하지 않고 일정한 변환만 하여 송신하므로써 데이터의 길어짐을 방지하고 전체 통신 속도를 높이는 문자 변환 방법을 제시하였다. 이러한 변환을 위해 전송 데이터의 유효 범위를 가정하고 이 범위를 벗어나지 않도록 하였으며 실험을 통하여 이 방법이 기존의 방법에 비해 통신속도가 향상됨을 보이고 암호화된 데이터의 임의성을 확인하므로써 암호화에 문제가 없음을 보였다.

  • PDF