• Title/Summary/Keyword: 데이터 비만도

Search Result 10,519, Processing Time 0.045 seconds

Methods of Korean Text Data Quality Assessment (한국어 텍스트 데이터의 품질 평가 요소 및 방법)

  • Kim, Jung-Wook;Hong, Cho-hee;Lee, Saebyeok
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.619-622
    • /
    • 2018
  • 최근 데이터의 형태는 점점 다양화되고 증가하고 있기 때문에 데이터의 체계적 분류 및 관리의 필요성이 증대되고 있다. 이러한 목적을 위하여 데이터에 대한 품질 평가는 중요한 요소가 된다. 최근 데이터는 기존의 정형화된 데이터보다 비정형 데이터가 대부분을 차지하고 있다. 그러나 기존의 데이터 품질 평가는 정형 데이터에 편중되어 왔다. 따라서 다양한 형태와 의미를 가지고 있는 비정형 데이터는 기존의 평가 기술로는 품질을 측정하기 어렵다. 이와 같은 문제로 본 논문은 텍스트기반의 비정형 데이터에 적용 가능한 영역별 평가 지표를 구축하고, 신문기사와 커뮤니티(질의응답)데이터를 사용하여 각 요소별 품질을 측정하여 그 결과에 대해서 고찰하였다.

  • PDF

Transmission system design for synchronized data service on digital data broadcasting environment (디지털 데이터 방송 환경에서 동기화 데이터 서비스를 위한 전송 시스템 설계)

  • Lee Yong Ju;Park Min Sik;Choi Ji Hoon;Choi Jin Soo
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2003.11a
    • /
    • pp.201-204
    • /
    • 2003
  • 본 논문에서는 디지털 데이터 방송에서 동기화 데이터 서비스를 제공하기 위한 전송 시스템과 이를 이용한 동기화 데이터 서비스 방법을 제안한다. 데이터 방송을 통해 전송되는 부가 데이터는 그 특징에 따라 비동기, 동기, 동기화 데이터로 구분된다. 이들 중 동기화 데이터는 사용자의 선택에 의해 데이터 방송 수신기에서 재생되는 비동기 데이터와는 달리 비디오 또는 오디오의 특정 장면에 통기되어 재생될 수 있는 데이터고서, 데이터를 전송하는 단계에서 데이터가 재생되어야 하는 시전의 시간 정보인 재생시각이 함께 전송되는 특징이 있다. 동기화 데이터의 이와 같은 특징으로 인해 현재 대부분의 데이터 방송에 사용되고 있는 비동기 데이터 서비스를 위한 전송 시스템은 동기화 데이터의 전송에는 부적합하며, 동기화 데이터 서비스를 위해서는 새로운 전송 시스템에 대한 연구가 필요하다. 본 논문에서는 데이터 방송을 동해 동기화 데이터 서비스를 제공하기 위해 기존의 비동기 데이터 전송 시스템에 MPEG-2 오디오/비디오 TS(Transport Stream)를 출력하는 장치와 동기화 데이터를 다중화 하는 장치를 추가한 새로운 동기화 데이터 전송 시스템과 이를 이용한 동기화 데이터 서비스 방법을 제안한다

  • PDF

A Study on the Preservation of Similarity of privated Data (비식별 데이터의 유사성 보존에 관한 연구)

  • Kang, Dong-Hyun;Oh, Hyun-Seok;Yong, Woo-Seok;Lee, Won-Seok
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.11a
    • /
    • pp.285-288
    • /
    • 2017
  • 비식별화 모델은 데이터 공유를 위한 모델로 원본데이터를 비식별화 변환 처리하여 개인정보를 보호함과 동시에 분석에 필요한 데이터를 외부에 제공하는 모델로 연구되어 왔다. 변환 방법으로는 삭제, 일반화, 범주화 기술 등이 주로 사용되며 변환 과정 중에는 재식별 가능성을 최소화하기 위해 k-익명성, l-다양성, t-근접성 혹은 differential privacy 등의 프라이버시 모델이 적용되고 있다. 하지만 변환된 비식별 데이터 세트는 필연적으로 원본 데이터 세트와 다른 값을 가지며 이는 결과적으로 최종 분석 결과에 영향을 주게 된다. 이를 위해 두 데이터 세트 간의 차이를 상이도(dissimilarity) 혹은 정보 손실율(information loss)이라는 지표로 측정 하고 있으며 본 지표는 비식별 데이터의 활용성을 평가 하는 데에 매우 중요한 역할을 한다. 본 연구에서는 비식별 데이터와 원본 데이터와 간의 차이를 도메인 기반의 절대적인 기준대비로 표현한 상이도 측정 방법을 제안하며, 그 유효성을 실데이터 기반의 실험을 통해 검증하였다.

Real-time Multimedia data service scheduling in Wireless ATM Netsworks (무선 ATM망에서 실시간 멀티미디어 데이터 서비스를 위한 스케줄링 정책)

  • 민승현;이현정;이정환;신규철;김명준
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10c
    • /
    • pp.814-816
    • /
    • 2001
  • 최근 정보 통신 기술의 발전에 따라 음성 서비스 등과 같은 단일 서비스를 제공하던 무선 통신망이 음성, 데이터, 고화질 정지화면, 동영상 및 다양한 정보형태의 멀티미디어 데이터 서비스를 추구하고 있다. 효율적인 실시간 멀티미디어 데이터 전송을 위해서는 실시간 데이터의 지연한계를 보장하고 비 실시간 멀티미디어 데이터들의 데이터 손실을 최소화해야 한다. 무선 ATM망은 기본적으로 ATM 전송방식을 사용하고 있지만 유선 ATM망에 비해 제한된 대역폭파 높은 전송지연, 비트 에러율과 이동성이라는 특수성을 고려하여 유선 ATM망과 많은 차이가 있다. 무선 ATM망에서 실시간 멀티미디어 데이터 서비스 전송을 위한 스케줄링 방법으로 유선 ATM망에서 실시간 멀티미디어 데이터 서비스를 위해 적용되는 TCRM(Traffic-Controlled Rate Monotonic Priority scheduing)정책을 Uplink 와 Downlink 시 각각 다른 방법으로 적용하여 실시간 멀티미디어 데이터 전송 스케줄링 정clr을 제안하고, 예약버퍼(reservation buffer) 와 임의의 전송 속도 P$_{k}$ 를 사용하여 TCRM의 단점인 비 실시간 데이터에 대한 비효율성 문제 해결안을 제시한다.

  • PDF

A Multi-Dimensional Index Structure for Unformatted Data (비정형 데이터를 위한 다차원 색인구조)

  • 송석일;파준일;이석희;유재수;조기형
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.04b
    • /
    • pp.67-69
    • /
    • 2001
  • 최근 이미지나 멀티미디어 데이터와 같은 비정형 데이터의 검색을 보다 효과적으로 수행하기 위한 연구가 활발하게 진행되어 왔다. 비정형 데이터를 검색하기 위해서는 비정형 데이터를 다차원의 특징 벡터로 변환하고, 그것을 다차원 색인구조를 이용해 색인한다. 따라서 이러한 비정형 데이터를 효율적으로 색인 할 수 있는 다차원 색인구조가 요구되고 있다. 이 논문에서는 데이터를 벡터 근사치로 표현한 후 이를 트리 형태로 구성하여 검색이 효율을 높이는 다차원 데이터를 위한 색인구조 VA(Vector Approximate)-트리를 제안한다. 이 논문에서 제안하는 VA-트리는 VA-파일과 K-D-B-트리 구조를 기반으로 하고 있다. VA-트리는 적은 비트를 이용하여 다차원 공간을 표현하기 위해 노드내의 모든 정보를 비트로 표현한다. 중간노드의 비트 형태 엔트리는 하위노드에 포함된 정보를 의미하고 있어 탐색을 효율적으로 수행할 수 있도록 한다. 실험을 통한 성능평가를 수행하여 제안된 색인구조의 우수함을 보인다.

  • PDF

An Efficient Spatial Data Transformation Method Using Caching on S-XML Middleware (S-XML 미들웨어에서 캐싱을 이용한 효율적인 공간 데이터 변환 기법)

  • Lee, Dong-Wook;Jang, Yong-Il;Park, Soon-Young;Oh, Young-Hwan;Bae, Hae-Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2005.05a
    • /
    • pp.47-50
    • /
    • 2005
  • 본 논문에서는 S-XML 미들웨어에서 캐싱을 이용한 효율적인 공간 데이터 변환 기법을 제안한다. 공간 데이터베이스 관리 시스템(SDBMS)을 기반으로 하여 S-XML 을 지원하는 시스템은 SDBMS 에서 사용되는 이진 데이터와 S-XML 간의 상호 변환 과정이 필요하다. 특히 변환 과정에서 공간 데이터는 비공간 데이터에 비해 데이터 크기가 크고, 복잡한 동시에 다양한 데이터 형식을 가지고 있어 비공간 데이터에 비해 변환 비용이 크다. 따라서 공간 데이터의 특성을 고려한 변환 비용 감소 기법이 필요하다. 제안 기법은 SDBMS 의 질의 처리 결과인 이진 데이터를 S-XML 문서로 변환하고, S-XML 미들웨어의 캐싱 관리자에서 공간 데이터에 해당하는 부분만을 캐싱 한다. 캐싱 관리자는 질의를 점 질의와 영역 질의로 구분한다. 점 질의의 결과에 대해서는 공간 데이터의 OID 를 키 값으로 하는 해쉬 색인을 사용하며, 영역 질의 결과에 대해서는 질의에서 표현된 MBR 에 따라 R-Tree 색인을 사용한다. 변환 과정에서 요구되는 공간 데이터가 캐싱된 데이터로 존재하면 질의 종류에 따른 색인을 사용하여 데이터를 추출하고 이를 S-XML 데이터로 치환한다. 캐싱 데이터를 이용한 공간 데이터 변환 기법에 의해 공간 데이터의 변환 비용을 줄임으로써 S-XML 미들웨어 에서의 변환 시간을 단축할 수 있다.

  • PDF

A study on non­storage data recording system and non­storage data providing method by smart QR code (스마트한 QR코드에 의한 비저장식 데이터 기록 시스템 및 비저장식 데이터 제공방법에 관한 연구)

  • Oh, Eun-Yeol
    • Journal of Convergence for Information Technology
    • /
    • v.9 no.4
    • /
    • pp.14-20
    • /
    • 2019
  • The purpose of this paper is to present a smart QR code recording system and a method of non­storage data delivery that transforms the original data into a form of URL information by encrypting it and encoding the URL information into a QR code so that the QR code can be written and decrypted in a medium without storing the original data. The method of the study was presented by the prior art study and the literature research. Analysis results show that the system is built on the online administration server. The data input signal matching secret code is stored in DB, the QR code generation command converts input data from the password DB to the password information combined into the subordinate locator of the admin server's domain name, URL code. Therefore, the smart QR method of data management (recording and providing) indicates that there are no limitations in the ease and space of use or obstacles to capacity use.

Prediction of Agricultural Purchases Using Structured and Unstructured Data: Focusing on Paprika (정형 및 비정형 데이터를 이용한 농산물 구매량 예측: 파프리카를 중심으로)

  • Somakhamixay Oui;Kyung-Hee Lee;HyungChul Rah;Eun-Seon Choi;Wan-Sup Cho
    • The Journal of Bigdata
    • /
    • v.6 no.2
    • /
    • pp.169-179
    • /
    • 2021
  • Consumers' food consumption behavior is likely to be affected not only by structured data such as consumer panel data but also by unstructured data such as mass media and social media. In this study, a deep learning-based consumption prediction model is generated and verified for the fusion data set linking structured data and unstructured data related to food consumption. The results of the study showed that model accuracy was improved when combining structured data and unstructured data. In addition, unstructured data were found to improve model predictability. As a result of using the SHAP technique to identify the importance of variables, it was found that variables related to blog and video data were on the top list and had a positive correlation with the amount of paprika purchased. In addition, according to the experimental results, it was confirmed that the machine learning model showed higher accuracy than the deep learning model and could be an efficient alternative to the existing time series analysis modeling.

An Efficient Data Replacement Algorithm for Performance Optimization of MapReduce in Non-Dedicated Distributed Computing Environments (비-전용 분산 컴퓨팅 환경에서 맵-리듀스 처리 성능 최적화를 위한효율적인 데이터 재배치 알고리즘)

  • Ryu, Eunkyung;Son, Ingook;Park, Junho;Bok, Kyoungsoo;Yoo, Jaesoo
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2013.05a
    • /
    • pp.39-40
    • /
    • 2013
  • 최근 소셜 미디어의 성정과 모바일 장치와 같은 디지털 기기의 활용이 증가함에 따라 데이터가 기하급수적으로 증가하였다. 이러한 대용량의 데이터를 처리하기 위한 대표적인 프레임워크로 맵-리듀스가 등장하였다. 하지만 전용 분산 컴퓨팅 환경에서의 균등한 데이터 배치를 기반으로 수행되는 기존 맵-리듀스는 가용성이 다른 비-전용 분산 컴퓨팅 환경에서는 적합하지 않다. 이를 고려한 비-전용 분산 컴퓨팅 환경에 최적화된 데이터 재배치 알고리즘이 제안되었지만, 데이터 재배치 알고리즘을 수행함으로써 재배치에 많은 시간을 필요로 하고, 불필요한 데이터 전송에 의한 네트워크 부하가 발생한다. 본 논문에서는 비-전용 분산 컴퓨팅 환경에서 맵-리듀스의 성능 최적화를 위한 효율적인 데이터 재배치 알고리즘을 제안한다. 제안하는 기법에서는 노드의 가용성 분석 모델을 기반으로 노드의 데이터 블록 비율을 연산하고, 기존의 데이터 배치를 고려하여 전송함으로써 네트워크 부하를 감소시킨다. 성능평가 결과 기존 기법에 비해 데이터 재배치 블록 비율이 약 75% 감소하였다.

  • PDF

Adaptive Equalizer Generating Input Data to Compensate Nonlinear Channel Distortion (비선형 채널 왜곡 보상을 위한 입력 데이터를 발생시키는 적응등화기)

  • 박동진
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 1998.11a
    • /
    • pp.398-402
    • /
    • 1998
  • 본 논문에서는 유ㆍ무선 통신 채널을 통한 데이터 전송시 발생하는 비선형 왜곡을 적응 필터를 이용하여 보상하였다. 특히 통신채널에서는 심볼간 간섭(ISI)이 발생하는데 이러한 간섭을 비선형 필터를 이용하여 제거하였다. 비선형 채널을 모델링하는 방법에는 볼테라급수를 이용하는 방법과 쌍선형 방법이 있다. 쌍선형 방법은 볼테라 방법에 비하여 계산량이 적은 장점을 지니고 있다. 따라서 쌍선형 필터에 적응 알고리듬을 적용하여 신호의 왜곡을 보상하였다. 적응 알고리듬에는 LMS 계열과 LS 계열 알고리듬이 있으나 통신 채널에서는 알고리듬의 안정도가 중요하므로 LMS 계열 알고리듬을 적용하였다. 또한 적응 알고리듬은 입력 데이터의 상관성과 데이터 수에 의존하여 수렴속도와 안정도가 결정된다. 알고리듬의 수렴속도를 증가시키기 위하여 입력신호를 신호파형으로부터 다량의 데이터를 검출하는 방법을 적용하였다. 이러한 방법을 입증하기 위하여 입력신호는 2진 랜덤 가우시안 데이터를 이용하였고, 통신채널에서 채널간 간섭을 발생시켰으며 화이트 가우시안 잡음을 부가 시켰다. 이러한 신호를 수신한 수신기에 적응 등화기를 설계하여 대량의 데이터를 생성시키고, 적응 알고리듬을 적용하여 채널의 왜곡을 빠른 속도로 보상하였다.

  • PDF