• 제목/요약/키워드: 데이터 이질성

검색결과 161건 처리시간 0.025초

IoT 환경을 위한 Local WAS에서 디바이스 이질성을 줄이는 독립적인 Firmware 설계 (Independent Firmware Design to Reduce Device Heterogeneity in LAN WAS for IoT Environment)

  • 이경호;문은아
    • 한국전자통신학회논문지
    • /
    • 제18권5호
    • /
    • pp.803-808
    • /
    • 2023
  • IoT 산업은 매년 기록적인 성장률을 기록하며 성장하고 있으나 IoT 플랫폼을 개발하는데 앞서 개발자들은 보안, 데이터 저장, 디바이스간 이질성 등의 현실적인 문제들에 직면하게 된다. 특히 디바이스간 이질성은 네트워크 유형과 프로토콜로 발생하는데, 다비이스 Firmware를 변경하거나 경우에 따라서는 여러 개의 IoT 플랫폼을 사용해야 한다. 또한 무분별한 IoT 디바이스가 넘처나면서 중복된 센싱으로 데이터가 낭비되기도 한다. 본 논문에서는 Local WAS가 MQTT 프로토콜을 사용하는 IoT 플랫폼 환경에서 디바이스간 이질성 해결을 위한 디바이스 독립적인 Firmware 설계를 제안하고자 한다.

Temporal Fusion Transformers와 심층 학습 방법을 사용한 다층 수평 시계열 데이터 분석 (Temporal Fusion Transformers and Deep Learning Methods for Multi-Horizon Time Series Forecasting)

  • 김인경;김대희;이재구
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제11권2호
    • /
    • pp.81-86
    • /
    • 2022
  • 시계열 데이터는 주식, IoT, 공장 자동화와 같은 다양한 실생활에서 수집되고 활용되고 있으며, 정확한 시계열 예측은 해당 분야에서 운영 효율성을 높일 수 있어서 전통적으로 중요한 연구 주제이다. 전반적인 시계열 데이터의 향상된 특징을 추출할 수 있는 대표적인 시계열 데이터 분석 방법인 다층 수평 예측은 최근 부가적 정보를 포함하는 시계열 데이터에 내재한 이질성(heterogeneity)까지 포괄적으로 분석에 활용하여 향상된 시계열 예측한다. 하지만 대부분의 심층 학습 기반 시계열 분석 모델들은 시계열 데이터의 이질성을 반영하지 못했다. 따라서 우리는 잘 알려진 temporal fusion transformers 방법을 사용하여 실생활과 밀접한 실제 데이터를 이질성을 고려한 다층 수평 예측에 적용하였다. 결과적으로 주식, 미세먼지, 전기 소비량과 같은 실생활 시계열 데이터에 적용한 방법이 기존 예측 모델보다 향상된 정확도를 가짐을 확인할 수 있었다.

XMDR을 이용한 데이터웨어하우스 실시간 데이터 정제 시스템 설계 (Design of DatawareHouse Real-Time Cleansing System using XMDR)

  • 송홍율;정계동;최영근
    • 한국정보통신학회논문지
    • /
    • 제14권8호
    • /
    • pp.1861-1867
    • /
    • 2010
  • 데이터웨어하우스는 기업에서 의사결정이나 기업의 정책을 결정하는데 사용하고 있다. 그러나 분산 환경에서 새로운 시스템이 추가되면 데이터 통합 측면에서 시스템간의 여러 가지 이질적인 특성으로 인해 많은 비용과 시간이 필요로 하게 된다. 따라서 이러한 이질적인 특성을 해결하기 위해 첫째, 데이터 구조의 이질성은 표준기관에서 제정한 표준스키마와 XMDR(eXtended Master Data Registry)를 이용하여 추상화된 쿼리를 생성하고, XMDR에 맞게 쿼리를 분리함으로써 구조적인 이질성을 해결한다. 둘째, 데이터 정의 및 표현의 이질성은 메타데이터에 대한 유사어와 데이터 값의 표현 방식을 정의한 메타데이터 사전을 이용함으로써 해결한다. 특히 본 논문에서는 XMDR을 이용하여 분산 시스템 통합시 로컬시스템의 영향을 최소화하고, 데이터웨어하우스의 정보를 실시간으로 생성하기 위해 분산된 환경에서 데이터 통합을 위한 표준화된 정보를 제공한다.

효율적인 비즈니스 프로세스 운용을 위한 XMDR 데이터 허브 설계 (The Design of XMDR Data Hub for Efficient Business Process Operation)

  • 황치곤;정계동;최영근
    • 정보처리학회논문지D
    • /
    • 제18D권3호
    • /
    • pp.149-156
    • /
    • 2011
  • 최근 기업의 시스템들은 데이터 공유와 협업을 위해 통합의 필요성을 제기하고 있다. 통합을 위한 방법론으로 서비스 통합을 위한 서비스 지향 아키텍처와 서비스에 사용되는 데이터의 통합을 위한 마스터 데이터가 등장했다. 본 논문은 BP(Business Process)를 효율적으로 운용하기 위한 방안을 제시한다. 우리는 BP를 지원하기 위한 지식 저장소로 XMDR(eXtended Meta Data Registry)과 이를 운용하기 위한 데이터 허브를 구성한다. XMDR은 데이터 통합을 위한 MDM(Master Data Management)을 관리하고, 데이터 간의 이질성을 해결하고, 업무 간의 연관관계를 효율적으로 제공한다. 이것은 MDR(Meta Data Registry), 온톨로지, BR(Business Relations)으로 구성된다. MDR은 구조적 이질성을 해결하기 위한 메타 데이터간의 관계성을 기술한다. 온톨로지는 의미적 이질성과 데이터 간의 관계성을 기술한다. BR은 업무 간의 관계성을 기술한다. XMDR 데이터 허브는 마스터 데이터의 관리를 지원하고, 프로세스 간의 상호작용을 효율적으로 지원할 수 있다.

하천공간정보의 온톨로지 구축방안 연구 (Construction of Ontology for River GeoSpatial Information)

  • 신형진;신승희;황의호;채효석
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2015년도 학술발표회
    • /
    • pp.627-627
    • /
    • 2015
  • 기존 물관련 시스템들은 독자적인 DB 구조를 가지고 있고 검색 서비스는 자체 시스템의 DB를 직접 접근하여 사용자에게 결과를 제시하는 형식이다. 이러한 서비스의 단점은 사용자가 개별 시스템의 서비스에 대한 지식이 없으면 접근하기 어렵다는 점이다. 개별 시스템의 개별 서비스의 개념을 벗어나기 위하여 물관련 시스템에 있는 하천공간자료 검색 정보를 카탈로그 서버에 등록하고, 카탈로그 서버에 등록된 검색정보를 사용자가 검색하는 방식을 적용하고자 한다. 카탈로그 서버에 자료에 대한 정보를 등록할 때 자료의 정보를 어떻게 기술할 것인가의 문제가 발생한다. 개별 서버마다 등록하게 된다면 용어 및 문화에 의한 차이로 같은 개념을 다른 용어로 등록하게 되는 혼란이 발생할 소지가 있다. 예를 들어 강우자료에 대하여 "강우", "Precipitation", "Railfall", "비" 등으로 등록할 소지가 있다. 이러면 실제 자료가 존재하는 데도 등록 방법에 따라 자료의 검색이 어려워진다. 이러한 상황을 제어하기 위하여 검사어휘(Controlled Vocabulary)를 도입한다. 이는 포털의 운영자가 미리 용어의 개념과 용어의 분류체계를 설정하고 등록 자료의 검색어를 미리 설정하여 자료의 원천 소유자가 자료를 등록 시 검사어휘를 참고하여 등록하거나 또는 등록되지 않는 용어의 자료인 경우 이 용어를 포탈에 신규로 등록한다. 검색용어의 난립을 피하기 위하여 사용자의 신규등록은 포탈의 운영자가 어느 정도 제어할 필요가 있다. 검사어휘의 정립과 하천 관련된 분류체계는 하천공간정보 검색의 포탈을 위한 필수사항이다. 검사어휘의 정립의 주된 목적은 이질성의 극복이다. 이질성의 종류는 문법적 이질성, 데이터 형식과 구조 및 문맥적 이질성이 있다. 이 중에서 문맥적 이질성이 가장 넓고 어려운 문제이다. 단위는 분야마다 호칭이 다르고 채택하는 기준마다 다르다. 유사어는 전문용어라도 분야마다 다르다. 우리나라에서 서비스 인코딩시 국어와 영어를 어떻게 처리할 지에 대한 대책도 필요하다. 수문학의 시계열 자료를 다루는 CUAHSI/HIS의 온톨로지는 대 개념으로 물리학적, 화학적 및 생물학적인 분야로 분류하고 있다. 하천공간정보의 온톨로지 구축을 위해 데이터 분석 및 분류, 온톨로지 요소 설정, 온톨로지 데이터 테이블 작성, 클래스 생성 및 계층화, 클래스 계층화에 따른 속성 설정, 클래스에 적합한 개체 삽입, 논리 관계 확인 및 수정과 같은 과정으로 온톨로지 개발을 진행하고자 한다.

  • PDF

웹 환경에서 데이터 상호운용을 위한 XMDR 기반의 검색 시스템 설계 (Design of Retrieval System based on XMDR for Data Interoperability in a Web Environment)

  • 문석재;정계동;최영근
    • 한국정보통신학회논문지
    • /
    • 제10권12호
    • /
    • pp.2212-2220
    • /
    • 2006
  • 최근 기업들은 레거시 시스템들간의 데이터 상호 운용하기 위해 기업들은 이미 보유하고 있는 레거시 업무와 EAI 시스템을 도입하고 있다. 협업적인 거래 환경에서의 EAI 시스템은 유기적으로 통합하고 공유함으로서 효율적인 검색을 기대할 수 있다. 그러나 기존 레거시 시스템은 특정 목적에 따라 설계단계부터 상호 운용성을 고려하지 않고 독자적으로 관리되므로 EAI는 표준기술 적용이 어려우므로 별도의 전용 EAI 솔루션을 도입해야 한다. 이러한 문제를 해결하기 위해 데이터 통합을 이용하여 메타데이터 레지스트리를 이용한다. 그러나 메타데이터의 다양한 타입과 의미론적 명세, 데이터 이질성 문제, 이기종간의 시스템 이질성에 대한 문제도 야기된다. 따라서 본 논문에서는 웹 환경에서 데이터 상호운용을 위한 XMDR(eXtended Meta-Data Registry) 기반의 검색 시스템을 제안한다.

웨어러블 기기에서 데이터수 기반 마하라노비스 군집화 연합학습을 통한 스트레스 및 감정탐지 (Stress Affect Detection At Wearable Devices Via Clustered Federated Learning Based On Number of Samples Mahalanobis Distance)

  • 윤태환;최봉준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.764-767
    • /
    • 2024
  • 웨어러블 디바이스에서는 사용자의 다양한 메타데이터를 수집할 수 있다. 그러나 이런 개인정보를 함유하고 있는 데이터를 수집하는 것은 사용자에게 개인정보침해 위협을 야기한다. 때문에 본 논문에서는 개인정보보호를 통한 웨어러블 디바이스 데이터활용방안으로 연합학습을 채택하였다. 다만 기존 연합학습에서도 해결해야할 문제점들이 있다. 우리는 그중에서도 데이터이질성(Data Heterogeneity) 문제해결을 위해 군집화(Clustering) 방법을 활용하였다. 또한 기존의 코사인유사도 기반 군집화에서 파라미터중요도가 반영되지 않는다는 문제점을 해결하고자 데이터수 기반 마하라노비스거리(Number of Samples Mahalanobis Distance) 군집화 방법을 제시하였다. 이를 통해 WESAD(Werable Stress Affect Detection)데이터에서 피실험자의 데이터 이질성이 존재하는 상황에서 기존 연합학습보다 학습 안정성 측면에서 좋음을 보여주었다.

유비쿼터스 컴퓨팅 환경에서 센서간 데이터 의미 일관성 유지를 위한 아키텍처 (An Architecture for Data Semantics Consistency Maintenance between Sensors on Ubiquitous Computing Environments)

  • 김진형;김영갑;신성욱;정동원
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (2)
    • /
    • pp.40-42
    • /
    • 2004
  • 유비쿼터스 컴퓨팅에 대한 관심이 높아짐에 따라 센서 네트워크에 대한 관심이 높아지고 있다. 그러나 기존의 센서 네트워크에서는 센서들이 하나의 데이터 처리 서버 (DPS : Data Processing Server) 에 종속되어 있어 수많은 센서들에 의해 수집된 정보를 다양한 데이터 처리 서버에서 이용하지 못하는 문제점이 있다. 이는 각 센서들에 의해 수집된 데이터간의 의미 이질성 때문이다. 이 논문에서는 특정 데이터 처리 서버에 종속적으로 센서들이 이용되는 한계를 극복할 수 있는 의미 일관성 유지를 위한 아키텍처에 중점을 둔다.

  • PDF

사물인터넷(IoT) 환경에서 효율적 공유를 위한 데이터 수집 기법에 대한 연구 (A Study of Data Collection Method for Efficient Sharing in IoT Environment)

  • 황치곤;윤창표
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2015년도 추계학술대회
    • /
    • pp.268-269
    • /
    • 2015
  • 현재의 인터넷 환경은 컴퓨터를 이용한 접근뿐만 아니라 IoT로 전이되고 있다. 이에 따라 발생하는 데이터는 방대해지고 있다. 이 데이터들을 어플리케이션에 맞추어 수정 없이 제공한다면 해당 어플리케이션은 원래 성능을 발휘하기 어렵다. 이에 본 논문에서는 수집된 데이터를 정제하기 위해 빅 데이터 처리 기법인 맵 리듀스를 이용하여 데이터를 필터링하는 기법에 대해서 제안한다. 맵 리듀스에 지식 식별을 위한 단계를 추가함으로써 센서에서 발생하는 데이터를 필터링하는 과정에서 이질성을 해결하고자 한다. 이를 위해 XMDR을 이용한다.

  • PDF

종양 이질성을 검정을 위한 통계적 방법론 연구 (Statistical methods for testing tumor heterogeneity)

  • 이동녘;임창원
    • 응용통계연구
    • /
    • 제32권3호
    • /
    • pp.331-348
    • /
    • 2019
  • 전이성 종양의 성장패턴 차이와 변화율에 따른 종양 이질성(tumor heterogeneity)을 파악하는 것은 종양세포의 약물에 대한 민감성을 파악하고 적절한 치료법을 찾아내기 위해 중요하다. 일반적으로 N개의 표본의 집단이 구분된다면 t-test 혹은 ANOVA 분석을 통해 집단별 평균의 차이에 대한 검정이 가능하다. 그러나 본 논문에서 다루는 데이터와 같이 집단이 구분되지 않는 경우 이러한 방법들은 사용될 수 없다. 표본들 사이의 이질성을 검정하기 위한 통계적 방법들이 연구되어 왔다. 최소 조합 t-검정 방법은 그 중 하나이다. 본 논문에서는 상이한 비율로 데이터를 양분하는 조합도 고려하는 최대 조합 t-검정 방법을 제안한다. 한편, 표본의 이질성을 검정하는 것이 군집분석에서 최적의 군집의 개수가 2개 이상인지를 검정하는 것과 같음에 착안하여 새로운 방법을 제안한다. 최대 조합 t-검정과 gap통계량을 이용하면 이전에 제안된 방법보다 개선된 제1종의 오류를 범할 확률과 검정력을 갖는다는 것을 모의실험을 통해 확인하였고 실제 자료 분석을 통해 결과를 도출하였다.