• Title/Summary/Keyword: 후처리데이터

Search Result 1,890, Processing Time 0.029 seconds

불완비 데이터에서 분류 나무의 구축

  • 우주성;김규성
    • Proceedings of the Korean Statistical Society Conference
    • /
    • 2001.11a
    • /
    • pp.105-108
    • /
    • 2001
  • 본 논문에서는 결측치가 있는 불완비 데이터에서 분류나루를 구축하는 방법을 고찰하였다. 기존의 결측치 처리 방법인 대리 분리 방법의 대안으로 대체 방법으로 결측치를 처리한 후 분류나무를 구축하는 방법을 제안하였다.

  • PDF

A New Method for Processing Queries in Data Warehouse Environment (데이터 웨어하우징 환경에서 질의 처리를 위한 새로운 기법)

  • 김윤호;김진호;감상욱
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.04b
    • /
    • pp.121-123
    • /
    • 2001
  • 대용량의 데이터가 저장되는 데이터 웨어하우징 환경에서는 조인이나 집계 함수와 같은 고비용의 연산의 효율적인 처리는 매우 중요하다. 본 논문에서는 집계 함수(aggregate function)와 조인이 모두 포함된 질의를 처리하는 새로운 기법을 제안한다. 제안하는 기법은 먼저 차원 테이블(dimension table)을 미리 그룹핑한 후, 비트맵 조인 인덱스(bitmap join index)를 이용하여 조인을 처리하는 방식을 사용한다. 이 결과, 사실 테이블만을 접근하여 집계 함수를 처리함으로써 기존 기법이 가지는 성능 저하의 문제점을 해결할 수 있다. 기존 기법과 제안하는 기법에 대한 비용 모델(cost model)을 정립하고, 이를 기반으로 시뮬레이션을 수행함으로써 제안된 기법의 우수성을 규명한다.

  • PDF

A Study on Utilization of NTRIP Data Delivery and Virtual RINEX available from Seoul Metro Government Network-RTK system (서울특별시 네트워크 RTK 시스템의 NTRIP 데이터 전송 몇 Virtual RINEX의 활용 방안 연구)

  • Nam, Dae-Hyun;Kim, Jin-Hwan;Gwak, In-Sun;Kwon, Jay-Hyoun
    • Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
    • /
    • 2010.09a
    • /
    • pp.152-155
    • /
    • 2010
  • 본 연구에서는 서울특별시 네트워크 RTK 시스템의 활용 및 Virtual RINEX 실용성 검토를 위해 수행하였다. 네트워크 RTK 시스템의 활용 다양화를 위해서는 NTRIP을 통하여 타기관의 사용자 시스템으로 실시간 전송, 시설물의 변위에 대한 GNSS로 모니터링 방법, GNSS Internet Radio Client와 Radio Modem을 이용한 RTK측위를 소개하고, Virtual RINEX 실용성 검토는 VRS RTK 측위 결과와 이동국 측위 지점에 대한 Virtual RINEX 데이터의 후처리 성과를 비교하였다. 그 결과, Virtual RINEX와 GPS 관측 성과는 거의 동일하여 향후 Virtual RINEX도 후처리 데이터로 사용할 수 있는 가능성을 확인하였고, VRS RTK 측위 성과는 Virtual RINEX 후처리 성과와 수 mm 이내 차이를 보여 산출된 성과가 거의 같음을 확인할 수 있었다.

  • PDF

Design of a Waste Generation Model based on the Chat-GPT and Diffusion Model for data balance (데이터 균형을 위한 Chat-GPT와 Diffusion Model 기반 폐기물 생성모델 설계)

  • Siung Kim;Junhyeok Go;Jeonghyeon Park;Nammee Moon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.05a
    • /
    • pp.667-669
    • /
    • 2023
  • 데이터의 균형은 객체 인식 분야에서 영향을 미치는 요인 중 하나이다. 본 논문에서는 폐기물 데이터 균형을 위해 Chat-GPT와 Diffusion model 기반 데이터 생성 모델을 제안한다. Chat-GPT를 사용하여 폐기물의 속성에 해당하는 단어를 생성하도록 질문하고, 생성된 단어는 인코더를 통해 벡터화시킨다. 이 중 폐기물과 관련 없는 단어를 삭제 후, 남은 단어들을 결합하는 전처리 과정을 거친다. 결합한 벡터는 디코더를 통해 텍스트 데이터로 변환 후, Stable Diffusion model에 입력되어 텍스트와 상응하는 폐기물 데이터를 생성한다. 이 데이터는 AI Hub의 공공 데이터를 활용하며, 객체 인식 모델인 YOLOv5로 학습해 F1-score와 mAP로 평가한다.

Attention based multimodal model for Korean speech recognition post-editing (한국어 음성인식 후처리를 위한 주의집중 기반의 멀티모달 모델)

  • Jeong, Yeong-Seok;Oh, Byoung-Doo;Heo, Tak-Sung;Choi, Jeong-Myeong;Kim, Yu-Seop
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.145-150
    • /
    • 2020
  • 최근 음성인식 분야에서 신경망 기반의 종단간 모델이 제안되고 있다. 해당 모델들은 음성을 직접 입력받아 전사된 문장을 생성한다. 음성을 직접 입력받는 모델의 특성상 데이터의 품질이 모델의 성능에 많은 영향을 준다. 본 논문에서는 이러한 종단간 모델의 문제점을 해결하고자 음성인식 결과를 후처리하기 위한 멀티모달 기반 모델을 제안한다. 제안 모델은 음성과 전사된 문장을 입력 받는다. 입력된 각각의 데이터는 Encoder를 통해 자질을 추출하고 주의집중 메커니즘을 통해 Decoder로 추출된 정보를 전달한다. Decoder에서는 전달받은 주의집중 메커니즘의 결과를 바탕으로 후처리된 토큰을 생성한다. 본 논문에서는 후처리 모델의 성능을 평가하기 위해 word error rate를 사용했으며, 실험결과 Google cloud speech to text모델에 비해 word error rate가 8% 감소한 것을 확인했다.

  • PDF

The Data Processing System Development of Telemetry Ground System for Korean Space Launch Vehicle-1 (KSLV-1의 신호 수신.처리를 위한 원격측정 지상국시스템의 자료처리시스템 개발)

  • Ma, Jin-A;Kwon, Soon-Ho;Oh, Chang-Yul;Lee, Hyo-Keun
    • Aerospace Engineering and Technology
    • /
    • v.6 no.1
    • /
    • pp.245-254
    • /
    • 2007
  • The on-board telemetry system of KSLV-1 transmits telemetry signal for the launch vehicle and satellite to ground telemetry system in real time. In ground telemetry system, antenna system acquires telemetry signals and transfers these to data processing system. Data processing system processes and recordes telemetry data and distributes it to each mission operator in order to monitor it the operation goes well or not. This document describes the configurations and functions of data processing system designed for efficient and appropriate processing of telemetry data.

  • PDF

Korean End-to-End Coreference Resolution with BERT for Long Document (긴 문서를 위한 BERT 기반의 End-to-End 한국어 상호참조해결)

  • Jo, Kyeongbin;Jung, Youngjun;Lee, Changki;Ryu, Jihee;Lim, Joonho
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.259-263
    • /
    • 2021
  • 상호참조해결은 주어진 문서에서 상호참조해결 대상이 되는 멘션(mention)을 식별하고, 동일한 개체(entity)를 의미하는 멘션들을 찾아 그룹화하는 자연어처리 태스크이다. 최근 상호참조해결에서는 BERT를 이용하여 단어의 문맥 표현을 얻은 후, 멘션 탐지와 상호참조해결을 동시에 진행하는 end-to-end 모델이 주로 연구되었으나, 512 토큰 이상의 긴 문서를 처리하기 위해서는 512 토큰 이하로 문서를 분할하여 처리하기 때문에 길이가 긴 문서에 대해서는 상호참조해결 성능이 낮아지는 문제가 있다. 본 논문에서는 512 토큰 이상의 긴 문서를 위한 BERT 기반의 end-to-end 상호참조해결 모델을 제안한다. 본 모델은 긴 문서를 512 이하의 토큰으로 쪼개어 기존의 BERT에서 단어의 1차 문맥 표현을 얻은 후, 이들을 다시 연결하여 긴 문서의 Global Positional Encoding 또는 Embedding 값을 더한 후 Global BERT layer를 거쳐 단어의 최종 문맥 표현을 얻은 후, end-to-end 상호참조해결 모델을 적용한다. 실험 결과, 본 논문에서 제안한 모델이 기존 모델과 유사한 성능을 보이면서(테스트 셋에서 0.16% 성능 향상), GPU 메모리 사용량은 1.4배 감소하고 속도는 2.1배 향상되었다.

  • PDF

A Development and Application of Data Visualization EducationProgram for 3rd Grade Students in Elementary School (초등학교 3학년 학생들을 위한 데이터 시각화 교육 프로그램 개발 및 적용)

  • Jiseon Woo;Kapsu Kim
    • Journal of The Korean Association of Information Education
    • /
    • v.26 no.6
    • /
    • pp.481-490
    • /
    • 2022
  • With the development of computing technology, the big data era has arrived, and we live with a lot of data around us. Elementary school students are no exception. Therefore, it is very important to learn to process data from elementary school. Since elementary school students have intuitive thinking, data visualization, which expresses data directly in pictures, is an important learning element. In this study, we study how effective elementary school students can visualize data in their daily lives to improve their information processing capabilities. Adata visualization program was developed by organizing and visualizing data using data visualization tools for the 8th class, which can be done by third graders in elementary school, and then experiencing the process of interaction. As a result of applying the developed program to 186 students in 7 classes, knowledge information processing competency factors were evaluated before and after class. As a result of the pre- and post-test, there was a significant difference in knowledge information processing capabilities. Therefore, the data visualization program developed in this study is effective.

My data business model combined with travel data (여행데이터와 결합된 마이데이터 비즈니스 모델)

  • So, Won;Pi, Yu-Jin
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.11a
    • /
    • pp.961-963
    • /
    • 2022
  • 데이터 기반 경제가 활성화되면서 데이터의 분석과 활용에 중점을 둔 서비스가 증가하는 추세이다. 금융 분야에서만 활용되던 마이데이터를 관광정보인 외부데이터와 결합해 사용자의 디지털 흔적을 수집, 분석하는 여행 마이데이터 플랫폼을 제시한다. 이를 통해 사용자에게 신뢰도가 높은 여행정보를 제공하고 여행 후 정산 문제를 해결하고자 한다.

Reuse of Legacy System by TA(Transaction Adapter) ($^1TA$를 통한 레거시 시스템 재사용)

  • Kim, Jeong-Ah;Kim, Jong-Yun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2003.11c
    • /
    • pp.1681-1684
    • /
    • 2003
  • 본 연구는 트랜잭션 어댑터 서버(이하 TA 서버)를 이용한 레거시 보험 업무 관리 시스템 재사용 및 통합 관련 연구이다. 클라이언트 애플리케이션으로부터 입력받은 보험 업무 관한 처리 데이터는 XML 데이터로 변환되어 TA 서버로 전송되고, TA 서버는 수신된 XML 데이터를 분석 변환하여 레거시 시스템이 처리하는 레이아웃 데이터를 생성한 후, 레거시 시스템에 접속하여 레이아웃 데이터를 전송하는 방식으로 TA서버를 이용한 레거시 보험 관리 시스템의 재사용 및 통합 방법에 관한 것이다. 이로써 보험 상품의 종류와 클라이언트 플랫폼에 관계없이 TA 서버가 데이터 변환처리를 통일적으로 수행하여 시스템 운영시 공통된 모듈의 재사용 및 보험 업무처리를 효율적으로 수행하는 효과를 제공한다. 또한, XML 기반의 레거시 시스템의 e-비즈니스로의 전환을 가능하게 한다.

  • PDF