• Title/Summary/Keyword: 데이터 수집 툴

Search Result 46, Processing Time 0.023 seconds

Multi-Session Open Domain Knowledge-based dialog collection Tool (멀티-세션 오픈 도메인 지식기반 대화 수집 툴)

  • Tae-Yong Kim;San Kim;Saim Shin
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.491-496
    • /
    • 2022
  • 최근 멀티-세션 데이터로 장기간 페르소나와 대화 일관성을 유지하며 인터넷에서 대화와 관련된 지식을 활용하는 대화모델 연구가 활발히 진행되고 있다. 하지만 이를 위한 한국어 멀티-세션 오픈 도메인 지식 기반 대화 데이터는 공개되지 않아 한국어 대화모델 연구에 어려움이 있다. 따라서 본 논문에서는 한국어 멀티-세션 오픈 도메인 지식 기반 데이터의 필요성을 시사하고, 데이터 수집을 위한 툴을 제안한다. 제안하는 수집 툴은 양질의 데이터 수집을 위해 작업자들이 사용하기 편하도록 UI/UX를 구성하였으며, 대화 생성 시 텍스트뿐만 아니라 정보가 밀집된 테이블도 대화에 활용할 지식으로 참조할 수 있도록 구현하였다. 제안하는 수집 툴은 웹 랜덤채팅 시스템에 기반을 두어 작업자가 여러 다른 작업자와 같은 확률로 매칭되게 구현되었으며, 일정 확률로 기존 대화로부터 대화를 시작하도록 함으로써 멀티-세션 대화 수집이 가능하도록 하였다.

  • PDF

Monitoring Tool for Hadoop Cluster (Hadoop 클러스터를 위한 모니터링 툴)

  • Keum, Tae-Hoon;Lee, Won-Joo;Jeon, Chang-Ho
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2010.07a
    • /
    • pp.17-18
    • /
    • 2010
  • 최근 이슈가 되고 있는 클라우드 컴퓨팅은 다수의 노드를 이용한 클러스터를 사용한다. 이러한 클러스터를 효율적으로 관리하기 위해 모니터링 툴을 사용하고 있다. 하지만, 기존의 모니터링 툴은 클러스터를 구성하는 노드의 가용성과 오버헤드, 데이터 수집/전송 방식에 중심을 둔 모니터링 툴이기 때문에 클라우드 클러스터의 세부 정보까지 모니터링 할 수 없다. 따라서 본 논문에서는 클라우드 컴퓨팅을 구축할 수 있는 플랫폼인 Hadoop을 위한 모니터링 툴을 제안한다.

  • PDF

Development of Cluster Tool Dispatching Algorithm for Next Generation Wafer Production System (차세대 웨이퍼 생산시스템을 위한 클러스터 툴 디스패칭 알고리즘 개발)

  • Hur, Sun;Lee, Hyun;Park, Eu-Gene
    • Proceedings of the KAIS Fall Conference
    • /
    • 2010.11b
    • /
    • pp.792-796
    • /
    • 2010
  • 차세대 반도체 공정인 450mm 웨이퍼 생산 환경의 가장 큰 특징은 반도체 생산의 전 공정에 대한 완전 자동화이다. 이러한 완전 자동화는 작업자의 공정개입을 불가능하게 하고 개별 웨이퍼의 중요도를 크게 증가시키며 전체 반도체 생산 공정에 대한 견고한 디스패칭 시스템을 필요로 한다. 또한, 차세대 반도체 공정의 디스패칭 시스템은 개별 웨이퍼에 대한 실시간 모니터링과 데이터 수집이 가능해야 하며, 수집된 반도체 공정의 정보를 반영한 실시간 디스패칭이 가능해야 한다. 본 연구에서는 차세대 반도체 환경인 450mm 웨이퍼 생산 환경에서 중요한 역할을 하는 클러스터 툴에 대해 분석하고 클러스터 툴에서 웨이퍼의 작업순서를 결정할 수 있는 디스패칭 알고리즘을 제안한다.

  • PDF

Development of Dataset Cllection RPA for Machine Learning (머신러닝을 위한 데이터셋 수집 RPA 개발)

  • Kim, Ki-Tae;Seo, Bo-in;Yun, Sang-Hyeok;Lee, Sei-Hoon
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2020.07a
    • /
    • pp.295-296
    • /
    • 2020
  • 본 논문에서는 RPA(Robotic Process Automation) Tool 개발 과정 중 머신 러닝, 딥러닝에 필요한 이미지 크롤링 및 전처리 기능을 이용한 가공된 데이터 셋 처리 과정을 기술한다. 개발된 RPA 툴에서 머신러닝 및 딥러닝에 사용될 데이터 확보 기능을 제공하며, 세부적으로 이미지 전처리(Convert Gray, Histogram Equalization, Binary, Resize)등 반복적으로 사용되는 기능들을 제공한다. 개발된 툴을 통해 RPA의 자동화 기능과, 전처리 기능의 융합을 통해 업무의 효율성을 제공한다.

  • PDF

Development of Simulation Tool to Support Privacy-Preserving Data Collection (프라이버시 보존 데이터 수집을 지원하기 위한 시뮬레이션 툴 개발)

  • Kim, Dae-Ho;Kim, Jong Wook
    • Journal of Digital Contents Society
    • /
    • v.18 no.8
    • /
    • pp.1671-1676
    • /
    • 2017
  • In theses days, data has been explosively generated in diverse industrial areas. Accordingly, many industries want to collect and analyze these data to improve their products or services. However, collecting user data can lead to significant personal information leakage. Local differential privacy (LDP) proposed by Google is the state-of-the-art approach that is used to protect individual privacy in the process of data collection. LDP guarantees that the privacy of the user is protected by perturbing the original data at the user's side, but a data collector is still able to obtain population statistics from collected user data. However, the prevention of leakage of personal information through such data perturbation mechanism may cause the significant reduction in the data utilization. Therefore, the degree of data perturbation in LDP should be set properly depending on the data collection and analysis purposes. Thus, in this paper, we develop the simulation tool which aims to help the data collector to properly chose the degree of data perturbation in LDP by providing her/him visualized simulated results with various parameter configurations.

Development of Automated Statistical Analysis Tool using Measurement Data in Cable-Supported Bridges (특수교 계측 데이터 자동 통계 분석 툴 개발)

  • Kim, Jaehwan;Park, Sangki;Jung, Kyu-San;Seo, Dong-Woo
    • Journal of Korean Society of Disaster and Security
    • /
    • v.15 no.3
    • /
    • pp.79-88
    • /
    • 2022
  • Cable-supported bridges, as important large infrastructures, require a long-term and systematic maintenance strategy. In particular, various methods have been proposed to secure safety for the bridges, such as installing various types of sensor on members in the bridges, and setting management thresholds. It is evidently necessary to propose a strategic plan to efficiently manage increasing number of cable-supported bridges and data collected from a number of sensors. This study aims to develop an analysis tool that can automatically remove abnormal signals and calculate statistical results for the purpose of efficiently analyzing a wide range of data collected from a long span bridge measurement system. To develop the tool, basic information such as the types and quantity of sensors installed in long span bridges and signal characteristics of the collected data were analyzed. Thereafter, the Humpel filtering method was used to determine the presence or absence of an abnormality in the signal and then filtered. The statistical results with filtered data were shown. Finally, one cable-stayed bridge and one suspension bridge currently in use were chosen as the target bridges to verify the performance of the developed tool. Signal processing and statistical analysis with the tool were performed. The results are similar to the results reported in the existing work.

Development of Python-based Annotation Tool Program for Constructing Object Recognition Deep-Learning Model (물체인식 딥러닝 모델 구성을 위한 파이썬 기반의 Annotation 툴 개발)

  • Lim, Songwon;Park, Gooman
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2019.11a
    • /
    • pp.162-164
    • /
    • 2019
  • 본 논문에서는 물체인식 딥러닝 모델 생성에 필요한 라벨링(Labeling)과정에서 사용자가 다양한 기능을 활용하여 효과적인 학습 데이터를 구성할 수 있는 GUI 프로그램을 구현했다. 프로그램의 인터페이스는 파이썬 기반의 GUI 모듈인 Tkinter 를 활용하여, 실시간으로 이미지 데이터를 수집할 수 있는 크롤링(Crawling)기능과 미리 학습된 Retinanet 을 통해 이미지 데이터를 인식함으로써 자동으로 주석(Annotation) 과정을 수행할 수 있는 기능을 구성했다. 또한, 수집한 이미지 데이터를 다양한 효과와 노이즈, 변형 등으로 Augmentation 기능을 추가함으로써, 사용자가 모델을 학습하기 위한 데이터 전처리 단계를 하나의 GUI 프로그램에서 수행할 수 있도록 했다. 또한 사용자가 직접 학습한 모델을 추정 모델(Inference Model)로 변환하여 프로그램에 입력할 수 있도록 설계한다.

  • PDF

Practical Methods of Live-CD usage for Case-Relevance Response in Korea (국내 수사 환경을 고려한 LiveCD 활용 방법 제안)

  • Lee, Seung-Bong;Choi, Jae-Min;Lee, Sang-Jin;Lim, Jong-In
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2008.02a
    • /
    • pp.43-46
    • /
    • 2008
  • 디지털 증거의 수집은 컴퓨터 포렌식 수사절차에서 매우 중요하다. 디지털 증거는 특히 용의자가 범죄 과정에서 노출한 증거들을 획득한다는 것에 의미가 있으며, 현재 이러한 디지털 증거 수집을 위한 많은 도구들이 활용되고 있다. 그 중 LiveCD는 대상 운영체제의 영향을 받지 않고, CD 자체를 통해 저장된 다양한 포렌식 툴을 사용 할 수가 있다. 또한 여러 종류의 파일 시스템을 지원하기 때문에 초기 대응에 아주 유용하게 사용되며, 위 과정을 통해 수집된 데이터는 무결성 검증을 통해 증거 수사에 활용된다. 현재 여러 가지 LiveCD를 수사에 활용하고 있으나, 각 도구들 마다 지원하는 포렌식 툴이 다르고 지원하는 운영체제도 다양하다. 따라서 상황에 따라 적절한 LiveCD를 활용하는 것은 매우 중요하며, 이를 통해 증거의 수집을 용이하게 할 수 있다. 따라서 본고에서는 국외의 포렌식용 LiveCD 현황에 대한 조사 및 비교 분석하여 국내 수사 환경을 고려한 LiveCD 활용 방안에 대해 제시 한다.

  • PDF

Monitoring System of Severe Disability using Smart Phones and EEG Analysis Tools (스마트폰과 뇌파 분석 툴을 이용한 중증장애인 모니터링 시스템)

  • Oh, Se-Bin;Jang, Hyun-woo;Kim, Kwang-beak
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2012.10a
    • /
    • pp.66-68
    • /
    • 2012
  • 본 논문에서는 자체 개발한 Java Platform 기반의 뇌파 분석 도구와 Android 기반의 Mobile 기기를 연계하여 중증 장애인의 상태 및 상황 등을 모니터링 할 수 있는 시스템을 제시한다. 제안된 시스템은 뇌파 측정기, 뇌파 분석 툴(PC Client) 그리고 Mobile 기기(Android)로 크게 3부분으로 구성된다. 뇌파 측정기로부터 수집된 원 주파수에서 저주파 대역의 잡음을 제거하기 위해 고주파 필터를 적용한 후, 적용된 데이터를 주파수 영역에서 분석하기 위해 FFT를 적용한다. FFT를 적용한 데이터를 Power Spectrum 분석 기법을 이용하여 Theta, Delta, Alpha, SMR, Beta 파형의 값을 추출하고, 14 채널의 뇌파 측정 위치에 따른 상관관계 분석기법을 통해 중증 장애인의 상태를 표현한다. 본 논문에서 제안한 방법으로 실험한 결과, 중증 장애인 모니터링 시스템에 효율적으로 적용되는 것을 확인하였다.

  • PDF

Android Log Cat Systems Research for Privacy (개인정보보호를 위한 안드로이드 로그캣 시스템 연구)

  • Jang, Hae-Sook
    • Journal of the Korea Society of Computer and Information
    • /
    • v.17 no.11
    • /
    • pp.101-105
    • /
    • 2012
  • Various social problems through violating personal information and privacy are growing with the rapid spread of smartphones. For this reason, variety of researches and technology developments to protect personal information being made. The smartphone, contains almost all of the personal information, can cause data spill at any time. Collecting or analyzing evidence is not an easy job with forensic analyzing tool. Android forensics research has been focused on techniques to collect and analyze data from non-volatile memory but research for volatile data is very slight. Android log is the non-volatile data that can be collected by volatile storage. It is enough to use as a material to track the usage of the Android phone because all of the recent driven records from system to application are stored. In this paper, we propose a method to respond to determining the existence of personal information leakage by filtering logs without forensic analysis tools.