• Title/Summary/Keyword: 데이터 확장성 문제

Search Result 425, Processing Time 0.031 seconds

A system for simplifying large-scale household waste (household appliances, furniture, etc.) using data analysis (데이터 분석을 활용한 생활 대형 폐기품(가전, 가구 등) 간소화 시스템)

  • Oh, Jieun;Kang, Woo-Il;Kim, Ga-Hee;Kim, Ji-Hyeon;Kim, Chae-min
    • Annual Conference of KIPS
    • /
    • 2022.11a
    • /
    • pp.1025-1027
    • /
    • 2022
  • 도시화가 급속도로 진행됨에 따라서 일상생활에서 생활폐기물의 관리와 처리에 대한 문제가 심각해지고 있다. 이 문제를 해결하고자 어플리케이션을 통해 생활폐기물 처리를 쉽게 할 수 있는 시스템을 제안한다. '싹처리'는 편리성, 정확성, 확장성, 수익성을 가지고 (중)대형 생활 폐기물 처리하는 딥러닝 어플리케이션이다. 어플리케이션 내의 저장된 딥러닝 과정으로 학습되어진 생활폐기물 분류 모델을 통해 폐기물 사진을 자동 인식하는 과정으로 누구나 쉽게 폐기물 배출을 신청할 수 있다. 정확한 딥러닝 알고리즘과 전이학습, 데이터 검수 등을 통해 높은 성능의 사물 자동 인식을 할 수 있다. 이 시스템을 통해 임산부, 장애인, 독거노인 등의 사회적 약자는 불필요한 과정 없이 손쉽게 폐기물을 처리할 수 있고, 더 나아가 중고시장의 활성화에 기여할 수 있는 가치가 있다.

Finding Frequent Route of Taxi Trip Events Based on MapReduce and MongoDB (택시 데이터에 대한 효율적인 Top-K 빈도 검색)

  • Putri, Fadhilah Kurnia;An, Seonga;Purnaningtyas, Magdalena Trie;Jeong, Han-You;Kwon, Joonho
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.4 no.9
    • /
    • pp.347-356
    • /
    • 2015
  • Due to the rapid development of IoT(Internet of Things) technology, traditional taxis are connected through dispatchers and location systems. Typically, modern taxis have embedded with GPS(Global Positioning System), which aims for obtaining the route information. By analyzing the frequency of taxi trip events, we can find the frequent route for a given query time. However, a scalability problem would occur when we convert the raw location data of taxi trip events into the analyzed frequency information due to the volume of location data. For this problem, we propose a NoSQL based top-K query system for taxi trip events. First, we analyze raw taxi trip events and extract frequencies of all routes. Then, we store the frequency information into hash-based index structure of MongoDB which is a document-oriented NoSQL database. Efficient top-K query processing for frequent route is done with the top of the MongoDB. We validate the efficiency of our algorithms by using real taxi trip events of New York City.

The Global String Table based Encapsulation Method of XML Metadata for Smart TV (스마트 TV를 위한 전역 문자열 테이블 기반의 효율적인 XML 메타데이터 캡슐화 구조)

  • Oh, Bong-Jin
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06d
    • /
    • pp.351-353
    • /
    • 2012
  • 최근에 XML은 가독성과 확장성이란 장점 때문에 IPTV나 스마트 TV에서 서비스나 콘텐츠 정보 표현 및 검색을 위한 기술로 많이 사용되고 있다. 특히 TV-Anytime에서 정의한 스키마나 전송 프로토콜을 기본 규격으로 채택하고 필요한 기능을 수용하기 위하여 규격을 확장하는 경향을 보이고 있다. 그러한 장점에도 불구하고 XML은 텍스트 기반으로 정보를 표현함으로써 정보의 양이 커진다는 문제가 존재하고 이를 위하여 다양한 인코딩 방식이 제공되고 있다. 그러나 전송과정에서 문서를 독립된 조각으로 단편화하여 블록단위로 캡슐화하는 과정을 거치면서 인코딩 효율이 급격하게 떨어지게 되는 문제가 발생한다. 본 논문에서는 XML 문서를 캡슐화하는 과정에서 단편화를 통해 감소되는 인코딩 효율을 보완할 수 있는 블록 단위의 문자열 테이블 방식을 제안하고 실험을 통한 성능 분석을 제공하였다.

A Design of the Task Scheduling using a Extended Genetic Algorithm in Parallel Processing Systems (병렬 처리 시스템에서 확장된 유전자 알고리즘을 이용한 태스크 스케줄링 설계)

  • Park, Weol-Seon;Youn, Sung-Dae
    • Annual Conference of KIPS
    • /
    • 2001.10a
    • /
    • pp.279-282
    • /
    • 2001
  • 병렬프로그램을 멀티프로세서로 스케줄링하는 문제의 해를 구하기 위하여 본 논문에서는 확장된 유전자 알고리즘을 적용한다. 확장된 유전자알고리즘인 MSEGA는 각 노드의 선행관계에 관한 휴리스틱한 정보와 간단한 일차원 배열구조가 통합된 염색체 코딩방법과 염색체 구성인자 중 우성 유전인자의 형질을 다음세대로 존속시키는 교배연산자와 프로세서 효율성이 고려된 평가 함수등으로 순서제약이 있는 병렬프로그램 스케줄링 문제 및 FFT(Fast Fourier Transform)형태의 데이터 흐름도상에서 관련 연구 중 Hou의 유전자 알고리즘과 BEA(binary-exchange algorithm)에 의한 스케줄링 결과보다 전체실행시간에 있어 HSEGA에 의한 스케줄링이 더 우수함을 보였다.

  • PDF

Gender Bias Mitigation in Gender Prediction Using Zero-shot Classification (제로샷 분류를 활용한 성별 편향 완화 성별 예측 방법)

  • Yeonhee Kim;Byoungju Choi;Jongkil Kim
    • Annual Conference of KIPS
    • /
    • 2024.05a
    • /
    • pp.509-512
    • /
    • 2024
  • 자연어 처리 기술은 인간 언어의 이해와 처리에서 큰 진전을 이루었으나, 학습 데이터에 내재한 성별 편향이 모델의 예측 정확도와 신뢰성을 저하하는 주요한 문제로 남아 있다. 특히 성별 예측에서 이러한 편향은 더욱 두드러진다. 제로샷 분류 기법은 기존에 학습되지 않은 새로운 클래스를 효과적으로 예측할 수 있는 기술로, 학습 데이터의 제한적인 의존성을 극복하고 다양한 언어 및 데이터 제한 상황에서도 효율적으로 작동한다. 본 논문은 성별 클래스 확장과 데이터 구조 개선을 통해 성별 편향을 최소화한 새로운 데이터셋을 구축하고, 이를 제로샷 분류 기법을 통해 학습시켜 성별 편향성이 완화된 새로운 성별 예측 모델을 제안한다. 이 연구는 다양한 언어로 구성된 자연어 데이터를 추가 학습하여 성별 예측에 최적화된 모델을 개발하고, 제한된 데이터 환경에서도 모델의 유연성과 범용성을 입증한다.

Enhancement of Xcast far Supporting Few-to-Few Multicast (Few-to-Few 멀티캐스트를 위한 Xcast 확장 방안)

  • 김기일;서정현;김상하
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10c
    • /
    • pp.367-369
    • /
    • 2001
  • Explicit Multicast (Xcast)[1]은 기존의 Any Source Multicast (ASM)이 라우터에서 멀티캐스트 라우팅을 위하여 상태 정보를 갖아야만 한다는 문제점을 해결하기 위하여 제안된 메커니즘이다. Xcast는 이러한 상태 정보를 전송하려는 패킷의 헤더에 삽입함으로써 확장성 문제를 해결하였다. 하지만, 현재 제안되고 있는 Xcast는 데이터 측면에서의 라우팅 방법에 대한 설명만 존재할 뿐 제어 측면에 대한 언급은 존재하지 않게 된다. 이에 관련하여 Xcast+[2]가 제안되고는 있지만 Xcast+의 경우에는 단순히 일-대-소수 전송만을 지원하고 있다. 따라서. Xcast론 소수-대-소수 전송에 적용시키기 위해서는 향상된 새로운 메커니즘이 필요하다. 본 논문은 Xcast를 소수-대-소수에 적용시키기 위하여 Xcast Server틀 송신자의 Designated Router (DR)라우터에 적용하는 방법을 제안한다. Xcast 서버는 각 그룹 정보와 함께 그룹 참가자에 대한 정보를 유지함으로써 작은 그룹의 멀티캐스트를 효율적으로 지원할 수 있다. 본 메커니즘은 Xcast 서버와 각 참가자 사이의 제어 측면을 위한 프로토콜에 관한 것이며 데이터 라우팅은 원래의 Xcast와 같은 방법을 사용하게 된다.

  • PDF

Evaluation of Sentimental Texts Automatically Generated by a Generative Adversarial Network (생성적 적대 네트워크로 자동 생성한 감성 텍스트의 성능 평가)

  • Park, Cheon-Young;Choi, Yong-Seok;Lee, Kong Joo
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.8 no.6
    • /
    • pp.257-264
    • /
    • 2019
  • Recently, deep neural network based approaches have shown a good performance for various fields of natural language processing. A huge amount of training data is essential for building a deep neural network model. However, collecting a large size of training data is a costly and time-consuming job. A data augmentation is one of the solutions to this problem. The data augmentation of text data is more difficult than that of image data because texts consist of tokens with discrete values. Generative adversarial networks (GANs) are widely used for image generation. In this work, we generate sentimental texts by using one of the GANs, CS-GAN model that has a discriminator as well as a classifier. We evaluate the usefulness of generated sentimental texts according to various measurements. CS-GAN model not only can generate texts with more diversity but also can improve the performance of its classifier.

One-class Least Square Support Vector Machines (단일부류 최소제곱 서포트 벡터 머신)

  • 우상호;이성환
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.10d
    • /
    • pp.559-561
    • /
    • 2002
  • 서포트 벡터 머신은 얼굴인식이나 문자인식과 같은 다양한 패턴인식 문제에서 좋은 성능을 보여준다. 그러나 이러한 문제는 Quadratic Programming(QP) 문제에 관하여 몇 가지 단점을 가지고 있다. 일반적으로 대용량의 QP 문제를 해결하기 위해 많은 계산비용이 요구되며, QP 기반 시스템을 효과적으로 구현하는 것이 쉽지 않은 문제이다. 또한 대규모 데이터의 처리 시에는 입출력을 맞추기 또한 쉽지 않은 단점이 있다. 본 논문에서는 위의 단점을 극복하기 위하여 단일부류 문제를 최소제곱 서포트 벡터 머신을 기반으로 하여 해결하였다. 제안한 방법은 QP 문제를 해결하는 과정이 없이 단일부류 문제를 표현하여 최소제곱 방법을 이용하는 알고리즘이다. 제안된 방법으로 쉽고, 계산 비용을 줄이는 결과를 얻었다. 또한 서포트 벡터 영역 표식자에 확장 적용하여 선형방정식으로 구현하여, 문제를 해결하였다. 제안된 방법의 효율성을 입증하기 위하여 패턴인식 분야 중에 얼굴 인증 방법과 바이오인포매틱스 분야 중에 전립선 암 분류 문제에 적용하였다. 우리의 실험결과는 적합한 성능과 좋은 Equal Error Rate(EER)를 보여준다. 제안된 방법은 알 수 없는 물체의 분류 방법의 효율성을 증대시켰고, 실시간 응용분야에 직접적으로 적용될 수 있을 것으로 기대 된다.

  • PDF

Introduction of Design Framework for Multidisciplinary Design Optimization (다분야통합최적설계를 위한 설계프레임웍의 소개)

  • 이세정;최동훈
    • Computational Structural Engineering
    • /
    • v.17 no.3
    • /
    • pp.14-21
    • /
    • 2004
  • MDO프레임웍은 설계 작업을 통합적으로 관리하고 자동화하여 설계도구 간의 데이터 전달과 변환에 소요되는 설계자의 부담을 경감시키며 다분야 전문가가 참여하는 협동설계 환경을 제공함으로써 다분야를 동시에 고려한 효율적 설계를 지원한다. 이번 글에서는 이러한 MDO프레임웍으로 개발된 EMDIOS를 소개하고, 그 개발 배경과 타당성을 개략적으로 제시하였다. EMDIOS는 분산 환경을 제공하고, 데이터베이스와 연계되어 정의된 문제와 문제 풀이 절차를 저장하고 실행시 발생하는 데이터들을 체계적으로 관리하는 구조를 갖는다. MDO문제 해결에 필요한 도구들은 모두 소프트웨어 컴포넌트로 구성 및 기술되어 컴포넌트 등록기에 등록되어 저장된다. 등록된 컴포넌트는 GUI기반의 MDO커널에 의하여 검색되고 MDO문제해결 절차의 구성 요소가 된다. 구성된 문제 해결을 위한 실행은 컴포넌트 서비스 에이전트에 의하여 이루어진다. EMDIOS는 새로운 설계도구를 EMDIOS에 쉽게 통합하여 사용할 수 있도록 공통적으로 구현될 수 있는 부분을 구현한 추상 클래스와 이로부터 필요한 인터페이스를 생성할 수 있는 인터페이스 제조기를 제공함으로써 확장성과 개방성을 제공한다. 제시된 MDO 프레임웍의 사용자 인터페이스는 가장 많은 사용자를 확보하고 있는 윈도우 환경에서 Visual C++를 이용하여 개발되고 있으며, 다양한 OS환경에서 작동되어야 하는 래퍼는 JAVA로 개발하였다. 현재 개발된 EMDIOS는 다양한 벤치 마크 테스트 중이며 올해 9월이후에는 일반에게도 공개할 수 있는 프레임웍으로써 모습을 갖출 것으로 보인다.

Design and Implementation of Real-Time Teleconferencing System using the Simplified Resource Reservation on Real-Time CORBA Supporting RIOP (RIOP를 이용한 실시간 CORBA 상에서의 단순화된 자원예약 메커니즘을 이용한 실시간 화상회의 시스템의 설계 및 구현)

  • Hyeon, Ho-Jae;Hong, Seong-Jun;Han, Seon-Yeong
    • The Transactions of the Korea Information Processing Society
    • /
    • v.6 no.7
    • /
    • pp.1897-1908
    • /
    • 1999
  • Multimedia services(i.e. teleconferencing and Video on demand) have been developed on MBone. The video and audio data of them require Real-Time service using QoS(Quality of Service) guarantees. RSVP(Resource reSerVation Protocol) on the Internet has been suggested to support QoS guarantees. But currently, it has two problems : complexity and scalability. To solve these problems, this paper describes the design and implement of teleconferencing system with QoS guarantees by simplifying the resource reservation processing to solve the RSVP's complexity and scalability.

  • PDF