• 제목/요약/키워드: 중복 데이터

검색결과 1,022건 처리시간 0.036초

수출입 컨테이너화물 통합데이터베이스 구축

  • 최형림;김현수;박남규;박영재;김성훈;이현철
    • 한국전자거래학회:학술대회논문집
    • /
    • 한국전자거래학회 1999년도 종합학술대회발표논문집
    • /
    • pp.408-416
    • /
    • 1999
  • 우리 나라의 수출입은 대부분 항만을 통해서 이루어지고 있으나 수출입 전체적인 흐름에서의 정보교환이 원활히 이루어지고 있지 않아 육상물류와 해상물류와의 정보흐름이 단절되어 육상물류부문에서 생겨나는 원천정보를 활용할 수 없다. 또한 각 선사를 비롯한 해운대리점과 관련업계, 그리고 정부기관들이 독자적인 데이터베이스를 보유하고 있어 정보의 중복성, 불일치성 등이 문제점으로 지적되고 있다. 그리고 물류망의 경우 망업자라는 한계와 독자적인 데이터베이스를 보유하지 못함으로써 항만관련업자나 기관들에 보다 유익한 정보를 제공 하지 못하고 있다. 이에 본 논문에서는 우리 나라의 수출입 물동량 중 가장 비중이 높은 컨테이너 화물을 대상으로 수출입 컨테이너화물의 모든 정보를 원천지에서부터 입수하여 이를 통합 관리하여 저장함으로써 육상과 해상의 정보흐름을 유연하게 연계시킴은 물론 데이터의 불일치, 중복성 등과 같은 문제를 해결하고자 하였다. 본 연구에서 구축 된 통합데이터베이스 시스템은 컨테이너화물의 수출입과정에서 발생하는 모든 정보를 활용할 수 있도록 이들을 거시적인 관점에서 구조화하였으며, 또한 수출입상의 EDI 업무를 지원하기 위해 통합데이터베이스의 데이터와 코드를 설계하였다. 마지막으로 이러한 정보를 실시간으로 제공하고 사용자의 접근성을 높임과 동시에 사용자에게 비용의 부담을 줄일 수 있도록 웹을 기반으로 하여 모든 정보의 입력과 조회 및 정보의 교환이 가능하도록 하였다.

  • PDF

클라우드 기반 R&D 연구 보고서 문서표절 및 유사도 검출 시스템 (R&D Redundancy and Similarity Check System)

  • 신효정;박기흥;허덕행
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2016년도 제53차 동계학술대회논문집 24권1호
    • /
    • pp.31-32
    • /
    • 2016
  • 최근 정부의 R&D 연구에 대한 지원 규모 증가로 인해 전국가적으로 활발하게 기술 연구가 진행되고 있지만 예산을 집행하는 과정에서 기술 연구개발 과제의 중복연구로 시간과 예산을 낭비하는 사례를 노출하고 있다. 이와 같은 문제점을 해결하기 위해서는 정부 R&D 과제 선정과정에서 연구주제의 중복성 방지 등 근원적 혁신이 필요하다. 본 논문에서는 텍스트 마이닝 기술 및 빅데이터 분석 기술(하둡, 아마존 웹 서비스)과 같은 데이터 분석 기술이 도입된 클라우드 기반 R&D 연구 보고서 문서표절 및 유사도를 검출하는 시스템을 제안한다. 본 시스템은 SaaS 형태의 "on-demand software"로 웹 접속만으로 사용이 가능하다.

  • PDF

시계열 서브시퀀스 매칭에서 발생하는 성능 병목의 효과적인 해결 방안 (Effective Resolving of the Performance Bottleneck in Time-Series Subsequence Matching)

  • 김상욱;오세봉
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (A)
    • /
    • pp.530-532
    • /
    • 2003
  • 서브시퀀스 매칭은 주어진 질의 시퀀스와 변화의 추세가 유사한 서브시퀀스들을 시계열 데이터베이스로부터 검색하는 연산이다. 본 논문에서는 서브시퀀스 매칭 처리의 성능 병목을 파악하고, 이를 해결함으로써 전체 서브시퀀스 매칭의 성능을 크게 개선하는 방안에 관하여 논의한다. 먼저, 사전 실험을 통하여 후처리 단계가 서브시퀀스 매칭의 성능 병목이며, 후처리 단계의 최적화가 기존의 서브시퀀스 매칭 기법들이 간과한 매우 중요한 이슈임을 지적한다. 이러한 서브시퀀스 매칭의 성능 병목을 해결하기 위하여 후처리 단계를 최적으로 처리할 수 있는 간단하면서도 매우 효과적인 기법을 제안한다. 제안된 기법은 후처리 단계에서 후보 서브시퀀스들이 질의 시퀀스와 실제로 유사한가를 판단하는 순서를 조정함으로써 기존의 후처리 단계의 처리에서 발생하는 많은 디스크 액세스의 중복과 CPU 처리의 중복을 완전히 제거할 수 있다. 실제 데이터와 생성 데이터를 이용한 다양한 실험들을 통하여 제안된 기법의 성능 개선 효과를 정량적으로 검증한다.

  • PDF

수출입 컨테이너화물 통합데이터베이스 구축

  • 최형림;김현수;박남규;박영재;김성훈;이현철
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 1999년도 추계학술대회논문집
    • /
    • pp.207-215
    • /
    • 1999
  • 우리 나라의 수출입은 대부분 항만을 통해서 이루어지고 있으나 수출입 전체적인 흐름에서의 정보교환이 원활이 이루어지고 있지 않아 육상물류와 해상물류와의 정보흐름이 단절되어 육상물류에서 생겨나는 원천정보를 활용할 수 없다. 또한 각 선사를 비롯한 해운대리점과 관련업계, 그리고 정부기관들이 독자적인 데이터베이스를 보유하고 있어 정보의 중복성, 불일치성 등이 문제점으로 지적되고 있다. 그리고 물류망의 경우 망업자라는 한계와 독자적인 데이터베이스를 보유하지 못함으로써 항만관련업자나 기관들에 보다 유익한 정보를 제공하지 못하고 있다. 이에 본 논문에서는 우리 나라의 수출입 물동량 중 가장 비중이 높은 컨테이너 화물을 대상으로 수출입 컨테이너화물의 모든 정보를 원천지에서부터 입수하여 이를 통합 관리하여 저장함으로써 육상과 해상의 정보흐름을 유연하게 연계시킴은 물론 데이터의 불일치. 중복성 등과 같은 문제를 해결하고자 하였다. 본 연구에서 구축된 통합데이터베이스 시스템은 컨테이너화물의 수출입과정에서 발생하는 모든 정보를 활용할 수 있도록 이들을 거시적인 관점에서 구조화하였으며, 또한 수출입상의 EDI 업무를 지원하기 D NL해 통합 데이터베이스의 데이터와 코드를 설계하였다. 마지막으로 이러한 정보를 실시간제공하고 사용자의 접근성을 높임과 동시에 사용자에게 비용의 부담을 줄일 수 있돌고 웹을 기반으로 하여 모든 정보의 입력과 조회 및 정보의 교환이 가능하도록 하였다.

국민 청원 유사 글 분류 및 답변 받을 청원 예측 (Classification of similar national petitions and prediction of answerable petitions)

  • 박성아;우지영
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
    • /
    • pp.37-39
    • /
    • 2021
  • 청와대 국민 청원 게시판은 중복되는 국민 청원글과 20만 이상의 동의를 받았지만 관리자의 검토로 인해 답변이 지연되는 청원글들이 존재한다. 이는 중복 청원으로 인해 청원 동의 인원이 분산되고 답변이 지연되는 문제로 인해 국민들의 불만을 일으킨다. 따라서, 유사한 청원글을 분류하고 동일한 청원 참여 기간 내 유사한 청원글 수를 기반으로 20만 명 이상의 동의를 받을 청원 예측 모델을 구축하였다. 본문 내용만을 LSTM 모델에 적용했을 때 68%의 정확도, 20만 명 이상의 동의를 받은 청원 글에 대해서는 Precision 60%, F1-score 60%이었으나 청원 동의 가능 기간 내 유사한 글의 개수, 본문 길이, 제목의 길이를 추가하였을 때 모델은 74%의 정확도와 20만 명 이상의 동의를 받은 청원 글에 대해 74%의 Precision, 70%의 F1-score로 본문 내용만으로 학습한 모델보다 예측력이 더 높았다.

  • PDF

Ad-Hoc 네트워크에서의 간단한 CBT 기반의 Overlay 멀티캐스트 프로토콜 (A Simple CBT-Based Overlay Multicast Protocol for Ad-Hoc Networks)

  • 양기선;이원준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 춘계학술발표논문집 (중)
    • /
    • pp.1393-1396
    • /
    • 2003
  • 멀티캐스트 그룹의 멤버들만으로 트리를 구성하는 Overlay 멀티캐스트 프로토콜인 AMRoute은 이동이 빈번한 Ad hoc 네트워크 환경에서 중간 라우터의 이동에 대한 트리의 견고함으로 높은 데이터 전송을 제공하는 장점이 있으나, 네트워크의 변동으로 인하여 중복되는 전송 경로가 발생하여 대역폭이 낭비되는 효율성 문제를 가지고 있다. 본 논문에서는 기존의 AMRoute 제어 메시지에 각 멤버의 메쉬 링크 상태 정보가 추가된 제어 메시지를 통하여 멤버간에 장치 상태를 교환함으로써 AMRoute에서의 중복되는 전송 경로를 제거하여 대역폭의 낭비를 줄이는 방안을 제안한다. 본 논문에서 제안한 방안은 기존의 제어 메시지를 활용함으로써 적은 오버헤드로 새로운 메쉬 링크를 발견하여 기존의 AMRoute의 중복되는 전송 경로로 인한 대역폭의 낭비를 줄여 멀티캐스트의 성능을 향상시키는 효과를 기대할 수 있다.

  • PDF

웨이브릿 변환과 선택적 예측 벡터 양자화를 이용한 인공위성 화상데이터의 부호화 (Satellite Image Data Coding Using Wavelet Transform and Selectively Predictive Vector Quantization)

  • 반성원;김병주;김경규;정원식;김영춘;신용달;김건일
    • 전자공학회논문지S
    • /
    • 제36S권4호
    • /
    • pp.38-44
    • /
    • 1999
  • 본 논문에서는 웨이브릿 변환과 선택적 예측 벡터양자화를 이용한 인공위성 화상데이타 부호화 방법을 제안하였다. 이 방법에서는 대역내 중복성을 제거하기 위하여 각각의 대역을 웨이브릿 변환하고, 대역간 중복성을 제거하기 위해 에측하는 대역으로부터 생성된 임계치 지도를 이용하여 선택적 예측 벡터양자화를 행한다. 따라서 이 방법은 대역내 및 대역간 중복성을 효과적으로 제거하기 때문에 부호화 효율을 향상시킨다. 이 방법을 실제 Landsat TM 인공위성 화상데이타에 실험한 결과 기존의 방법에 비하여 부호화 효율이 향상됨을 확인하였다.

  • PDF

맵리듀스를 이용한 다중 조인의 효율적인 처리 기법 (Efficient Processing of Multi-Way Joins using MapReduce)

  • 최연정;박진경;이기용
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 추계학술발표대회
    • /
    • pp.779-782
    • /
    • 2014
  • 맵리듀스(MapReduce)는 대용량 데이터의 병렬 처리에 사용되는 프로그래밍 모델이다. 조인(join)은 둘 이상의 테이블에서 동일한 애트리뷰트 값을 가지는 레코드들을 결합하는 연산으로, 데이터베이스 분야에서 가장 중요한 연산 중 하나이다. 본 논문은 맵리듀스를 이용하여 다중 조인(multi-way)을 효율적으로 처리하는 방법을 제안한다. n개 테이블의 다중 조인을 처리하기 위해 기존 방법은 2-way 조인을 수행하는 맵리듀스 잡을 (n-1)번 수행하거나, 레코드들을 중복시켜 n개 테이블의 조인을 1 개의 맵리듀스 잡으로 한 번에 처리한다. 하지만 전자는 맵리듀스 잡을 (n-1)번 수행해야 하며, 후자는 레코드들을 상당히 많이 중복시켜야 한다는 단점이 있다. 본 논문은 레코드를 전혀 중복시키지 않고도 ${\lceil}{\log}_2n{\rceil}$개의 맵리듀스 잡만으로 다중 조인을 효율적으로 처리하는 방법을 제안한다. 실험을 통해 제안 방법은 기존 방법에 대해 다중 조인을 더 빠르게 처리함을 보인다.

Fast PMIPv6 멀티캐스트 핸드오버 절차에서 중복패킷 전송 방지 기법 제안 (Redundant Packet Transmission Control in Fast PMIPv6 Multicast Handover)

  • 김준호;박창용;손민한;추현승
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.580-582
    • /
    • 2012
  • 네트워크 기반의 이동성 관리 프로토콜인 PMIPv6(Proxy Mobile IPv6)에서 방송이나 비디오 스트리밍과 같은 서비스를 제공할 때 멀티캐스트 방식을 이용하여 데이터 패킷을 전송하는 기법이 제안되었다. 제안되었던 기법은 MN(Mobile Node)이 핸드오버할 때 nMAG(new Mobile Access Gateway) 내에 같은 멀티캐스트 멤버인 또 다른 MN이 존재할 경우를 고려하지 않았다. 본 논문에서는 같은 멀티캐스트 멤버인 MN이 존재할 경우 버퍼링된 패킷들의 중복 전송을 막는 기법에 대해 제안한다. 이 후 MN이 nMAG로 핸드오버했을 때 같은 멀티캐스트 멤버를 가진다면 버퍼링된 패킷을 현재 핸드오버한 MN에만 포워딩하여 중복 전송되는 것을 방지한다.

의사결정 트리 앙상블을 구축하기 위한 상관성 기반 기법을 이용한 속성 중복성 제거 (Removing the Feature Redundancy using Correlation-Based Approach for Decision Tree Ensemble)

  • 박영준;박명호;손호선;류근호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 추계학술발표대회
    • /
    • pp.1229-1231
    • /
    • 2011
  • 대량의 분류 규칙 탐사 과정은 앙상블기법을 사용하여 다양한 연구들이 이루어지고 있다. 본 논문에서는 의사결정 트리의 분열 문제와 singleton 포함 한계를 해결하기 위하여 Cascading-and-Sharing 앙상블 기법을 적용하여 점진적 다중 의사결정 트리를 구축하였다. 또한 분류의 정확도를 향상시키고, 트리의 복잡도와 모델 과잉접합을 피하기 위하여 다중 트리 구축과정에서 선형 상관분석기법을 기반으로 훈련 데이터 속성들의 중복성을 제거하였다. 실험 결과, 속성들의 중복성을 제거하여 구축한 트리들은 원래 기법보다 더 좋은 결과를 보여주었다.