• 제목/요약/키워드: 대용량자료

검색결과 370건 처리시간 0.023초

대용량 자료와 순차적 자료를 위한 부스팅 알고리즘 (Boosting Algorithms for Large-Scale Data and Data Batch Stream)

  • 윤영주
    • 응용통계연구
    • /
    • 제23권1호
    • /
    • pp.197-206
    • /
    • 2010
  • 본 논문에서는 대용량 자료 혹은 시간에 따라 순차적으로 들어오는 자료의 분류를 위한 부스팅(boosting) 알고리즘을 제안한다. 대용량 자료나 순차적 자료의 경우 분석시 모든 훈련 자료(training data)들을 한번에 이용하기 어려우므로 보통의 부스팅 알고리즘은 적절하지 못하다. 이러한 상황을 극복하기 위해 AdaBoost와 Arc-x4와 같은 부스팅 알고리즘을 수정하여 제안한다. 모의 실험과 실제 자료 분석을 통해 대용량 자료나 순차적 자료에 제안된 알고리즘이 잘 적용됨을 보였다.

대용량 폴리곤 데이터 편집을 위한 자료구조 (A Data Structure for Editing Very Large Polygon Data Set)

  • 권대현;김해동;오광만
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2000년도 추계학술발표논문집
    • /
    • pp.467-470
    • /
    • 2000
  • 이 논문에서는 대용량 3 차원 데이터를 효율적 편집과 실시간 랜더링하는 방법라 자료구조를 제안한다. 3 차원 스캐닝 데이터로부터 만들어지는 대용량 폴리곤 데이터를 사용자 인터페이스를 이용하여 실시간에 편집하기 위한 효율적인 자료·구조를 제안하고, 이를 이용한 포리곤 연산자의 구현 방법 설명하고 있다. 또한, 여기서 제안한 자료구조가 기존 edge 기반 자료구조와의 성능비교를 통해 대용량 메쉬 데이터 편집시스템에 적합한 자료구조임을 보이겠다.

  • PDF

대용량 영상 자료를 활용한 환경지리정보 인트라넷 시스템 개발

  • 이상익;신상희
    • 한국GIS학회:학술대회논문집
    • /
    • 한국GIS학회 2004년도 GIS/RS 공동 춘계학술대회 논문집
    • /
    • pp.349-354
    • /
    • 2004
  • 최근 들어 위성영상 및 항공사진은 국토환경관리에 매우 중요한 수단으로 인식되고 있으며, 이러한 추세에 따라 환경부 및 환경부 산하 기관의 많은 공무원들이 이러한 영상자료를 빠르게 업무에 활용할 수 있는 시스템이 필수적으로 요구되고 있다. 그러나 기존 시스템은 고가의 영상처리소프트웨어를 사용자 PC에 설치한 뒤 이를 이용하여 사용자 개인 컴퓨터에 저장되어 있는 대용량의 영상자료를 처리하여 업무에 활용하는 방식을 택함으로써, 영상자료 유출의 위험성, 소프트웨어의 중복적 구매에 따른 비용증가, 대용량 영상자료의 이동성 감소, 관련 소프트웨어 교육 시간 및 비용 증가 및 대용량 자료 처리에 따른 처리시간 증가 등의 문제를 야기해 왔다. 본 논문에서는 이러한 단점을 극복하고 환경부 공무원의 사용자 활용도를 증가시킨 '대용량 영상자료를 활용한 환경지리정보 인트라넷 시스템'을 개발했다. 본 시스템은 최신 영상 압축 및 전송 기술을 활용하여 영상자료의 물리적 파일 크기에 관계없이 사용자가 원하는 부분만을 압축 전송함으로써 매우 빠른 속도로 사용자가 원하는 지역을 인트라넷을 통해 서비스할 뿐만 아니라, 이렇게 전송된 영상을 웹 상에서 실시간으로 영상처리함으로써 사용자 편의성과 속도를 매우 향상시켰다. 또한 본 시스템은 환경부가 제작한 34종 이상의 벡터 자료와 함께 통합되어 서비스됨으로써 영상자료와 벡터자료의 통합적 활용성을 증가시켰다.용성을 증가시켰다.

  • PDF

고차원 대용량 자료의 시각화에 대한 고찰 (A study on high dimensional large-scale data visualization)

  • 이은경;황나영;이윤동
    • 응용통계연구
    • /
    • 제29권6호
    • /
    • pp.1061-1075
    • /
    • 2016
  • 본 논문에서는 고차원 대용량 자료의 시각화에서 발생할 수 있는 문제점들을 살펴보고 이에 대하여 개발된 방법들에 대하여 논의하였다. 고차원 자료의 경우 2차원 공간상에 표현하기 위하여 중요 변수를 선택해야하며 다양한 시각적 표현 속성과 다면화 방법을 이용하여 좀 더 많은 변수들을 표현할 수 있었다. 또한 관심있는 뷰를 보이는 낮은 차원을 찾는 사영추정방법을 이용할 수 있다. 대용량 자료에서는 점들이 겹쳐지는 문제점을 흩트림과 알파 블렌딩 등을 이용하여 해결할 수 있었다. 또한 고차원 대용량 자료의 탐색을 위하여 개발된 R 패키지인 tabplot과 scagnostics, 그리고 대화형 웹 그래프를 위한 다양한 형태의 R 패키지들을 살펴보았다.

원격탐사위성의 탑재체전송자료 검증을 위한 소프트웨어의 개발

  • 이상택;강효원
    • 천문학회보
    • /
    • 제37권2호
    • /
    • pp.229.1-229.1
    • /
    • 2012
  • 본 논문에서는 탑재체전송자료 검증을 위한 소프트웨어 개발에 관하여 소개하고자 한다. 원격탐사위성에 탑재되는 고성능원격측정센서는 대용량 데이터를 생성하며 탑재체자료전송장치를 통하여 고주파통신에 의해 지상으로 전송된다. 지상으로 전송되는 대용량 데이터는 다양한 통신경로의 외란으로부터 보호 등을 위하여 채널코딩을 수행된다. 또한 대용량 데이터의 실시간 전송을 위하여 압축이 수행되며 보안을 위한 암호화 역시 수행 된다. 본 논문에서는 이러한 탑재체자료를 검증하기 위한 소프트웨어들과 이러한 소프트웨어의 구성 체계등에 관하여 기술하고 있다.

  • PDF

수중음향 데이터베이스 시스템 설계 및 구현 (Design and Implementation of Underwater Acoustic Database System)

  • 정기현;최재용;손석길;도경철;김응범
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (1)
    • /
    • pp.268-270
    • /
    • 1998
  • 수중에서 획득되는 대용량 데이터를 영구 보존하고 효율적으로 관리하기 위한 데이터베이스 시스템을 설계하고 구현하기 위해서는 대용량 데이터 관리, 다양한 저장장치 관리, 효율적 검색 기능, 융통성있는 데이터 타입 지원 등을 고려하여야 한다. 본 논문에서는 해상에서 획득되는 대용량 시험자료를 효율적으로 관리하기 위해 개발된 수주음향 데이터베이스 시스템에 대해서 논한다. 구축된 시스템은 각 시험별로 획득한 원시자료와 다양한 분석기법을 통하여 추출한 분석자료를 저장, 관리, 제공할 목적으로 개발되었으며, 속도를 고려한 효율적 저장방법, 보안 시험별 검색단어 변경 문제 및 분석자료의 다양한 그래픽 제공 등을 고려하여 대용량 CD-쥬크박스를 가진 유닉스 기반의 클라이언트/서버 환경에서 구현하였다.

대용량 자료에 대한 서포트 벡터 회귀에서 모수조절 (Parameter Tuning in Support Vector Regression for Large Scale Problems)

  • 류지열;곽민정;윤민
    • 한국지능시스템학회논문지
    • /
    • 제25권1호
    • /
    • pp.15-21
    • /
    • 2015
  • 커널에 대한 모수의 조절은 서포트 벡터 기계의 일반화 능력에 영향을 준다. 이와 같이 모수들의 적절한 값을 결정하는 것은 종종 어려운 작업이 된다. 서포트 벡터 회귀에서 이와 같은 모수들의 값을 결정하기 위한 부담은 앙상블 학습을 사용함으로써 감소시킬 수 있다. 그러나 대용량의 자료에 대한 문제에 직접적으로 적용하기에는 일반적으로 시간 소모적인 방법이다. 본 논문에서 서포트 벡터 회귀의 모수 조절에 대한 부담을 감소하기 위하여 원래 자료집합을 유한개의 부분집합으로 분해하는 방법을 제안하였다. 제안하는 방법은 대용량의 자료들인 경우와 특히 불균등 자료 집합에서 효율적임을 보일 것이다.

K-모드 알고리즘과 ROCK 알고리즘의 비교 및 개선방안

  • 김보화;김규성
    • 한국통계학회:학술대회논문집
    • /
    • 한국통계학회 2001년도 추계학술발표회 논문집
    • /
    • pp.163-167
    • /
    • 2001
  • 데이터 마이닝에서 분석의 대상으로 하는 대용량 자료에는 연속형 자료와 범주형 자료가 모두 포함된다. 전통적인 군집분석은 연속형 자료를 대상으로 하는 방법들이다. 본 연구에서는 범주형 자료를 대상으로 하는 군집분석방법인 K-모드 알고리즘과 락(ROCK) 알고리즘을 비교${\cdot}$분석하였다. 그리고 두 알고리즘이 갖는 방법론적인 단점을 보안하여 군집의 효과를 높일 수 있는 개선 방안을 제안하였다.

  • PDF

대용량 해상시험자료 데이터베이스 시스템 설계 및 구현 (Design and Implementation of the Massive Underwater Acoustic Database System)

  • 정기현;최재용;도경철;김응범
    • 한국정보처리학회논문지
    • /
    • 제6권8호
    • /
    • pp.2020-2030
    • /
    • 1999
  • 해상시험에서 획득되는 자료는 함정 1척당 53GB 정도의 대용량으로 고가이며, 재현이 불가능하므로 체계적인 관리가 요구된다. 본 논문에서는 각 시험별로 획득, 관리되어오던 대용량 원시자료와 다양한 분석기법을 통하여 추출한 분석자료를 통합하여 장기간 저장함과 동시에 체계적으로 관리, 제공할 목적으로 개발되어 운용중인 해상시험자료 데이터베이스 시스템에 대해서 논한다. 대용량 CD-쥬크박스를 자진 유닉스 서버와 윈도우 환경의 클라이언트로 구성된 시스템으로 현재 입력된 6003개의 검색건수를 이용하여 클라이언트/서버 각각에 대해서 성능 평가를 수행한다.

  • PDF

천문학에서의 대용량 자료 분석 (Analysis of massive data in astronomy)

  • 신민수
    • 응용통계연구
    • /
    • 제29권6호
    • /
    • pp.1107-1116
    • /
    • 2016
  • 최근의 탐사 천문학 관측으로부터 대용량 관측 자료가 획득되면서, 기존의 일상적인 자료 분석 방법에 큰 변화가 있었다. 고전적인 통계적인 추론과 더불어 기계학습 방법들이, 자료의 표준화로부터 물리적인 모델을 추론하는 단계까지 자료 분석의 전 과정에서 활용되어 왔다. 적은 비용으로 대형 검출 기기들을 이용할 수 있게 되고, 더불어서 고속의 컴퓨터 네트워크를 통해서 대용량의 자료들을 쉽게 공유할 수 있게 되면서, 기존의 다양한 천문학 자료 분석의 문제들에 대해서 기계학습을 활용하는 것이 보편화되고 있다. 일반적으로 대용량 천문학 자료의 분석은, 자료의 시간과 공간 분포가 가지는 비 균질성 때문에 야기되는 효과를 고려해야 하는 문제를 가진다. 오늘날 증가하는 자료의 규모는 자연스럽게 기계학습의 활용과 더불어 병렬 분산 컴퓨팅을 필요로 하고 있다. 그러나 이러한 병렬 분산 분석 환경의 일반적인 자료 분석에서의 활용은 아직 활발하지 않은 상황이다. 천문학에서 기계학습을 사용하는데 있어서, 충분한 학습 자료를 관측을 통해 획득하는 것이 어렵고, 그래서 다양한 출처의 자료를 모아서 학습 자료를 수집해야 는 것이 일반적이다. 따라서 앞으로 준 지도학습이나 앙상블 학습과 같은 방법의 역할이 중요해 질 것으로 예상된다.