• 제목/요약/키워드: 대용량의 점데이터

검색결과 130건 처리시간 0.024초

멀티 클라우드 렌더링을 위한 분산 파일 시스템 개발 (Development of a Distributed File System for Multi-Cloud Rendering)

  • 반효경;조경운
    • 한국인터넷방송통신학회논문지
    • /
    • 제23권1호
    • /
    • pp.77-82
    • /
    • 2023
  • 최근 렌더링을 위한 플랫폼으로 멀티 클라우드 환경이 주목받고 있다. 이는 렌더링의 연산량이 시간에 따라 변동 폭이 큰 반면 각 렌더링 작업은 독립적으로 수행될 수 있기 때문이다. 그러나, 멀티 클라우드 렌더링은 대용량의 렌더링 입력 데이터에 대한 일관성을 유지하면서 실시간으로 데이터를 전송해야 하는 어려운 점이 존재한다. 본 논문에서는 멀티 클라우드 렌더링을 위한 새로운 분산 파일 시스템을 개발하였다. 개발된 파일 시스템은 로컬 머신에 파일 서버를 두어 렌더링 입력 파일에 대한 버전을 관리하고, 클라우드에 캐쉬 관리자를 두어 파일의 버전을 고려한 분산 협력 캐슁을 수행한다. 렌더링 워크로드를 이용한 실측 실험을 통해 개발된 파일 시스템이 NFS 대비 745%의 I/O 처리율을 나타내는 것을 확인했으며, 업로드 방식과 비교할 때 평균 56%의 실행시간 개선이 있는 것으로 확인되었다.

효과적인 포인트 클라우드 기반 건축 MEP 파이프 객체 역설계 처리를 위한 시스템 아키텍처 (System Architecture for Effective Point Cloud-based Reverse Engineering of Architectural MEP Pipe Object)

  • 강태욱
    • 한국산학기술학회논문지
    • /
    • 제15권9호
    • /
    • pp.5870-5876
    • /
    • 2014
  • 본 연구의 목적은 효과적인 건축 MEP(Mechanic, Electric and Plumbing) 파이프 객체 역설계 자동화를 위한 시스템 아키텍처를 제안하고, 프로토타입 개발을 통해 역설계 기술에서 향후 개선할 점을 도출하는 것이다. 이를 위해 역설계 작업에 필요한 요구사항, 유스케이스, 기능 및 클래스를 도출하였다. 도출된 기능을 바탕으로 건축 MEP파이프 객체 역설계를 위한 아키텍처를 설계하였으며, 시스템의 정적 구조, 알고리즘을 설계하였다. 제안된 시스템 아키텍처를 기반으로 한 프로토타입 개발 연구를 통해 향후 개선할 점을 도출하였으며, 일반적인 파이프 유형은 RANSAC(RANdom SAmple Consensus)등 일반적인 역설계 방법으로 처리가 가능하지만, 이형 파이프와 대용량 데이터 처리를 위한 공간 인덱싱 기반 LOD(Level Of Detail)기법이 별도로 고려될 필요가 있다는 것을 확인하였다.

항공 라이다 데이터의 분할: 점에서 패치로 (Segmentation of Airborne LIDAR Data: From Points to Patches)

  • 이임평
    • 한국측량학회지
    • /
    • 제24권1호
    • /
    • pp.111-121
    • /
    • 2006
  • 최근 들어 항공 라이다 데이터를 도시모델링에 활용하려는 많은 연구들이 진행되고 있다. 도시모델을 구성하는 인공 구조물을 효율적으로 추출하기 위해서는 측정된 3차원 점의 집합으로부터 평면패치를 자동으로 추출하는 것이 중요하다. 평면 패치의 자동 추출에 대한 상당한 연구가 수행되었지만 아직도 추출의 정확도와 완전성 및 계산의 효율성 측면에서 만족할 만한 결과를 얻지 못하고 있다. 이에 본 연구는 항공 라이다 측량으로 취득된 3차원 점의 집합을 자동으로 분할하여 표면패치를 구성하는 효율적인 방법의 개발을 목표로 한다. 제안된 방법은 3차원 점간의 인접성을 수립하고, 소량의 인접점을 그룹핑하여 초기패치를 생성하고, 이를 성장시켜 표면패치를 생성하는 과정으로 구성된다. 제안된 방법은 패치를 성장시키는 과정에서 통계적 분석에 기반하여 가변적으로 설정되는 임계값을 이용하여 분할 결과의 질을 향상시키고, Priority Heap과 순차적최소제곱법에 기반한 효율적인 계산 방법을 사용하였다는 점이 특징적이다. 제안된 방법을 다양한 실측 라이다 데이터에 적용하여 성능을 검증하였다. 제안한 분할 방법을 통해 대용량 3차원 점으로 구성되는 라이다 데이터는 명시적이고 강인한 표현 형태인 표면 패치의 집합으로 변환될 수 있었다. 이러한 중간 변환 과정을 통해 빌딩 추출과 같은 객체 인식의 문제를 효과적으로 해결할 수 있다.

수치지형도를 이용한 DEM 자동 생성 기법의 개발 (Development of an Automatic Generation Methodology for Digital Elevation Models using a Two-Dimensional Digital Map)

  • 박찬수;이성규;서용철
    • 한국지리정보학회지
    • /
    • 제10권3호
    • /
    • pp.113-122
    • /
    • 2007
  • 최근 항공측량과 위성정보 기술의 급속한 발전은 방대한 지리정보 데이터의 신속한 취득을 가능케 하고 있다. 취득된 지리정보를 정확하게 표현하고 분석하기 위해서는 대용량 데이터를 실시간으로 시각화하는 기술을 필요로 하며, 실시간 시각화를 위해 LOD(Lovel of Detail) 알고리즘을 핵심 요소로 적용하고 있다. 본 연구는 다양한 지리정보 데이터 중 수치지형도에 포함된 등고선 데이터를 활용하여 정규화된 고도정보를 생성하는 방법으로써 TIN 생성기법을 적용하였고, 정규화 된 고도 정보를 생성하기 위해서 본 연구에서는 2단계의 작업으로 구분하여 생성하였다. 먼저 수치지형도를 활용하여 TIN 데이터를 생성하고, 생성된 TIN 데이터를 이용하여 정규화 된 고도정보를 생성하고자 하는 지역 크기의 2차원적 격자 배열을 생성하고, 격자 배열의 각 점과 생성된 불규칙 삼각망의 교차점을 구하여 정규화 된 고도정보를 생성할 수 있다. 본 연구에서는 각 단계 별로 제한된 딜로니 삼각분할(CDT, Constrained Delaunay Triangulation) 알고리즘과 생성된 TIN 데이터와 2차원적 격자 배열 각 점의 교차점을 구하기 위해 Ray-Triangle Intersection 알고리즘을 선택하였다. 또한, DirectX API 라이브러리, Quad-Tree LOD 알고리즘 그리고 프로그램 개발언어인 Microsoft Visual C++ 6.0을 이용하여 정규화된 고도정보를 3차원 지형 실시간 시각화를 통해 3차원 지형 시뮬레이션을 하였다.

  • PDF

윈도우를 구성하는 방법의 이원성을 이용한 효율적인 시계열 서부시퀀스 매칭 (Efficient Time-Series Subsequence Matching using Duality in Constructing Windows)

  • 문양세;노웅기;황규영
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제28권1호
    • /
    • pp.15-30
    • /
    • 2001
  • 서브시퀀스 매칭은 질의 시퀀스와 유사한 서브시퀀스를 가지는 데이터 시퀀스와 해당 서브시퀀스의 위치를 찾는 문제이다. 본 논문에서는 윈도우를 구성하는 방법의 이원성을 이용한 새로운 서부시퀀스 매칭 방법인 Dual-Match는 윈도우를 구성하는 방법에 있어서 Faloutsos 등이 사용한 방법(간단히 FRM 이라한다)의 이원적 접근법이다. 즉, FRM에서는 데이터 시퀀스를 슬라이딩 윈도우로 나누고 질의 시퀀스를 디스조인트 윈도우로 나누는 방법을 사용한 반면, Dual-Match에서는 데이터 시퀀스를 디스조이트 윈도우로 나누고 질의 시퀀스를 슬라이딩 윈도우로 나누는 방법을 사용한다. FRM은 색인에 필요한 저장공간을 줄이기 위하여 개별 점 대신 최소 포함 사각형만을 저장함으로 인하여 많은 착오해답(유사하지 않은 후보 서브시퀀스)을 발생시켰다. Dual-Match는 FRM과 비슷한 크기의 저장공간에 개별 점을 직접 저장함으로써 이 문제를 해결한다. 실험결과, Dual-Match는 많은 경우에 있어서 FRM에 비하여 후보 개수를 크게 줄이고 성능을 향상시켰다. 특히, 선택률이 낮은 경우($10^{-4}$이하)에는 후보 개수를 최대 8800배 까지 줄이고, 페이지 액세스 횟수를 최대 26.9배까지 줄였으며, 성능을 최대 430배까지 향상시켰다. 또한, 동일한 크기의 색인을 생성하는데 있어서 Dual-Match는 FRM보다 4.10~25.6배 빠르게 색인을 구성하였다. 이는 색인 구성시에 CPU 오버헤드의 많은 부분을 차지하는 저차원 변환의 횟수를 FRM에 비해 크게 줄이기 때문이다. 이 같은 결과로 볼 때, Dual-Match는 대용량 데이터베이스에 대한 서부시퀀스 매칭의 성능을 크게 향상시킬 수 있는 획기적인 연구 결과라 믿는다.

  • PDF

LSTM을 이용한 주가예측 모델의 학습방법에 따른 성능분석 (A Performance Analysis by Adjusting Learning Methods in Stock Price Prediction Model Using LSTM)

  • 정종진;김지연
    • 디지털융복합연구
    • /
    • 제18권11호
    • /
    • pp.259-266
    • /
    • 2020
  • 과거 인공지능 분야에서는 지식 기반의 전문가 시스템 및 머신러닝 알고리즘들을 금융 분야에 적용하는 연구가 꾸준하게 수행되어 왔다. 특히 주식에 대한 지식 기반의 시스템 트레이딩은 이제 보편화되었고, 최근에는 대용량 데이터에 기반한 딥러닝 기술을 주가 예측에 적용하기 시작했다. 이중 LSTM은 시계열 데이터에 대한 검증된 모델로서 주가 예측에도 적용되고 있다. 본 논문에서는 주가 예측 모델로서 LSTM을 적용할 때 성능향상을 위해 고려해야 할 복잡한 매개변수 설정과 적용 함수들에 대해 적합한 조합 방법을 제안하도록 한다. 크게 가중치와 바이어스에 대한 초기화 대상과 설정 방법, 과적합을 피하기 위한 정규화 적용 대상과 설정 방법, 활성화 함수 적용 방법, 최적화 알고리즘 선택 등을 제시한다. 이 때 나스닥 상장사들에 대한 대용량 데이터를 바탕으로 각각의 방법들을 적용하여 정확도를 비교하면서 평가한다. 이를 통해 주가 예측을 위한 LSTM 적용 시 최적의 모델링 방법을 실증적인 형태로 제안하여 현실적인 시사점을 갖도록 한다. 향후에는 입력 데이터의 포맷과 길이, 하이퍼파라미터들에 대한 성능평가를 추가 수행하여 주요 설정 항목들의 조합에 대한 일반화 연구를 수행하고자 한다.

무선랜을 위한 효율적인 침입탐지시스템 설계 (Design of Effective Intrusion Detection System for Wireless Local Area Network)

  • 우성희
    • 한국컴퓨터정보학회논문지
    • /
    • 제13권2호
    • /
    • pp.185-191
    • /
    • 2008
  • 무선랜은 물리적으로 근접한 거리의 공격자나 장비에 의해 공격이 행해질 수 있으며, STA와 AP상의 라디오링크에 접근하는 공격자가 부가적인 메시지를 투입시킴으로서 정보를 수정할 수 있기 때문에 유선랜과 비교해 볼 때, 같은 공격 유형에서도 그 위험이 끼치는 영향의 파급정도는 더 클 수 있다. 따라서 무선랜의 인프라구조내에 있다는 것만으로 충분히 공격이 가능해지는 무선랜의 취약점을 보완하기 위해서 효과적인 침입탐지시스템의 도입이 요구된다. 기존의 무선랜에서의 침입탐지기법들은 유선에서 활용되던 SVM을 이용한 방법론등이 활용될 수 있으나, 이는 대용량의 무선 데이터셋의 이산형, 연속형 데이터 중에서, 중요한 침입여부 단서가 될 수 있는 연속형데이터는 활용할 수 없다는 단점을 가진다. 따라서 이 논문에서는 SVM과 데이터마이닝 기법을 혼합하여 무선랜을 위한 침입 탐지시스템을 설계하고 이에 대한 실험결과를 통해 우수성을 입증하고자 한다.

  • PDF

클라우드 스토리지 최적화를 위한 고속 캐싱 및 대용량 파일 전송 기법 (A Scheme on High-Performance Caching and High-Capacity File Transmission for Cloud Storage Optimization)

  • 김태훈;김정한;엄영익
    • 한국통신학회논문지
    • /
    • 제37권8C호
    • /
    • pp.670-679
    • /
    • 2012
  • 최근 클라우드 컴퓨팅 환경의 보급과 함께 스토리지의 데이터양이 급증함에 따라 그에 따른 스토리지 저장 비용이 빠르게 증가하고 있다. 더불어, 사용자들의 다양한 서비스 및 데이터 요청으로 클라우드 스토리지의 부하 또한 급증하고 있다. 이러한 문제를 해결하기 위해 분산 파일 시스템을 통한 저비용 고성능 스토리지 환경을 제공하고자 하는 기존의 연구가 있었으나, 이에는 데이터 병렬처리, 임의위치 접근처리, 빈번한 작은 워크로드 접근처리 등의 취약점이 존재한다. 최근에는 캐싱 기술을 이용하여 이를 개선하려는 연구가 주목받고 있다. 본 논문에서는 분산 파일 시스템 환경에서 병렬 캐싱, 분산 캐싱과 공유 자원을 고려한 데이터 병렬 전송방법을 제공하는 CHPC(Cloud storage High-Performance Caching) 구조를 제안하며, 또한 이를 기존의 방법들과 비교 평가하여 스토리지 부하를 최적화하는 방법을 제시한다. 더불어, 제안 기법이 기존 클라우드 시스템에 비하여 스토리지 서버의 디스크 입출력 감소, 서버로 데이터의 요청이 집중되어 발생하는 병목현상 방지, 각 클라이언트의 중복되는 페이지 캐시 제거, 데이터 전송률 향상의 장점을 가짐을 보인다.

라이다 칩을 이용한 고해상도 위성영상의 자동좌표등록 (LiDAR Chip for Automated Geo-referencing of High-Resolution Satellite Imagery)

  • 이창노;오재홍
    • 한국측량학회지
    • /
    • 제32권4_1호
    • /
    • pp.319-326
    • /
    • 2014
  • 고해상도 위성영상을 성공적으로 활용하기 위해서는 지상기준점 등을 활용한 좌표등록 및 보정 과정이 필수적이다. 작업자의 수작업을 통한 기준점 획득의 경우 작업 시간이 오래 걸리므로, 자동화된 좌표 등록 방법에 대한 요구가 증대하고 있다. 보정하고자 하는 위성 영상을 정확한 좌표를 가진 참조 데이터에 영상 매칭을 수행하는 기법이 많이 소개 되었는데, 참조 데이터 중 라이다 데이터의 경우 공간 해상도 및 정확도가 높고 무엇보다 3차원 데이터이기 때문에 기복 변위 등을 내포하고 있지 않는 등의 장점을 보인다. 최근 라이다 데이터와 고해상도 위성영상간의 매칭을 위한 기법이 연구, 발표되었으나, 라이다 데이터의 특성상 대용량이기 때문에 처리에 많은 시간이 소요되는 등의 단점이 있었다. 따라서 본 논문에서는 일부의 공간만을 라이다 칩으로 추출 및 저장하여 위성영상의 좌표 등록에 활용하는 연구를 수행하였다. 이를 위해, 전체 라이다 포인트 데이터를 반사강도 정사영상 및 수치표고모델의 두 가지 형태로 변환하고 에지 추출을 통해 의미 있는 양의 에지 정보만을 포함하는 지역을 영상형태의 라이다 칩으로 추출, 저장하였으며, 용량이 현저히 줄어든 것을 확인할 수 있었다. 마지막으로 라이다 칩을 아리랑2호 및 아리랑3호 영상의 자동 좌표등록에 활용 해본 결과 평균 한 픽셀가량의 정확도 또한 확보할 수 있었다.

빅데이터 분석을 활용한 콜라겐 섭취가 피부에 미치는 영향에 관한 메타분석 (A Meta-Analysis of Influencing Collagen Intake on Skin Utilizing Big Data)

  • 진찬용;유옥경;남수태
    • 한국정보통신학회논문지
    • /
    • 제20권11호
    • /
    • pp.2033-2038
    • /
    • 2016
  • 빅데이터 분석은 데이터 저장소에 저장된 대용량 데이터 속에서 의미 있는 새로운 상관관계, 패턴, 추세를 발견하여 새로운 가치를 창출하는 과정이다. 메타분석은 유의성 검정이라 하기보다는 예측변수가 종속변수에 미치는 영향의 크기가 중요한 이슈이다. 따라서 본 연구는 2000년-2016년 사이 콜라겐 섭취가 피부에 미치는 영향에 관한 관련 주제로 출판된 연구 6개 논문 236개 샘플을 대상으로 하였다. 연구결과를 요약하면 다음과 같다. 첫째, 피지 사전사후 경로에서 가장 큰 효과크기 (r = .412)를 가지는 것으로 나타났다. 따라서 콜라겐 섭취 중재는 약 17 (%) 설명력을 가지는 것으로 나타났다. 다음으로, 수분 사전사후 경로에서는 효과크기 (r = .318)를 가지는 것으로 나타났다. 분석결과를 바탕으로 연구의 한계와 시사점을 제시하였다.