• 한국융합학회논문지
• /
• 제9권10호
• /
• pp.13-19
• /
• 2018

맵리듀스는 하둡의 필수 핵심 기술로 하둡 분산 파일 시스템을 기반으로 빅데이터를 처리하는 가장 보편화되어 사용되고 있다. 그러나 기존 맵리듀스 기반 빅데이터 처리 기법은 하둡 분산 파일 시스템에 정해진 블록의 크기대로 파일 나눠 저장되는 특징으로 인해 인프라 자원의 낭비가 극심하다. 이에 본 논문에서는 효율적인 맵리듀스 기반 빅데이터 처리기법을 제안한다. 제안하는 기법은 처리할 데이터를 사전에 맵리듀스에서 처리하기 적합한 데이터 형태로 변환 및 압축하여 빅데이터 인프라 환경의 저장 효율성을 증가시킨다. 또한 제안하는 기법은 저장 효율성을 중점으로 구현했을 때 발생할 수 있는 데이터 처리 시간의 지연 문제를 해결한다.

• Journal of Microbiology and Biotechnology
• /
• 제14권5호
• /
• pp.1081-1085
• /
• 2004

Genome research has become very popular in most nations. In order to enhance the efficiency of collaboration among genome research groups, ways to store and share data, communicate with each other, be guided through right research strategies, and to easily use well-established databases. In addition, since techniques and softwares for genome research groups are well established, a similar research road map could commonly be applied. In this study, we developed a web-based work place for effective genome research, named 'BioPlace.' From the beginning of writing a proposal, research members can work on the same environment with convenient aid to share files or data. BioPlace provides various ways of collaboration methods among genome researchers. The BioPlace system supports two types of workplaces, namely 'Personal Workspace' and 'Team Workspace.' For each BioPlace user, a Persona] Workspace is provided, while a Team Workspace is provided for each group with the same purpose. In addition, BioPlace provides a 'General Research Road Map' for genome research, and several Korean user interfaces for BLAST, PDB, and Primer3. We expect that BioPlace may facilitate collaboration of genome research among the experienced scientists and help beginners in many different ways as well.

• 한국산림과학회지
• /
• 제96권1호
• /
• pp.7-13
• /
• 2007

본 연구는 산림에서 개인휴대 단말기(PDA)를 기반으로 수치지형도와 GPS를 활용하여 산림지리정보를 활용할 수 있는 소프트웨어를 개발하는데 그 목적이 있다. 본 연구에서 개발한 산림지리정보 소프트웨어의 주요 내용과 그 특징은 다음과 같다. 산림지리정보검색 소프트웨어는 PocketPC 2002/2003 운영체계에서 작동하도록 하였다. PDA의 표시 화면은 DXF형식의 1:25,000 수치지형도를 PC에서 변환하여 활용하며, PDA에 표시하는 지도데이터는 1:2,500에서 1:30,000까지 5단계로 확대, 축소 표시가 가능하도록 제작하였다. GPS에서 수신한 위치정보 및 이동 경로정보를 화면에 나타내고 저장할 수 있도록 하였다. DXF형식의 수치지형도의 레이어 중 선택한 정보를 본 시스템에서 활용이 가능한 이진파일 형식으로 변환하는 소프트웨어를 제작하였다. 이를 활용하여 DXF 파일 크기 대비 90%이상 압축이 가능하였고, PDA의 처리 속도를 크게 향상시켰다. 산림지리정보검색 소프트웨어는 sub menu 기능과 grid index를 활용하여 GPS에서 수신된 위치정보와 함께 산림조사 자료입력 소프트웨어와 연동하여 표본점의 관리에 활용이 가능하도록 하였다. 산림작업자가 현장에서 필요한 임상, 소유, 위치, 임도, 사방댐, 시설물 설계도 등 산림지리정보를 현장에서 즉시 검색이 가능하도록 하였다. 산림지리정보검색 소프트웨어는 지리정보 표시기능과 정보검색기능을 이용하여, 일반인들의 등산, 관광, 유적지 답사 등에 현재 위치 및 이동 경로에 관한 정보를 제공할 수 있도록 제작하였다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제22권1호
• /
• pp.20-25
• /
• 2016

디지털 빅데이터 시대가 도래함에 따라 다양한 분야에서 하둡 플랫폼이 널리 사용되고 있지만, 하둡 맵리듀스 프레임워크는 대량의 작은 파일들을 처리하는데 있어서 네임노드의 메인 메모리와 맵 태스크 수가 증가하는 문제점을 안고 있다. 또한, 맵리듀스 프레임워크에서 하드웨어 기반 데이터 병렬성을 지원하는 GPU를 활용하기 위해서는 C++ 언어 기반의 태스크를 맵리듀스 프레임워크에서 수행하기 위한 방식이 필요하다. 따라서, 본 논문에서는 이미지 빅데이터를 처리하기 위해 하둡 플랫폼 환경에서 이미지 시퀀스 파일을 생성하고 하둡 파이프를 이용하여 GPU 기반의 얼굴 검출 태스크를 맵리듀스 프레임워크에서 처리하는 얼굴 검출 시스템을 제시하고 단일 CPU 프로세스 대비 약 6.8배의 성능 향상을 보여준다.

• 한국측량학회지
• /
• 제15권2호
• /
• pp.207-213
• /
• 1997

본 연구는 저밀도 임의지점의 지형정보를 이용하여 수치지형도를 제작하는데 있어 시간적, 경제적 측면을 포함하는 효율성과 정밀도 측면에서 각각의 수치지형도 제작기법을 비교 분석하여 향후 지형정보시스템의 구축에 있어서 저밀도의 제한된 지형정보를 이용하여 지형분석과 같은 많은 응용분야에 유용하게 이용될 수 있는 3차원 지형모델링의 효율적 기법을 제시하는 연구로써 다음과 같은 결론을 얻었다. 수치지형도를 제작함에 있어 A, B지역 모두 저밀도 임의지점의 지형정보를 이용하여 TIN기반의 지형모델링 기법으로 수치지형도를 제작하는 기법이 가장 신속하면서도 양호한 결과를 가져왔으며 TIN과 GRID기반의 지형모델링 기법으로 제작한 수치지형도를 시각적으로 분석한 결과 A, B지역모두 거의 홉사한 결과를 가져왔으나 DXF 파일로 저장한 데이터의 크기는 TIN기반의 지형모델링 기법이 GRID기반보다 상대적으로 적은 저장용량을 차지하는 것으로 나타났다. 또한 Grid기반의 지형모델링 기법에 의해 제작한 수치지형도에 있어서 저밀도 임의지점의 원형 데이터와 Gridding방법에 의해 보간된 데이터의 표준편차는 A, B지역 모두 Radial basis function 보간기법이 가장 정밀한 보간 결과를 제시하였다.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제3권8호
• /
• pp.251-260
• /
• 2014

3D 점 데이터는 높은 정확성을 가진 사물의 표면 정보 데이터로 다양한 분야에서 사용되고 있으며, 특히 지리학에서 지형 파악과 분석에 많이 사용되고 있다. 일반적으로 3D 점 데이터의 Gridding 과정을 거치게 되는데 이는 불연속적인 점 데이터를 일정한 좌표 값으로 만드는 과정으로 긴 실행 시간과 높은 비용이 필요하다. 특히 Gridding 과정 중 보간 작업을 위해서 Kriging이 높은 정확성으로 주목받고 있지만 처리과정이 복잡하고 연산이 많아 처리속도가 상대적으로 느리기 때문에 많이 사용되지 않고 있다. 본 논문에서는 Gridding을 고성능으로 처리하기위해 Kriging 연산 과정을 병렬화했으며 격자 자료구조를 MapReduce 패러다임에 맞게 변형하여 Kriging에 적용하였다. 실험은 항공 LiDAR 데이터 약 1.6백만 개와 4.3백만 개의 점 데이터를 이용해서 제안한 MapReduce 구조에 적용하였고, 그 결과 3대의 이기종 클러스터에서 전체 실행시간이 순차적 프로그램에 비해 최대 3.4배 단축하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제10권9호
• /
• pp.4063-4086
• /
• 2016

Cloud computing is a robust technology, which facilitate to resolve many parallel distributed computing issues in the modern Big Data environment. Hadoop is an ecosystem, which process large data-sets in distributed computing environment. The HDFS is a filesystem of Hadoop, which process data blocks to the cluster nodes. The data block placement has become a bottleneck to overall performance in a Hadoop cluster. The current placement policy assumes that, all Datanodes have equal computing capacity to process data blocks. This computing capacity includes availability of same storage media and same processing performances of a node. As a result, Hadoop cluster performance gets effected with unbalanced workloads, inefficient storage-tier, network traffic congestion and HDFS integrity issues. This paper proposes a storage-tier-aware Robust Data Placement (RDP) scheme, which systematically resolves unbalanced workloads, reduces network congestion to an optimal state, utilizes storage-tier in a useful manner and minimizes the HDFS integrity issues. The experimental results show that the proposed approach reduced unbalanced workload issue to 72%. Moreover, the presented approach resolve storage-tier compatibility problem to 81% by predicting storage for block jobs and improved overall data block placement by 78% through pre-calculated computing capacity allocations and execution of map files over respective Namenode and Datanodes.

• 인터넷정보학회논문지
• /
• 제20권1호
• /
• pp.47-55
• /
• 2019

Free-viewpoint video (FVV) service provides multi viewpoints of contents and synthesizes intermediate video files which are not captured on some view angles so that enables users to watch as they choose wherever they want. Synthesizing video is necessary technique to provide FVV video service, because every video of the FVV contents for different view angles cannot be stored to the content server physically. For the reason, fast view synthesis can improve the quality of video service and increase user's satisfaction. One of the studies for FVV service, a method was proposed to transmit FVV service based on DASH (Dynamic Adaptive Streaming over HTTP). There is big advantage on using DASH that it is commonly used to transport video service. However, the method was only a conceptual proposal, so it is difficult to implement the system using the proposal. In this paper, we propose an implementation method to provide real-time FVV service smoothly. We suggest a system structure and operation method on the server and client side in detail, which is to be applicable to synthesize video quickly. Also, we suggest generating FVV service map additionally which controls a FVV service overall. We manage real-time information of the whole service through the service map. The service can be controlled by reducing the possible delay from network situation.

• 한국지리정보학회지
• /
• 제24권4호
• /
• pp.164-173
• /
• 2021

최근 도심지의 지반함몰 및 침하, 노후 지하시설물 파손 등 지하공간에 대한 안전 이슈가 증가하고 있어 지하시설물의 정확한 관리가 더욱 요구되고 있다. 이에 본 연구에서는 현장에서 취득하는 지하시설물 실시간 측량 데이터 또는 지하시설물 탐사 후 현장 측량으로 취득한 지하시설물 측량 데이터를 지하공간통합지도 상에 가시화하고, 측량성과로 변환하는 기능을 개발하였다. 또한, 본 연구를 통해 개발한 지하공간통합지도 연계 현장 측량 성과 활용 기능을 사용하여 서울시 은평구 상수관로 매설공사 현장에서 토탈스테이션으로 획득한 측량성과를 지하공간통합지도상에 가시화 하고, 공간정보 성과파일로 변환 및 지하공간통합지도 모바일 센터로 전송하는 현장실증을 수행하였다. 이를 바탕으로 지하공간통합지도가 구축된 지역에서 측량성과를 활용하는 작업 절차를 검증할 수 있었으며, 향후 개선 방향을 검토할 수 있었다.

• 한국항행학회논문지
• /
• 제18권4호
• /
• pp.401-408
• /
• 2014

하둡(Hadoop)은 맵리듀스(MapReduce) 분산처리 프로그래밍 모델과 HDFS(Hadoop distributed file system) 분산 파일시스템으로 구성된다. 하둡은 빅데이터 처리에 적합한 프레임워크로서, 대량의 스몰파일 처리에 문제점이 있다. 하둡에서 대량의 스몰파일 처리는 하나의 파일마다 매퍼가 생성되며, 파일의 메타정보를 저장하기 위해 많은 메모리가 필요한 문제점이 있다. 본 논문은 하둡 플랫폼에서 다양한 방법으로 대량의 스몰파일 처리방법을 비교 검토하였다. 일반 압축은 데이터의 크기와 상관없이 하나의 매퍼로 처리해야 하기 때문에, 하둡 처리 포맷으로 적절하지 않다. 시퀀스 와 하둡 아카이브 파일의 처리는 스몰파일을 압축 및 병합을 통해 네임노드의 메모리 문제가 제거되었다. 하둡 아카이브 파일은 스몰파일의 병합시간이 시퀀스 파일보다 빠른 속도를 보였다. CombineFileInputFormat 클래스를 이용한 처리는 병합과정이 필요 없으며, 빅데이터 처리방법과 유사한 속도를 보였다.