• 제목/요약/키워드: Map Files

검색결과 68건 처리시간 0.029초

MapReduce에서 Reuse JVM을 이용한 대규모 스몰파일 처리성능 향상 방법에 관한 연구 (A Study on the Improving Performance of Massively Small File Using the Reuse JVM in MapReduce)

  • 최철웅;김정인;김판구
    • 한국멀티미디어학회논문지
    • /
    • 제18권9호
    • /
    • pp.1098-1104
    • /
    • 2015
  • With the widespread use of smartphones and IoT (Internet of Things), data are being generated on a large scale, and there is increased for the analysis of such data. Hence, distributed processing systems have gained much attention. Hadoop, which is a distributed processing system, saves the metadata of stored files in name nodes; in this case, the main problems are as follows: the memory becomes insufficient; load occurs because of massive small files; scheduling and file processing time increases because of the increased number of small files. In this paper, we propose a solution to address the increase in processing time because of massive small files, and thus improve the processing performance, using the Reuse JVM method provided by Hadoop. Through environment setting, the Reuse JVM method modifies the JVM produced conventionally for every task, so that multiple tasks are reused sequentially in one JVM. As a final outcome, the Reuse JVM method showed the best processing performance when used together with CombineFileInputFormat.

한국형 전자지도 구조에 관한 연구 (The Study on the Structure of Korean Digital Map)

  • 윤재경;하동우;우창헌;김수용
    • Spatial Information Research
    • /
    • 제2권2호
    • /
    • pp.207-218
    • /
    • 1994
  • 지리정보시스템의 활성화를 위해 신뢰성있는 전자지도의 공급은 필수적이다. 기본적 정보를 수용하고 있는 전자지도는 직접적인 응용과 더불어 다른 형태의 전자지도 제작의기반이 될 수 있다. 이 논문에서는 기본적 정보를 제공하는 목적의 전자지도의 구조에 대한 제안을 하였다. 여기서 제시된 구조에서 강조된 부분은 범용성과 세부분류이다. 여러 시스템에서 활용하기 위해 문자위주로 구성을 했고 행정구역및 각종 지도성분들의 코드화를 시도하였다.

  • PDF

PLD 설계용 툴 개발에 관한 연구 (A Study on the Development of a Tool for PLD Design)

  • 김희석;원충상
    • 한국정보처리학회논문지
    • /
    • 제1권3호
    • /
    • pp.391-397
    • /
    • 1994
  • 본 논문에서는 디지틀 회로를 PLD 소자로 설계하는 PLD 설계용 툴인 PLD Designer 을 개발하였다. PLD Designer는 FSM(finite state machine)의 상태수가 제한적(20개 미만)일 경우, 상태표로부터 부울식을 추출할 수 있는 상태 그래픽 편집기(state graphic editor)와 상태 그래픽 편집기에서 생성된 부울식에 적합한 PLD 소자 (PAL 16R4, PAL22V10, GAL16V8 등)를 선정하여 핀 할당을 실현하는 핀 맵 편집기(pin map editor)로 구성되어 있다. 또한 핀 맵 편집기는 fuse map, checksum, JEDEC화일을 생성하며 PLD 디바이스 구현에 사용한다. 생성된 부울식을 검증하기 위해 테스트 벡터 (test vector) 생성 알고리즘을 개발하였으며 PLD Designer에 의해 생성된 JEDIC화일 과 PALASM의 JEDEC화일과 비교한 결과 동일함을 입증하였다.

  • PDF

로그 데이터를 이용한 하둡기반 맞춤형 관광시스템 (A Customized Tourism System Using Log Data on Hadoop)

  • ;김강철
    • 한국전자통신학회논문지
    • /
    • 제13권2호
    • /
    • pp.397-404
    • /
    • 2018
  • 인터넷 사용이 증가함에 따라 많은 사용자 행위가 로그 파일에 기록되고, 최근에 이들을 이용한 연구와 산업이 활성화되고 있다. 본 논문은 오픈 소스 기반 분산 컴퓨팅 플랫폼인 하둡을 사용하고, 로그 파일에 기록된 사용자 행위를 분석하여 맞춤형 관광 정보를 제공하는 시스템을 개발한다. 제안된 시스템은 사용자들이 검색한 웹사이트로부터 로그 파일을 얻기 위하여 구글의 Analytics를 사용하고, 하둡의 MapReduce를 사용하여 검색 항목을 추출하여 HDFS에 저장한다. Octopus 프로그램을 사용하여 여행안내 웹사이트로부터 여행관련 관광지나 도시에 대한 정보를 모으고, MapReduce를 사용하여 관광지의 특징을 추출한다. 그리고 관광지의 특징과 사용자 검색항목을 매칭하여 사용자에게 관광하고 싶은 맞춤형 도시를 제안한다. 본 논문에서는 매칭의 확률을 높이기 위하여 NBP(next bit permutation)알고리즘을 사용하여 검색항목과 관광지 특징을 재정렬하는 기법을 도입한다. 그리고 개발된 시스템의 효용성을 확인하기 위하여 39 명의 사용자에 대한 로그 데이터를 분석하여 맞춤형 관광도시를 제안한다.

지리정보 시스템을 이용한 전국 염해 오손도 구축 방안 (The Development Plan of Salt Contamination Map Using GIS)

  • 강연욱;곽주식;심응보;유철환
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2001년도 추계학술대회 논문집 전력기술부문
    • /
    • pp.377-379
    • /
    • 2001
  • Contamination flashover is responsible for insulator electrical failures. Particularly, in Korea, with its perennially dry spring, the first spring rain often cause serious line outages by forming a conductive liquid film on the insulator surface. Rainwater and fog are not normally conductive but unfortunately atmospheric dust deposited on the insulator surface contains soluble salts which may lead to bad condition of insulation by combining watery and salts. Transmission design engineers have used a contamination map drawn on the traditional paper map. But it is not convenient because it does not include the information of Geographic Information accurately. This paper explains the newly developed salt contamination map program using Geographic Information System, which provide accurate geographic information. The program is designed to use four parts of datum, salt contamination levels, 345kV & 154 kV transmission lines, power plants & substations and background map. The digital background map is composed of raster files, the others are done by vector map.

  • PDF

관계 데이터베이스를 이용한 XML 문서 저장시스템 설계 (Design of a Storage System for XML Documents using Relational Databases)

  • 신병주;진민;이종학
    • 한국멀티미디어학회논문지
    • /
    • 제7권1호
    • /
    • pp.1-11
    • /
    • 2004
  • 본 논문에서는 관계 데이터베이스를 이용한 XML 문서 저장시스템을 제안한다. XML 구조와 관계 데이터 베이스 스키마의 구조적 불일치로 인하여 XML 문서의 저장을 위해서는 별도의 처리과정이 필요하다. 본 연구에서는 DTD가 있는 XML 문서의 관계 데이터베이스 저장을 다루고 있다. 기존의 Shared Inlining 방법과 Hybrid Inlining 방법을 보완한 릴레이션의 단편과 과도한 조인 연산을 줄여주는 Association Inlining 방법을 제안하고 실제 실험을 통하여 성능이 개선되었음을 보인다. DTD를 단순화시켜 이로부터 저장구조 정보를 추출하고 관계 데이터베이스의 저장구조로 사상시키기 위하여 기존의 맵 클래스를 확장하였다. XML 문서의 분석을 통하여 다중값 엘리먼트, 여러 개의 상위 엘리먼트를 갖는 엘리먼트, 순환 구조를 갖는 엘리먼트 등 다양한 형태의 구조에 대해 맵 클래스를 정의하였으며 추출 저장구조 정보와 맵 클래스를 이용하여 XML 형태의 맵 파일을 생성한다.

  • PDF

A GIS, GPS, Database, Internet GIS $software{\copyright}$ The First Arabian GIS $Software\copyright}$

  • El-Shayal, Mohamed El-Sayed
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2006년도 Proceedings of ISRS 2006 PORSEC Volume II
    • /
    • pp.695-697
    • /
    • 2006
  • Elshayal $Smart{\copyright}$ software is an almost First Arabian GIS $software{\copyright}$ which completely developed by Arabian developers team and independent of any commercial software package. The software current Features are View and Edit shape files, build new layers, add existing layers, remove layers, swap layers, save layers, set layer data sources, layer properties, zoom in & zoom out, pan, identify, selecting features, invert selection, show data table, data query builder, location query builder, build network, find shortest path, print map, save map image, copy map image to clipboard, save project map, edit move vertex, edit move features, snap vertexes, set vertex XY, move settings, converting coordinate system, applying VB script, copy selected features to another layer, move selected features to another layer, delete selected features, edit data table, modify table structure, edit map features, drawing new features, GPS tracking, 3D view, etc... The software expected Features are: Viewing raster image and image geo-referencing, read other map formats such as DXF Format and Tiger Line Format.

  • PDF

G-File에 저장된 위치정보 관리 알고리즘 (G-File stored in the location information management algorithm)

  • 최상균
    • 한국항행학회논문지
    • /
    • 제15권5호
    • /
    • pp.742-748
    • /
    • 2011
  • G-File은 사진촬영의 위치 좌표를 내장한 사진 파일을 이용하여 사용자에게 사진 속 이미지의 위치와 방향각 데이터를 이용한 파일을 말한다[1]. G-File은 사진 파일을 입력받아 저장하는 사진 파일 수신 수단과, 사진 파일을 사진 정보와 위치 정보로 분리하여 피사체의 위치 정보를 추출하는 위치 정보 분석 수단 및 위치 정보를 이용하여 지도상의 대응되는 좌표에 표시하는 위치 안내 수단을 포함하는 것을 특징으로 한다. 본 논문은, 이러한 G-File에 저장된 위치 정보에 대한 관리를 할 수 있는 알고리즘을 제안한다. 이 알고리즘은 G-File을 이용하는 사용자에게 정보를 관리하게 하고, G-File 관리에 편리함을 제공하기 위함이다.

Implementations of Geographic Information Systems on Sewage Management for Water Resources Protection

  • Wu, Mu-Lin;Chen, Chiou-Hsiung;Chou, Wen-Shang;Huang, Hsiu-Lan
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2003년도 Proceedings of ACRS 2003 ISRS
    • /
    • pp.1188-1190
    • /
    • 2003
  • Taipei Watershed Management Bureau (WRATB) is a government agency entitled for water resources protection at two major watersheds in order to provide drinking water for about four millions population in Taipei on a sustainable basis. At WRATB, there are two major public sewage treatment facilities which can convert sewage in each watershed into an acceptable state before they were discharged into rivers. More than 82% of household wastewater have been collected and treated by the two public sewage systems. However, households at remote area still need more effective sewage management prescriptions. The objective of this paper is to implement geographic information systems in order to provide more effective approaches that sewage management can be easier and cost effective. ArcIMS was implemented for Internet browsing and map server of those sewage facilities on personal computers, laptop computers. In the open field, ArcPAD was implemented with personal digital assistant (PDA) such that compact flash type's global positioning systems (GPS) and digital camera can be utilized with PDA. All sewage facilities digital files were convert into ArcMap format files. MapObjects and visual BASIC were used to create sewage application modules to meet every single technician personal flavor. ASP.NET was implemented for Internet database manipulations of all sewage databases. Mobile GIS was the key component of GIS applications in the open field for sewage management on a basis of house by house. Houses at remote area, which can not cover by the two public sewage systems, were managed by PDA and laptop computers with GPS and digital camera. Sewage management at Taipei Watershed Management Bureau is easier both in the open field and in the office. Integration of GPS, GIS, and PDA makes sewage management in the open field much easier. ArcIMS, MapObjects, ASP.NET and visual BASIC make sewage management can be done in the office and over Internet.

  • PDF

빅데이터 분석을 위해 아파치 스파크를 이용한 원시 데이터 소스에서 데이터 추출 (Capturing Data from Untapped Sources using Apache Spark for Big Data Analytics)

  • ;구흥서
    • 전기학회논문지
    • /
    • 제65권7호
    • /
    • pp.1277-1282
    • /
    • 2016
  • The term "Big Data" has been defined to encapsulate a broad spectrum of data sources and data formats. It is often described to be unstructured data due to its properties of variety in data formats. Even though the traditional methods of structuring data in rows and columns have been reinvented into column families, key-value or completely replaced with JSON documents in document-based databases, the fact still remains that data have to be reshaped to conform to certain structure in order to persistently store the data on disc. ETL processes are key in restructuring data. However, ETL processes incur additional processing overhead and also require that data sources are maintained in predefined formats. Consequently, data in certain formats are completely ignored because designing ETL processes to cater for all possible data formats is almost impossible. Potentially, these unconsidered data sources can provide useful insights when incorporated into big data analytics. In this project, using big data solution, Apache Spark, we tapped into other sources of data stored in their raw formats such as various text files, compressed files etc and incorporated the data with persistently stored enterprise data in MongoDB for overall data analytics using MongoDB Aggregation Framework and MapReduce. This significantly differs from the traditional ETL systems in the sense that it is compactible regardless of the data formats at source.