• Title/Summary/Keyword: 직렬화

Search Result 314, Processing Time 0.025 seconds

Serialization Method for large spatial data transmission of High Definition Map (정밀도로지도의 대용량 공간데이터 교환을 위한 직렬화 기법 설계)

  • Eun-Il, LEE;Duck-Ho, KIM
    • Journal of the Korean Association of Geographic Information Studies
    • /
    • v.25 no.4
    • /
    • pp.32-48
    • /
    • 2022
  • This study presented a spatial data serialization technique that can efficiently store and transmit large amounts of spatial data for precision road maps was designed and implemented. For efficient serialization, a binary spatial data structure is defined, and a coordinate value encoding technique without loss of information is designed using the Zigzag-Z-order curve. The spatial data serialization technique designed for precision road maps was tested, and the data size and encoding/decoding speed after encoding were compared with Protocol buffer and Geobuff. As a result, it was confirmed that the designed serialization method was excellent in data weight reduction performance and encoding speed. However, the decoding speed was inferior to other serialization techniques in linestring and polygon type spatial data. Through this study, it was confirmed that spatial data can be efficiently encoded, stored, and transmitted using binary serialization techniques.

A Study on Buffer Optimization System for Improving Performance in Spark Cluster (Spark 클러스터 환경에서 분산 처리 성능 향상을 위한 Buffer 최적화 시스템 연구)

  • Seok-Min Hong;So-Yeoung Lee;Yong-Tae Shin
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.05a
    • /
    • pp.396-398
    • /
    • 2023
  • Statista 통계 조사에 따르면 데이터의 규모는 매년 증가할 것으로 예상하고 빅데이터 처리 프레임워크의 관심이 높아지고 있다. 빅데이터 처리 프레임워크 Spark는 Shuffle 과정에서 노드 간 데이터 전송이 일어난다. 이때 분산 처리한 데이터를 네트워크로 전송하기 위해 객체를 바이트 스트림으로 변환하여 메모리 buffer에 담는 직렬화 작업이 필요하다. 그러나 바이트 스트림을 buffer에 담는 과정에서 바이트 스트림의 크기가 메모리 buffer보다 클 경우, 메모리 할당 과정이 추가로 발생하여 전체적이 Spark의 성능 저하로 이어질 수 있다. 이에 본 논문에서는 Spark 환경에서 분산 처리 성능 향상을 위한 직렬화 buffer 최적화 시스템을 제안한다. 제안하는 방법은 Spark Driver가 Executor에게 작업을 할당하기 전 직렬화된 데이터 크기 측정과 직렬화 옵션 설정을 통해 Executor에게 적절한 buffer를 할당할 수 있다. 향후 제안하는 방법의 검증을 위해 실제 Spark 클러스터 환경에서 성능 평가가 필요하다.

A Bit-serial Encoder of (255, 223) Reed-Solomon code ((225, 223) RS 부호의 직렬부호기)

  • 조용석;이만영
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.13 no.5
    • /
    • pp.429-436
    • /
    • 1988
  • This paper presents a method of designing a Bit-Serial Reed-Solomon encoder using Berlekamp's Bit-Serial Multiplier Algorithm and the implementation of the (255, 223) Bit-Serial Reed-Solomon encoder using TTL logics. It is shown from these results that this encoder require substanitially less hardware than the convenional Reed-Solomon encoders.

  • PDF

Request Two-Phase Locking Method for Series Sequence Re-adjustment of Concurrency Control in Multi-Level Secure DBMS (다단계 보안 데이터베이스 시스템에서 병행수행 제어의 직렬화 순서를 재조정하기 위한 요청 2단계 로킹기법)

  • Lee, Seungsoo;Cho, Jinsung;Jeong, Byungsoo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2004.05a
    • /
    • pp.105-108
    • /
    • 2004
  • 다단계 보안데이터베이스 시스템에서 기본적인 병행수행 제어 기법들은 비밀채널과 교착상태등과 같은 문제들이 발생하였다. 이에 직렬화 순서를 동적으로 재조정함으로서 해결하려는 방안이 있었지만, 알고리즘의 복잡성으로 인해 오버 헤드와 많은 수행시간이 필요하게 되었고, 이에 따라 많은 양의 시스템 자원과 높은 사양의 시스템을 요구하게 되었다. 또한 이러한 방법은 다중 버전을 사용함으로서 추가적인 관리비용이 높게 되었고, 각각의 트랜잭션이 지연 및 재수행이란 불필요한 과정을 반복하게 되었다. 따라서 본 논문에서는 제안한 알고리즘은 데이터베이스의 용도에 맞게 직렬화 순서를 보장하여 스케줄을 관리하는 요청 2단계 로킹기법(Request Two-phase Locking)으로서 이는 2단계 로킹기법의 기본원리에 요청로크를 사용함으로 보다 효율적으로 병행제어를 할 수 있다. 여기서 요청로크는 각각의 트랜잭션 스케줄에 로크획득 및 해제를 병행수행제어의 필요에 따라 유동적으로 할 수 있으며, 읽기로크, 쓰기로크, 요청로크라는 3가지 로킹모드를 통해 대처방안을 마련함으로서, 충돌을 방지하며, 충돌연산의 특성에 따라 직렬화 순서를 동적으로 조정함으로 블록킹을 막는 병행제어를 응용하여 병렬성을 유지한다.

  • PDF

Control Algorithm of Phase Synchronization in Single-Phase Serial UPS Module (단상 직렬 UPS 모듈의 위상동기화 제어 알고리즘)

  • Baek, Seung-Ho;Lee, Soon-Ryung;Lee, Taek-Ki;Won, Chung-yuen
    • Proceedings of the KIPE Conference
    • /
    • 2015.07a
    • /
    • pp.61-62
    • /
    • 2015
  • 본 논문에서는 단상 UPS 모듈을 직렬로 연결 시 모듈간의 위상을 동기화하는 제어 알고리즘을 제안한다. 단상 직렬 모듈 UPS 시스템을 구성할 때, 각 모듈의 위상이 동기화 되어 있지 않는다면 직렬 연결된 출력단을 통해 부하에 불안정한 전력을 공급하게 된다. 따라서 직렬 구성으로 각 모듈의 출력전압 위상을 동기화하여 안정적인 출력전압 제어가 필요하다. 기존에는 CAN통신을 이용했지만 본 논문에서는, Master, Slave 모듈의 PLL 기법을 이용한 순차적인 제어를 통해 위상을 동기화시킬 수 있는 제어 알고리즘을 제안한다. 제안하는 제어 알고리즘은 시뮬레이션을 통해 타당성을 검증하였다.

  • PDF

Serialization Dispatcher Worker Model (직렬화 디스패쳐 워커모델 기법)

  • Lim, Sang-woo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2014.11a
    • /
    • pp.573-575
    • /
    • 2014
  • 클럭 경쟁에서 코어 경쟁으로 전환된 요즘. 병렬 프로그래밍은 중요 하다. 동기화 개체를 사용하면 병목 현상이 발생하며, 1:1 Thread 모델은 자원의 낭비와 문맥전환 비용이 발생한다. Thread 풀 모델은 직렬화에 약점을 가지는게 되는데, 본 논문에서는 다중 개체 대응에 적합한 병렬 프로그래밍 모델을 제시한다.

Improving Compatibility Method of New Vworld 3D Data Using the Serialization Technique (데이터 직렬화 기법을 활용한 차세대 브이월드 3차원 데이터의 호환성 개선 방안)

  • KANG, Ji-Hun;KIM, Hyeon-Deok;KIM, Jeong-Taek
    • Journal of the Korean Association of Geographic Information Studies
    • /
    • v.21 no.1
    • /
    • pp.96-105
    • /
    • 2018
  • The V-world, Spatial information open platform map service, provides various national spatial data. Recently, with the development of IT technology, demand for 3D geospatial data that can be merged with new industries such as Internet of Things(IoT) and autonomous vehicles is increasing. Because 3D geospatial data is large and complex, many computer resources are used to provide map services. Most of the 3D map services, such as Vworld, are constructed binary data in consideration of performance. However, this type of data is incompatible because it is difficult to use in other services if there is no precise understanding of the specification. In this paper, we propose a data serialization method to improve the compatibility of new Vworld 3D format which is constructed in binary form. The performance of binary data and serialized binary data is tested and compared. As a result, it is expected that the data using the serialization technique will be similar to the binary data and contribute to improve compatibility.

Concurrency Control based on Serialization Graph for Query Transactions in Broadcast Environment : CCSG/QT (방송환경에서 질의 거래를 위해 직렬화 그래프에 기반을 둔 동시성 제어 기법)

  • 이욱현;황부현
    • Journal of KIISE:Databases
    • /
    • v.30 no.1
    • /
    • pp.95-107
    • /
    • 2003
  • The broadcast environment has asymmetric communication aspect that is typically much greater communication bandwidth available from server to clients than in the opposite direction. In addition, most of mobile computing systems allow mostly read-only transactions from mobile clients for retrieving different types of information such as stock data, traffic information and mews updates. Since previous concurrency control protocols, however, do not consider such a particular characteristics, the performance degradation occurs when previous schemes are applied to the broadcast environment. In this paper, we propose the efficient concurrency control for query transaction in broadcast environment. The following requirements are satisfied by adapting weak consistency that is the appropriate correctness criterion of read-only transactions: (1) the mutual consistency of data maintained by the server and read by clients (2) the currency of data read by clients. We also use the serialization graph scheme to check the weak consistency efficiently. As a result, we improved a performance by reducing unnecessary aborts and restarts of read-only transactions caused when global serializability was adopted.

Global Concurrency Control using Messaging Ordering in Multidatabase System (멀티데이터베이스 시스템에서는 메시징 순서를 적용한 전역 동시성 제어 기법)

  • 문애경;남궁한
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10b
    • /
    • pp.16-18
    • /
    • 2003
  • 멀티데이터베이스 시스템이란 기존에 독자적으로 개발되어 사용되고 있는 서로 다른 지역 데이터베이스 시스템들을 논리적으로 통합하기 위해 제안된 시스템이다. 본 논문에서는 논리적인 통합 인터페이스로 메시징 소프트웨어를 이용하고 메시징 순서 기능을 적용한 전역 동시성 제어 기법을 제안한다. 전역 직렬성을 보장하기 위하여 전역 트랜잭션의 서브 트랜잭션이 실행되는 모든 LDBS에서 같은 순서로 직렬화 되어야 한다. 메시징 순서 기능은 하의 노드가 여러 개 메시기를 송신하는 경우, 모든 노드는 송신한 순서에 따라 메시지를 수신함을 보장하는 것으로 이를 이용하여 전역 트랜잭션의 서브 트랜잭션들을 실행 노드에 같은 순서로 전송하고 실행 LDBS는 해당 순서대로 직렬화한다면 전역 직렬성을 보장할 수 있다. 그 결과 제안된 기법은 LDBS의 실행 정보 없이 전역 트랜잭션의 상대적인 실행 순서를 결정할 수 있기 때문에 지역 자치성을 보장한다.

  • PDF

Analysis and Application of Performance Improvement of a Real-time Simulation Visualization based on Multi-thread Pipelining Parallel Processing (다중 스레드 파이프라인 병렬처리를 통한 실시간 시뮬레이션 시각화의 성능 향상 해석 및 적용)

  • Lee, Jun Hee;Song, Hee Kang;Kim, Tag Gon
    • Journal of the Korea Society for Simulation
    • /
    • v.26 no.3
    • /
    • pp.13-22
    • /
    • 2017
  • This research proposes and applies a pipelining parallel processing technique to enhance the speed of visualizing the results of real-time simulations. Generally, a simulation with real-time visualization consists of three processes: executing a simulation model, transmitting simulation result, and visualizing simulation result. If we have these processes in serial, the latency from simulation to visualization will be very long, which degrades the speed of visualization of data from real-time simulation. Thus, the main purpose of this research is maximizing performance by adapting pipelining parallel processing technique to the real-time simulation visualization. Also we show that performance is improved by adding multi-threading technique to each process. This paper proposes a theoretical performance model and simulation results of the techniques and then we applied this to an air combat simulation model as a case study. As the result, it shows that the performance is greatly enhanced than the original model's execution time.