• 제목/요약/키워드: 직렬화

검색결과 314건 처리시간 0.026초

정밀도로지도의 대용량 공간데이터 교환을 위한 직렬화 기법 설계 (Serialization Method for large spatial data transmission of High Definition Map)

  • 이은일;김덕호
    • 한국지리정보학회지
    • /
    • 제25권4호
    • /
    • pp.32-48
    • /
    • 2022
  • 공간데이터의 활용 범위와 서비스가 늘어나면서 정밀한 공간데이터를 필요로 하는 기술들이 많아지고 있다. 특히 정밀도로지도는 3차원 공간데이터를 수집, 가공, 처리하는 것이 필수적이며 이를 통해 자율주행 지원이 가능하다. 본 연구에서는 정밀도로지도를 대상으로 대용량의 공간데이터를 효율적으로 저장 및 전송할 수 있는 공간데이터 직렬화 기법을 설계하고 구현하였다. 효율적인 직렬화를 위해 바이너리 형태의 공간데이터 구조를 정의하였으며 Zigzag-Z-order 곡선을 활용하여 정보의 손실 없는 좌표 값 인코딩 기법을 설계하였다. 설계한 공간데이터 직렬화 기법을 정밀도로지도 대상으로 구현 및 적용하여 Protocol buffer, Geobuf와 인코딩 후 데이터 크기, 인코딩/디코딩 속도를 비교하였다. 그 결과 경량화 성능과 인코딩 속도는 모든 유형의 공간데이터에서 설계한 직렬화 방식이 우수한 것을 확인하였다. 하지만 디코딩 속도는 선과 면 유형의 공간데이터에서 다른 직렬화 기법의 성능이 우수하였다. 본 연구를 통해 바이너리 형식의 직렬화 기법으로 공간데이터를 효율적으로 인코딩하여 저장 및 전송할 수 있다는 것을 확인하였다.

Spark 클러스터 환경에서 분산 처리 성능 향상을 위한 Buffer 최적화 시스템 연구 (A Study on Buffer Optimization System for Improving Performance in Spark Cluster)

  • 홍석민;이소영;신용태
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 춘계학술발표대회
    • /
    • pp.396-398
    • /
    • 2023
  • Statista 통계 조사에 따르면 데이터의 규모는 매년 증가할 것으로 예상하고 빅데이터 처리 프레임워크의 관심이 높아지고 있다. 빅데이터 처리 프레임워크 Spark는 Shuffle 과정에서 노드 간 데이터 전송이 일어난다. 이때 분산 처리한 데이터를 네트워크로 전송하기 위해 객체를 바이트 스트림으로 변환하여 메모리 buffer에 담는 직렬화 작업이 필요하다. 그러나 바이트 스트림을 buffer에 담는 과정에서 바이트 스트림의 크기가 메모리 buffer보다 클 경우, 메모리 할당 과정이 추가로 발생하여 전체적이 Spark의 성능 저하로 이어질 수 있다. 이에 본 논문에서는 Spark 환경에서 분산 처리 성능 향상을 위한 직렬화 buffer 최적화 시스템을 제안한다. 제안하는 방법은 Spark Driver가 Executor에게 작업을 할당하기 전 직렬화된 데이터 크기 측정과 직렬화 옵션 설정을 통해 Executor에게 적절한 buffer를 할당할 수 있다. 향후 제안하는 방법의 검증을 위해 실제 Spark 클러스터 환경에서 성능 평가가 필요하다.

(225, 223) RS 부호의 직렬부호기 (A Bit-serial Encoder of (255, 223) Reed-Solomon code)

  • 조용석;이만영
    • 한국통신학회논문지
    • /
    • 제13권5호
    • /
    • pp.429-436
    • /
    • 1988
  • 본 논문에서는 유한체GF($2^m$)상의 원소들을 표현하는 데 있어서 기존의 표준기지(standard basis) 표현 대신 쌍대기지(Dual basis)표현을 이용하여 GF($2^m$)상의 승산을 직렬화시킨 Berlekamp의 직렬승산 알고리즘(Bit-Serial Multiplier Algorithm)을 연구 분석하고 이를 이용하여 직렬로 동작되는 Reed-Solomon부호의 직렬부호기를 설계하였다. 또한 오류정정능력이 16인 (255, 233) Reed-Solomon부호를 택하여 이 직렬부호기를 TTL IC로 직접 장치화함으로써 이 부호기가 기존의 부호기보다 훨씬 간단한 Hardware로 장치화될 수 있음을 보였다.

  • PDF

다단계 보안 데이터베이스 시스템에서 병행수행 제어의 직렬화 순서를 재조정하기 위한 요청 2단계 로킹기법 (Request Two-Phase Locking Method for Series Sequence Re-adjustment of Concurrency Control in Multi-Level Secure DBMS)

  • 이승수;조진성;정병수
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2004년도 춘계학술발표대회
    • /
    • pp.105-108
    • /
    • 2004
  • 다단계 보안데이터베이스 시스템에서 기본적인 병행수행 제어 기법들은 비밀채널과 교착상태등과 같은 문제들이 발생하였다. 이에 직렬화 순서를 동적으로 재조정함으로서 해결하려는 방안이 있었지만, 알고리즘의 복잡성으로 인해 오버 헤드와 많은 수행시간이 필요하게 되었고, 이에 따라 많은 양의 시스템 자원과 높은 사양의 시스템을 요구하게 되었다. 또한 이러한 방법은 다중 버전을 사용함으로서 추가적인 관리비용이 높게 되었고, 각각의 트랜잭션이 지연 및 재수행이란 불필요한 과정을 반복하게 되었다. 따라서 본 논문에서는 제안한 알고리즘은 데이터베이스의 용도에 맞게 직렬화 순서를 보장하여 스케줄을 관리하는 요청 2단계 로킹기법(Request Two-phase Locking)으로서 이는 2단계 로킹기법의 기본원리에 요청로크를 사용함으로 보다 효율적으로 병행제어를 할 수 있다. 여기서 요청로크는 각각의 트랜잭션 스케줄에 로크획득 및 해제를 병행수행제어의 필요에 따라 유동적으로 할 수 있으며, 읽기로크, 쓰기로크, 요청로크라는 3가지 로킹모드를 통해 대처방안을 마련함으로서, 충돌을 방지하며, 충돌연산의 특성에 따라 직렬화 순서를 동적으로 조정함으로 블록킹을 막는 병행제어를 응용하여 병렬성을 유지한다.

  • PDF

단상 직렬 UPS 모듈의 위상동기화 제어 알고리즘 (Control Algorithm of Phase Synchronization in Single-Phase Serial UPS Module)

  • 백승호;이순령;이택기;원충연
    • 전력전자학회:학술대회논문집
    • /
    • 전력전자학회 2015년도 전력전자학술대회 논문집
    • /
    • pp.61-62
    • /
    • 2015
  • 본 논문에서는 단상 UPS 모듈을 직렬로 연결 시 모듈간의 위상을 동기화하는 제어 알고리즘을 제안한다. 단상 직렬 모듈 UPS 시스템을 구성할 때, 각 모듈의 위상이 동기화 되어 있지 않는다면 직렬 연결된 출력단을 통해 부하에 불안정한 전력을 공급하게 된다. 따라서 직렬 구성으로 각 모듈의 출력전압 위상을 동기화하여 안정적인 출력전압 제어가 필요하다. 기존에는 CAN통신을 이용했지만 본 논문에서는, Master, Slave 모듈의 PLL 기법을 이용한 순차적인 제어를 통해 위상을 동기화시킬 수 있는 제어 알고리즘을 제안한다. 제안하는 제어 알고리즘은 시뮬레이션을 통해 타당성을 검증하였다.

  • PDF

직렬화 디스패쳐 워커모델 기법 (Serialization Dispatcher Worker Model)

  • 임상우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 추계학술발표대회
    • /
    • pp.573-575
    • /
    • 2014
  • 클럭 경쟁에서 코어 경쟁으로 전환된 요즘. 병렬 프로그래밍은 중요 하다. 동기화 개체를 사용하면 병목 현상이 발생하며, 1:1 Thread 모델은 자원의 낭비와 문맥전환 비용이 발생한다. Thread 풀 모델은 직렬화에 약점을 가지는게 되는데, 본 논문에서는 다중 개체 대응에 적합한 병렬 프로그래밍 모델을 제시한다.

데이터 직렬화 기법을 활용한 차세대 브이월드 3차원 데이터의 호환성 개선 방안 (Improving Compatibility Method of New Vworld 3D Data Using the Serialization Technique)

  • 강지훈;김현덕;김정택
    • 한국지리정보학회지
    • /
    • 제21권1호
    • /
    • pp.96-105
    • /
    • 2018
  • 공간정보 오픈플랫폼 지도서비스인 브이월드에서는 다양한 국가공간정보를 제공하고 있다. 최근 IT기술발달에 따라 사물인터넷, 자율주행차 등의 신산업과 융합할 수 있는 3차원 공간정보의 수요가 증가하고 있다. 3차원 공간정보 데이터는 구조가 복잡하고 용량이 커서 서비스를 위해 많은 컴퓨터 자원이 요구된다. 브이월드를 비롯한 3차원 지도 서비스는 대부분 성능을 고려해 바이너리 형태의 데이터를 구축하여 사용하고 있다. 그러나 이러한 형태의 데이터는 명세서에 대한 정확한 이해가 없는 경우에 다른 서비스에서 사용하기 어렵다. 따라서 본 연구에서는 바이너리 형태로 구축된 차세대 브이월드 3차원 포맷의 호환성을 개선하고 사용자의 편리성을 높이기 위해 데이터 직렬화 기법을 제안하였다. 바이너리 데이터와 데이터 직렬화 기법을 적용한 데이터의 성능을 테스트한 결과 직렬화된 데이터의 성능이 바이너리 데이터와 유사한 성능을 보였다. 따라서 직렬화가 적용된 3차원 데이터 포맷을 사용한다면 브이월드 성능의 저하 없이 다른 서비스와의 호환성을 얻을 수 있다.

방송환경에서 질의 거래를 위해 직렬화 그래프에 기반을 둔 동시성 제어 기법 (Concurrency Control based on Serialization Graph for Query Transactions in Broadcast Environment : CCSG/QT)

  • 이욱현;황부현
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제30권1호
    • /
    • pp.95-107
    • /
    • 2003
  • 방송환경은 서버(server)와 클라이언트(client)간 대역폭이 서버에서 클라이언트 쪽으로는 크고 클라이언트에서 서버쪽으로의 대역폭은 상대적으로 많이 작은 비대칭적(asymmetric) 특수한 환경이다. 또한 대부분의 방송 환경 응용 시스템들은 클라이언트 측에서 발생한 주로 주식 데이타, 교통 정보와 새로운 뉴스와 같은 여러 가지 다양한 정보를 검색하는 읽기전용 즉 질의 거래들을 허락한다. 그러나. 기존의 여러가지 동시성 제어 기법들은 이러한 특수성을 고려하지 않음으로써 방송 환경에 적용된 때 거래들의 불필요한 철회를 일으킨다. 이 논문에서는 방송환경에서 질의 거래를 위한 효율적인 동시성 제어 기법을 제안한다. 이 기법은 서버에 의해 관리 유지되고 클라이언트에 의해 읽혀지는 데이타의 상호 일치성과 데이터의 현재성을 만족시키기에 가장 적절한 정확성 검증 기준인 약한 일치성(Weak consistency)을 채택하였다. 또한, 그것을 효율적으로 실행할 수 있도록 직렬화 그래프(serializability graph)를 이용하였다. 그 결과, 전역적 직렬화를 적용할 때 발생되는 질의 거래의 불필요한 철회 및 재시작의 횟수를 줄임으로써 성능향상을 도모하였다.

멀티데이터베이스 시스템에서는 메시징 순서를 적용한 전역 동시성 제어 기법 (Global Concurrency Control using Messaging Ordering in Multidatabase System)

  • 문애경;남궁한
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (2)
    • /
    • pp.16-18
    • /
    • 2003
  • 멀티데이터베이스 시스템이란 기존에 독자적으로 개발되어 사용되고 있는 서로 다른 지역 데이터베이스 시스템들을 논리적으로 통합하기 위해 제안된 시스템이다. 본 논문에서는 논리적인 통합 인터페이스로 메시징 소프트웨어를 이용하고 메시징 순서 기능을 적용한 전역 동시성 제어 기법을 제안한다. 전역 직렬성을 보장하기 위하여 전역 트랜잭션의 서브 트랜잭션이 실행되는 모든 LDBS에서 같은 순서로 직렬화 되어야 한다. 메시징 순서 기능은 하의 노드가 여러 개 메시기를 송신하는 경우, 모든 노드는 송신한 순서에 따라 메시지를 수신함을 보장하는 것으로 이를 이용하여 전역 트랜잭션의 서브 트랜잭션들을 실행 노드에 같은 순서로 전송하고 실행 LDBS는 해당 순서대로 직렬화한다면 전역 직렬성을 보장할 수 있다. 그 결과 제안된 기법은 LDBS의 실행 정보 없이 전역 트랜잭션의 상대적인 실행 순서를 결정할 수 있기 때문에 지역 자치성을 보장한다.

  • PDF

다중 스레드 파이프라인 병렬처리를 통한 실시간 시뮬레이션 시각화의 성능 향상 해석 및 적용 (Analysis and Application of Performance Improvement of a Real-time Simulation Visualization based on Multi-thread Pipelining Parallel Processing)

  • 이준희;송희강;김탁곤
    • 한국시뮬레이션학회논문지
    • /
    • 제26권3호
    • /
    • pp.13-22
    • /
    • 2017
  • 본 연구는 시뮬레이션을 진행하면서 그 결과를 실시간으로 시각화하는 경우에 파이프라이닝 병렬처리 기법을 적용하여 성능을 개선할 수 있음을 보인다. 일반적으로 실시간 시각화를 포함한 시뮬레이션에서는 모델을 실행하는 프로세스와, 시뮬레이션 결과를 시각화 도구로 전송하는 프로세스, 결과를 받아서 시각화 하는 3개의 프로세스가 있다. 만약 이 프로세스들을 직렬화해서 실행하면 전체 실행시간이 매우 길어져서 시각화의 성능이 저하될 수밖에 없다. 본 연구에서는 기존의 직렬 방식 대신에 파이프라이닝 병렬처리 기법을 적용하여 성능을 개선하고자 한다. 추가적으로 각 프로세스에 다중 스레드 기능을 더하여 더 큰 성능의 개선이 있음을 보인다. 이를 위해 본 논문은 제안된 기법에 대한 이론적 성능모델을 세우고 최대, 최소 성능 향상 조건을 이론적으로 해석하였으며 모의실험하였다. 이 이론을 바탕으로 실시간으로 시각화하는 실시간 공중전 시뮬레이션에 적용한 결과 기존의 직렬화된 실행 성능보다 제안된 이론을 적용한 후의 실행 성능이 크게 향상되었음을 보였다.