• 제목/요약/키워드: Multi-decoder

검색결과 195건 처리시간 0.02초

Fine-scalable SPIHT Hardware Design for Frame Memory Compression in Video Codec

  • Kim, Sunwoong;Jang, Ji Hun;Lee, Hyuk-Jae;Rhee, Chae Eun
    • JSTS:Journal of Semiconductor Technology and Science
    • /
    • 제17권3호
    • /
    • pp.446-457
    • /
    • 2017
  • In order to reduce the size of frame memory or bus bandwidth, frame memory compression (FMC) recompresses reconstructed or reference frames of video codecs. This paper proposes a novel FMC design based on discrete wavelet transform (DWT) - set partitioning in hierarchical trees (SPIHT), which supports fine-scalable throughput and is area-efficient. In the proposed design, multi-cores with small block sizes are used in parallel instead of a single core with a large block size. In addition, an appropriate pipelining schedule is proposed. Compared to the previous design, the proposed design achieves the processing speed which is closer to the target system speed, and therefore it is more efficient in hardware utilization. In addition, a scheme in which two passes of SPIHT are merged into one pass called merged refinement pass (MRP) is proposed. As the number of shifters decreases and the bit-width of remained shifters is reduced, the size of SPIHT hardware significantly decreases. The proposed FMC encoder and decoder designs achieve the throughputs of 4,448 and 4,000 Mpixels/s, respectively, and their gate counts are 76.5K and 107.8K. When the proposed design is applied to high efficiency video codec (HEVC), it achieves 1.96% lower average BDBR and 0.05 dB higher average BDPSNR than the previous FMC design.

멀티-기가비트 무선 통신을 위한 60GHz Wi-Fi 설계 및 구현 (Design and Implementation of 60 GHz Wi-Fi for Multi-gigabit Wireless Communications)

  • 윤정민;조오현
    • 한국융합학회논문지
    • /
    • 제11권6호
    • /
    • pp.43-49
    • /
    • 2020
  • 밀리미터파 통신 기술의 주목할 만한 발전에도 불구하고, 60GHz Wi-Fi는 여전히 광범위한 적용 범위의 제한으로 인해 아직 널리 보급되지 않았다. 종래에는 높은 주파수에서 발생하는 신호 감쇄를 극복하기 위해 빔포밍 기술 도입이 필수적이지만 모든 방향으로의 빔 형성 범위를 유지하면서 빠른 빔 적응을 달성하기에는 어려움이 있었다. 또한 이와 동시에 멀티-기가비트의 높은 데이터 속도를 지원하는 것은 거의 불가능했다. 본 연구 에서는 60GHz 밀리미터파 통신 시스템에서 발생하는 이러한 문제를 해결하기 위한 전체적인 시스템 설계하고 구현하였다. 구현 손실을 최소화하면서 6.72 Gbps 코딩 처리량을 가능하게 하는 향상된 설계 LDPC 디코더를 소개하며, 향상된 위상 추적 알고리즘은 16 QAM 변조 및 LDPC 코드 속도 3/4의 경우 1 % 패킷 에러율에서 3.2 dB 성능 이득을 보장하여 높은 주파수의 빔포밍을 수행하는 도중에도 높은 데이터 전송율을 달성할 수 있다.

ViStoryNet: 비디오 스토리 재현을 위한 연속 이벤트 임베딩 및 BiLSTM 기반 신경망 (ViStoryNet: Neural Networks with Successive Event Order Embedding and BiLSTMs for Video Story Regeneration)

  • 허민오;김경민;장병탁
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제24권3호
    • /
    • pp.138-144
    • /
    • 2018
  • 본 고에서는 비디오로부터 coherent story를 학습하여 비디오 스토리를 재현할 수 있는 스토리 학습/재현 프레임워크를 제안한다. 이를 위해 연속 이벤트 순서를 감독학습 정보로 사용함으로써 각 에피소드들이 은닉 공간 상에서 궤적 형태를 가지도록 유도하여, 순서정보와 의미정보를 함께 다룰 수 있는 복합된 표현 공간을 구축하고자 한다. 이를 위해 유아용 비디오 시리즈를 학습데이터로 활용하였다. 이는 이야기 구성의 특성, 내러티브 순서, 복잡도 면에서 여러 장점이 있다. 여기에 연속 이벤트 임베딩을 반영한 인코더-디코더 구조를 구축하고, 은닉 공간 상의 시퀀스의 모델링에 양방향 LSTM을 학습시키되 여러 스텝의 서열 데이터 생성을 고려하였다. '뽀롱뽀롱 뽀로로' 시리즈 비디오로부터 추출된 약 200 개의 에피소드를 이용하여 실험결과를 보였다. 실험을 통해 에피소드들이 은닉공간에서 궤적 형태를 갖는 것과 일부 큐가 주어졌을 때 스토리를 재현하는 문제에 적용할 수 있음을 보였다.

임베디드 시스템에서의 다중 표준 영상 코덱 (Multi-standard Video Codec on Embedded System)

  • 김기철;김민
    • 전자공학회논문지CI
    • /
    • 제40권4호
    • /
    • pp.214-221
    • /
    • 2003
  • 본 논문에서는 H.261과 H.263 표준을 모두 만족하는 영상 코텍을 임베디드 시스템에서 구현한다. 효율적인 실시간 처리를 위하여, 영상 코덱은 하드웨어 모듈과 소프트웨어 모듈로 구분되어 임베디드 시스템에서 통합 설계된다. 소프트웨어 모듈은 실시간 운영체제와 RISC 프로세서를 이용하여 수행되며, 하드웨어 모듈과 연동하여 실시간으로 영상을 압축하고 복원한다. 시스템 버스로는 AMBA AHB가 사용되며 하드웨어 모듈은 AMBA AHB의 마스터(master)와 슬레이브(slave)의 역할을 모두 수행한다. 영상 압축과정을 실시간으로 처리하기 위하여 인코더의 하드웨어 모듈은 파이프라인으로 설계된다. 구현된 영상 코덱은 H.261과 H.263 표준에 준하여 33㎒의 동작 주파수에서 1초 동안에 CIF 화면 15장을 동시에 압축하고 복원한다.

MB-OFDM 방식 UWB 모뎀의 SoC칩 설계 (MB-OFDM UWB modem SoC design)

  • 김도훈;이현석;조진웅;서경학
    • 한국통신학회논문지
    • /
    • 제34권8C호
    • /
    • pp.806-813
    • /
    • 2009
  • 본 논문은 고속 무선 통신을 위한 모뎀 설계에 관한 것이다. 고속 통신을 위한 기술에는 여러 가지가 있는데, 그 중 넓은 주파수를 사용하고 여타 서비스에 주파수 간섭을 일으키지 않는 기술인 MB-OFDM (Multi-Band Orthogonal Frequency Division Multiplexing) 방식의 UWB (Ultra-Wideband) 모뎀의 SoC (System-on-Chip) 칩을 설계하였다. 개발된 모뎀 SoC 칩의 기저대역 시스템은 WiMedia에서 정의한 표준안을 따라서 설계되었다. 설계된 SoC 칩은 코어 부분인 FFT/lFFT (Fast Fourier Transform/lnverse Fast Fourier Transform), 송신부, 심볼동기 및 주파수 오프셋 추정부, 비터비 디코더, 그리고 기타 수신부등으로 구성되어 있다. 반도체 공정은 90nm CMOS (Complementary Metal-Oxide-Semiconductor) 공정을 사용하였고, 칩 사이즈는 약 5mm x 5mm 이다. 2009년 7월 20일에 fab-out되었다.

ATSC 지상파 디지털 TV 방송의 단일 주파수 망 구성을 위한 등화형 디지털 동일 채널 중계기 (Equalization Digital On-Channel Repeater for Single Frequency Network Composition of ATSC Terrestrial Digital TV Broadcasting)

  • 박성익;음호민;이용태;김흥묵;서재현;김형남;김승원
    • 방송공학회논문지
    • /
    • 제9권4호
    • /
    • pp.371-383
    • /
    • 2004
  • 본 논문에서는 단일 주파수 망(Single Frequency Network: SFN)을 통해 ATSC(Advanced Television Systems Committee) 지상과 디지털 TV 방송을 서비스하기 위해 필요한 기술적인 요구 사항에 대하여 고찰하고, 기존 디지털 동일 채널 중계기(Digital On-Channel Repeater: DOCK)가 가지는 단점을 극복한 등화형 동일 채널 중계기(Equalization Digital On-Channel Repeater: EDOCR)를 제안한다. EDOCR은 오류정정(Forward Error Correction: FEC) 복호 및 부호화부를 사용하지 않기 때문에 모호성(ambiguity) 문제가 발생하지 않아서 EDOCR의 입력 신호와 출력 신호가 동일하며, 고성능 등화기를 사용하여 주송신기와 EDOCR 사이의 전송로에 의해 야기된 잡음 및 다중경로 신호를 제거하므로 EDOCR 출력 신호의 품질이 입력 신호 보다 우수하다. 또한 낮은 안테나 격리도(isolation)로 인해 야기된 궤환(feedback) 신호를 EDOCR 등화기에서 제거할 수 있기 때문에 송신 출력을 높일 수 있다.

ISFRNet: A Deep Three-stage Identity and Structure Feature Refinement Network for Facial Image Inpainting

  • Yan Wang;Jitae Shin
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권3호
    • /
    • pp.881-895
    • /
    • 2023
  • Modern image inpainting techniques based on deep learning have achieved remarkable performance, and more and more people are working on repairing more complex and larger missing areas, although this is still challenging, especially for facial image inpainting. For a face image with a huge missing area, there are very few valid pixels available; however, people have an ability to imagine the complete picture in their mind according to their subjective will. It is important to simulate this capability while maintaining the identity features of the face as much as possible. To achieve this goal, we propose a three-stage network model, which we refer to as the identity and structure feature refinement network (ISFRNet). ISFRNet is based on 1) a pre-trained pSp-styleGAN model that generates an extremely realistic face image with rich structural features; 2) a shallow structured network with a small receptive field; and 3) a modified U-net with two encoders and a decoder, which has a large receptive field. We choose structural similarity index (SSIM), peak signal-to-noise ratio (PSNR), L1 Loss and learned perceptual image patch similarity (LPIPS) to evaluate our model. When the missing region is 20%-40%, the above four metric scores of our model are 28.12, 0.942, 0.015 and 0.090, respectively. When the lost area is between 40% and 60%, the metric scores are 23.31, 0.840, 0.053 and 0.177, respectively. Our inpainting network not only guarantees excellent face identity feature recovery but also exhibits state-of-the-art performance compared to other multi-stage refinement models.

딥러닝을 이용한 부채널 데이터 압축 프레임 워크 (Side-Channel Archive Framework Using Deep Learning-Based Leakage Compression)

  • 정상윤;진성현;김희석
    • 정보보호학회논문지
    • /
    • 제34권3호
    • /
    • pp.379-392
    • /
    • 2024
  • 데이터의 급속한 증가와 함께 저장 공간 절약과 데이터 전송의 효율성이 중요한 문제로 대두되면서, 데이터 압축기술의 효율성 연구가 중요해졌다. 무손실 알고리즘은 원본 데이터를 정확히 복원할 수 있지만, 압축 비율이 제한적이며, 손실 알고리즘은 높은 압축률을 제공하지만 데이터의 일부 손실을 수반한다. 이에 딥러닝 기반 압축 알고리즘, 특히 오토인코더 모델이 데이터 압축 분야에서 활발한 연구가 진행됐다. 본 연구에서는 오토인코더를 활용한 새로운 부채널 분석 데이터 압축기를 제안한다. 제안하는 부채널 데이터 대상 압축기는 부채널데이터 특성을 잘 유지할 뿐만 아니라, 기존의 널리 사용되는 Delfate 압축방식 대비 높은 압축률을 보인다. 로컬 연결 레이어를 사용한 인코더는 부채널 데이터의 시점별 특성을 효과적으로 보존하고, 디코더는 멀티 레이어 퍼셉트론을 사용하여 빠른 압축해제 시간을 유지한다. 상관 전력 분석을 통해 제안된 압축기가 부채널 데이터의 특성을 손실 없이 데이터 압축이 가능을 증명하였다.

드론 방제의 최적화를 위한 딥러닝 기반의 밀도맵 추정 (Density map estimation based on deep-learning for pest control drone optimization)

  • 성백겸;한웅철;유승화;이춘구;강영호;우현호;이헌석;이대현
    • 드라이브 ㆍ 컨트롤
    • /
    • 제21권2호
    • /
    • pp.53-64
    • /
    • 2024
  • Global population growth has resulted in an increased demand for food production. Simultaneously, aging rural communities have led to a decrease in the workforce, thereby increasing the demand for automation in agriculture. Drones are particularly useful for unmanned pest control fields. However, the current method of uniform spraying leads to environmental damage due to overuse of pesticides and drift by wind. To address this issue, it is necessary to enhance spraying performance through precise performance evaluation. Therefore, as a foundational study aimed at optimizing drone-based pest control technologies, this research evaluated water-sensitive paper (WSP) via density map estimation using convolutional neural networks (CNN) with a encoder-decoder structure. To achieve more accurate estimation, this study implemented multi-task learning, incorporating an additional classifier for image segmentation alongside the density map estimation classifier. The proposed model in this study resulted in a R-squared (R2) of 0.976 for coverage area in the evaluation data set, demonstrating satisfactory performance in evaluating WSP at various density levels. Further research is needed to improve the accuracy of spray result estimations and develop a real-time assessment technology in the field.

Software Defined Radio를 위한 I/Q 부정합 보정 기능을 갖는 이중 대역 Six-Port 직접변환 수신기 (Dual-Band Six-Port Direct Conversion Receiver with I/Q Mismatch Calibration Scheme for Software Defined Radio)

  • 문성모;박동훈;유종원;이문규
    • 한국전자파학회논문지
    • /
    • 제21권6호
    • /
    • pp.651-659
    • /
    • 2010
  • 본 논문에서는 software defined radio(SDR) 기반의 고속의 다중 모드, 다중 대역을 위한 새로운 six-port 직접변환 수신기를 제안한다. 설계한 수신기는 2개의 CMOS four-port BPSK 수신기와 직교 LO 신호 발생을 위한 이중 대역 1단 polyphase 필터로 구성되어 있다. 0.18 ${\mu}m$ CMOS 공정을 이용하여 마이크로파 대역에서 처음으로 개발한 four-port 수신기는 두 개의 능동 결합기, 능동 발룬, 두 개의 전력 검출기 및 아날로그 디코더로 구현되어 있다. 제안한 polyphase 필터는 type-I 구조를 선택하였으며, LO 신호의 전력 손실을 줄이기 위하여 1단으로 구현 하였고, 커패시터를 사용하는 것 대신하여 LC 공진구조를 적용하여 이중 대역 동작을 구현하였다. 제안한 sixport 수신기의 RF 가용범위를 확장하기 위하여, six-port junction과 전력 검출기에 I/Q 위상 및 크기를 보정하는 회로를 추가하였다. 제안한 회로에서 위상과 크기 부정합의 보정 범위는 각각 8도와 14 dB이다. 제작한 six-port 수신기는 이중 대역인 900 MHz와 2.4 GHz 대역에서 M-QAM, M-PSK의 40 Msps의 변조 신호를 성공적으로 복조하였다.