• 제목/요약/키워드: Motion vector prediction

검색결과 151건 처리시간 0.021초

립모션 센서 기반 증강현실 인지재활 훈련시스템을 위한 합성곱신경망 손동작 인식 (Hand Gesture Recognition with Convolution Neural Networks for Augmented Reality Cognitive Rehabilitation System Based on Leap Motion Controller)

  • 송근산;이현주;태기식
    • 대한의용생체공학회:의공학회지
    • /
    • 제42권4호
    • /
    • pp.186-192
    • /
    • 2021
  • In this paper, we evaluated prediction accuracy of Euler angle spectrograph classification method using a convolutional neural networks (CNN) for hand gesture recognition in augmented reality (AR) cognitive rehabilitation system based on Leap Motion Controller (LMC). Hand gesture recognition methods using a conventional support vector machine (SVM) show 91.3% accuracy in multiple motions. In this paper, five hand gestures ("Promise", "Bunny", "Close", "Victory", and "Thumb") are selected and measured 100 times for testing the utility of spectral classification techniques. Validation results for the five hand gestures were able to be correctly predicted 100% of the time, indicating superior recognition accuracy than those of conventional SVM methods. The hand motion recognition using CNN meant to be applied more useful to AR cognitive rehabilitation training systems based on LMC than sign language recognition using SVM.

GOP 구조 변환에 있어서의 효율적인 트랜스코딩 기법 (EFFICIENT VIDEO TRANSCODING IN THE GOP STRUCTURE CONVERSION)

  • 이강준;김정준;정제창
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2007년도 심포지엄 논문집 정보 및 제어부문
    • /
    • pp.292-294
    • /
    • 2007
  • Recently, for satisfying many application demands such as coding delay, computing power, transporting channel characteristic, etc, many profiles are supported in video coding standards. Therefore, in transcoding between same standards or between other standards, the functional difference of profiles supported by application occur many problems. In this paper, transcoding MPEG-2 main profile to H.264/AVC baseline profile which has restriction in the number of reference frame is focused. In this case, the bidirectional prediction supported in MPEG-2 main profile is not supported in H.264/AVC baseline profile. Also, in the restriction of reference frame, motion vectors in the MPEG-2 decoder as predictor should be adjusted. In this paper, the proposed algorithm is based on the characteristic of which motion. vector is uniform according to the distance from reference frame. The adaptive search techniques through the determination of the uniformity extremely reduce the computational complexity.

  • PDF

VVC 의 블록모양 적응적 화면간 예측 후보 리스트 유도 기법 (Block Shape Adaptive Candidate List Derivation for Inter Prediction in Versatile Video Coding (VVC))

  • 도지훈;박도현;김재곤;정대권
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2018년도 하계학술대회
    • /
    • pp.257-259
    • /
    • 2018
  • 최근 JVET(Joint Video Experts Team)는 새로운 비디오 압축 표준을 VVC(Versatile Video Coding)으로 이름 짓고 2020 년 완료를 목표로 그 표준화를 시작하였다. HEVC 및 VVC 에서는 화면간 예측의 부호화 효율을 위하여 공간적/시간적 주변블록의 움직임 정보로부터 Merge/AMVP(Advanced Motion Vector Prediction)의 후보 리스트를 구성하고 최적의 움직임 정보를 활용한다. 본 논문에서는 Merge/AMVP 의 후보 리스트를 유도할 때, 현재블록의 모양을 고려하여 상관성이 높은 주변블록의 움직임 정보를 우선 순위로 유도하는 기법을 제안한다. 실험을 통하여 VTM(VVC TM) 대비 제안기법의 성능을 확인한다.

  • PDF

경계 방향성을 고려한 스테레오 동영상의 움직임-변이 동시추정 기법 (Edge-Directional Joint Disparity-Motion Estimation of Stereoscopic Sequences)

  • 김용태;서형갑;박창섭;이재호;손광훈
    • 방송공학회논문지
    • /
    • 제9권3호
    • /
    • pp.196-206
    • /
    • 2004
  • 본 논문에서는 스테레오 동영상 CODEC (Coder and decoder)을 위한 효율적인 변이와 움직임의 동시추정 기법을 제안한다. 동시 추정 기법은 좌우 움직임 벡터와 이전 시점의 변이 벡터를 이용해서 현재 시점의 변이 벡터를 예측한다. 하지만 동시추정 기법은 추정 오류가 축적되고 가려진 영역으로 인해 벡터들이 잘못 추정될 경우 성능이 매우 떨어질 수가 있다. 이런 문제점을 해결하기 위해서 동시추정 기법과 별도로 공간적인 변이 벡터의 예측을 수행한다. 즉, 동시 추정과 공간적인 변이 벡터의 예측을 통해서 정확한 변이 벡터들을 구해내어 전체 부호화 효율을 높일 수 있다. 마지막으로 본 논문에서는 역방향 사진트리 분할 기법을 제안한다. 역방향 사진트리 분할 기법은 사진트리 분할 정보를 보내지 않고도 상세한 변이맵을 얻어낼 수 있기 때문에 변이 보상의 성능을 높일 수 있었다. 실험 결과를 통해서 제안 알고리듬이 기존 알고리듬과 비교하여 수행시간이 9배가량 감소하고 주관적 화질에서 좋은 결과를 보임을 확인하였고 객관적 화질 평가에서 0.5~1.5dB가량 PSNR이 높아짐을 확인하였다.

HEVC의 분할 영역에서 효율적인 움직임 정보 표현 (Efficient Motion Information Representation in Splitting Region of HEVC)

  • 이동식;김영모
    • 한국멀티미디어학회논문지
    • /
    • 제15권4호
    • /
    • pp.485-491
    • /
    • 2012
  • 본 논문은 움직임 벡터와 함께 Coding Unit (CU)의 분할 정보를 표현하기 위해 쿼드트리 기반의 Coding Unit Tree (CUT)를 제안한다. 새로운 동영상 국제 표준안인 High Efficiency Video Coding (HEVC)는 높은 압축 효율을 위해 다양한 새로운 기술들을 채택하였다. 그리고 CU, prediction Unit (PU), 와 Transform Unit (TU)라는 분할 개념을 도입하였다. 그중 기본 부호화 단위인 CU는 H.264/AVC의 매크로 블록보다 다양한 크기를 제공하며 계층적인 구조를 가지고 있으며 쿼드트리 기반의 영상을 분할하고 처리한다. 이러한 구조는 유연성과 최적화를 이룰 수 있는 기반을 제공하고 있으나, 분할 정보에 대한 오버헤더가 발생한다. 복잡한 움직임 정보가 발생하면, 해당하는 정보를 전송하기 위해 다양한 신호가 발생한다. 본 논문에서는 이러한 다양한 신호들을 분석하고, 중복되는 정보를 제거하기 위한 알고리즘을 제안한다. 제안하는 알고리즘 은 기본 블록인 $2{\times}2$ 블록을 기준으로 계층적인 구조를 제안한다. 제안하는 알고리즘은 쿼드트리 기반의 타입 코드로 영상을 구조를 나타내고, 대표 값과 잔여 값으로 각 노드의 값을 표현한다. 결과에서 제안하는 알고리즘이 HM1.0보다 13.6% 압축 향상을 보여준다.

움직임 벡터에 의한 관심영역 기반의 HEVC 고속 부호화 유닛 결정 방법 (Fast Coding Unit Decision Algorithm Based on Region of Interest by Motion Vector in HEVC)

  • 황인서;선우명훈
    • 전자공학회논문지
    • /
    • 제53권11호
    • /
    • pp.41-47
    • /
    • 2016
  • 고효율 영상 부호화 기술인 high efficiency video coding (HEVC)은 부호화 효율을 높이기 위하여 coding tree unit (CTU)을 사용한다. CTU는 coding unit (CU), prediction unit (PU), transform unit (TU)으로 구성되며 모든 가능한 경우의 CU, PU, TU 분할연산을 통해 최적의 분할 조합을 찾아내게 된다. 블록 분할 연산의 복잡도를 감소시키기 위하여 본 논문은 움직임 벡터에 의한 관심 영역 CTU 추출에 근거하는 PU 분할 결정 방법과 이전에 부호화된 프레임의 같은 위치의 CTU 정보를 사용하는 CU 깊이 결정 분할 알고리즘을 제안한다. 첫 번째 방법은 프레임 중 움직임이 많은 동적 CTU 부분과 움직임이 적은 정적 CTU 부분으로 나누어 정적인 영역에 대해 PU 분할 연산을 감소시키는 방법이며, 두 번째 방법은 이전 프레임의 CTU 깊이 정보를 기반으로 현재 CTU의 분할 깊이를 미리 예측하여 CU 분할 연산을 감소시킨다. 결과적으로 제안하는 알고리즘은 HEVC test model (HM) 14.0 버전 대비 BDBR 손실은 2.5% 발생했지만, 전체 부호화 시간이 약 44.8%로 크게 감소했다.

VHDL을 이용한 프로그램 가능한 스택 기반 영상 프로세서 구조 설계 (Design of Architecture of Programmable Stack-based Video Processor with VHDL)

  • 박주현;김영민
    • 전자공학회논문지C
    • /
    • 제36C권4호
    • /
    • pp.31-43
    • /
    • 1999
  • 본 논문의 주요 목표는 고성능 SVP(Stack-based Video Processor)를 설계하는 것이다. SVP는 과거에 제안된 스택 머신과 영상 프로세서의 최적의 측면만을 선택함으로써 더 좋은 구조를 갖도록 하는 포괄적인 구조이다. 본 구조는 객체 지향형 프로그램의 소규모의 많은 서브루틴을 가지고 있기 때문에 스택 버퍼를 갖는 준범용 S-RISC(Stack-based Reduced Instruction Set Comuter)를 이용하여 객체 지향형 영상 데이터를 처리한다. 그리고 MPEG-4의 반화소 단위 처리와 고급 모드 움직임 보상, 움직임 예측, SA-DCT(Shape Adaptive-Discrete Cosine Transform)가 가능하며, 절대값기, 반감기를 가지고 있어서 부호화하기로 확장할 수 있도록 하였다. SVP는 0.6㎛ 3-메탈 계층 CMOS 표준 셀 기준을 이용하여 설계되었으며, 110K 로직 게이트와 12Kbit SRAM 내부 버퍼로 이루어지고 50 MHz의 동작 속도를 가진다 . MPEG-4의 VLBL(Very Low Bitrate Video) 최대 전송율인 QCIF 15fps(frame per second)로 영상 재생 알고리즘을 수행한다.

  • PDF

정지기상위성자료를 이용한 중규모 바람장 산출 알고리즘 최적화 (Optimization of Mesoscale Atmospheric Motion Vector Algorithm Using Geostationary Meteorological Satellite Data)

  • 김소명;박정현;오미림;조희제;손은하
    • 대기
    • /
    • 제22권1호
    • /
    • pp.1-12
    • /
    • 2012
  • The Atmospheric motion vectors (AMVs) derived using infrared (IR) channel imagery of geostationary satellites have been utilized widely for real-time weather analysis and data assimilation into global numerical prediction model. As the horizontal resolution of sensors on-board satellites gets higher, it becomes possible to identify atmospheric motions induced by convective clouds ($meso-{\beta}$ and $meso-{\gamma}$ scales). The National Institute of Meteorological Research (NIMR) developed the high resolution visible (HRV) AMV algorithm to detect mesoscale atmospheric motions including ageostrophic flows. To retrieve atmospheric motions smaller than $meso-{\beta}$ scale effectively, the target size is reduced and the visible channel imagery of geostationary satellite with 1 km resolution is used. For the accurate AMVs, optimal conditions are decided by investigating sensitivity of algorithm to target selection and correction method of height assignment. The results show that the optimal conditions are target size of 32 km ${\times}$ 32 km, the grid interval as same as target size, and the optimal target selection method. The HRV AMVs derived with these conditions depict more effectively tropical cyclone OMAIS than IR AMVs and the mean speed of HRV AMVs in OMAIS is slightly faster than that of IR AMVs. Optimized mesoscale AMVs are derived for 6 months (Feb. 2010-Jun. 2010) and validated with radiosonde observations, which indicates NIMR's HRV AMV algorithm can retrieve successfully mesoscale atmospheric motions.

HEVC 스트림 상에서의 객체 추적 방법 (Object Tracking in HEVC Bitstreams)

  • 박동민;이동규;오승준
    • 방송공학회논문지
    • /
    • 제20권3호
    • /
    • pp.449-463
    • /
    • 2015
  • 동영상에서의 객체 추적은 보안, 색인 및 검색, 감시, 통신, 압축 등 다양한 분야에서 중요하다. 본 논문은 HEVC 비트스트림 상에서의 객체 추적 방법을 제안한다. 복호화를 수행하지 않고, 비트스트림 상에 존재하는 움직임 벡터(MV : Motion Vector)와 부호화 크기 정보를 Spatio-Temporal Markov Random Fields (ST-MRF) 모델에 적용해 객체 움직임의 공간적 및 시간적 특성을 반영한다. 변환계수를 특징점으로 활용하는 객체형태 조정 알고리즘을 적용해 ST-MRF 모델 기반 객체 추적방법에서 나타나는 과분할에 의한 오차전파 문제를 해결한다. 제안하는 방법의 추적성능은 정확도 86.4%, 재현율 79.8%, F-measure 81.1%로 기존방법 대비 평균 F-measure는 약 0.2% 향상하지만 기존방법에서 과분할 및 오차전파가 두드러지는 영상에 대해서는 최대 9% 정도의 성능향상을 보인다. 전체 수행시간은 프레임 당 평균 5.4ms이며 실시간 추적이 가능하다.

타일의 독립적 복호를 위한 HEVC 부호화 방법 및 문제점 분석 (HEVC Encoding Method and Problem Analysis for Independent Tile Decoding)

  • 권대혁;백아람;최해철
    • 방송공학회논문지
    • /
    • 제22권6호
    • /
    • pp.765-773
    • /
    • 2017
  • 4K이상의 초고해상도 영상의 수요가 증가함에 따라 복호화기가 요구하는 데이터 처리량이 늘어났으며, 이에 따라 소비자가 관심을 가지는 영역만을 복호화하는 방법의 필요성이 대두되었다. 이러한 관심영역을 독립적으로 복호화할 수 있는 방법에는 영상을 분할하여 분할된 각각의 영상을 부호화하는 방법과 HEVC(High Efficiency Video Coding)의 Tile기반 부호화를 이용할 수 있다. 본 논문에서는 이러한 영상 분할기반 부호화와 Tile 분할기반 부호화를 통해 관심영역의 독립적인 복호화를 수행할 수 있는 방법을 제안하고 각각의 성능을 분석한다. 실험결과에서는 제안방법의 결과로 부호화된 영상에 대해서 관심영역의 독립적 복호화가 가능함을 보이고 각 방법의 특징을 비교분석한다.