• ETRI Journal
• /
• 제43권3호
• /
• pp.538-548
• /
• 2021

This paper proposes an approach to improve the performance of no-reference video quality assessment for sports videos with dynamic motion scenes using an efficient spatiotemporal model. In the proposed method, we divide the video sequences into video blocks and apply a 3D shearlet transform that can efficiently extract primary spatiotemporal features to capture dynamic natural motion scene statistics from the incoming video blocks. The concatenation of a deep residual bidirectional gated recurrent neural network and logistic regression is used to learn the spatiotemporal correlation more robustly and predict the perceptual quality score. In addition, conditional video block-wise constraints are incorporated into the objective function to improve quality estimation performance for the entire video. The experimental results show that the proposed method extracts spatiotemporal motion information more effectively and predicts the video quality with higher accuracy than the conventional no-reference video quality assessment methods.

• 한국통신학회논문지
• /
• 제42권5호
• /
• pp.959-966
• /
• 2017

현재 도서, 만화 등의 디지털 저작물의 시장의 규모는 나날이 커져가고 있지만, 불법으로 디지털 이미지 형태로 유통되는 상황이 빈번히 발생하고 있다. 저작물에 대한 저작권 보호가 시급한 상황이지만, 국내외에 저작권 보호를 위한 기술은 미비하다. 디지털 이미지 형태로 유통되고 있는 여러 종류의 저작물들을 분류하고, 저작물의 종류에 맞게 저작물 식별 알고리즘을 적용한다면 저작권 위반 행위를 적발할 수 있다. 본 논문에서는 저작물 중 디지털 이미지의 형태로 불법 유통되는 도서, 만화, 웹툰, 일반 사진 등 4가지 저작물을 분류할 수 있는 알고리즘을 제안한다. 자연 영상에서 왜곡된 정도를 판단하는 기법인 NSS를 활용하여 각 디지털 저작물의 히스토그램을 추출하였다. 추출한 히스토그램을 입력으로 받는 SVM을 학습하여 디지털 저작물을 분류하였다. 본 논문에서 제안하는 저작물 식별 알고리즘을 통해 디지털 이미지 형태로 불법 유통되는 저작물들을 보다 쉽게 식별할 수 있어 저작권 보호에 도움이 될 것이다.

• 전자공학회논문지
• /
• 제51권4호
• /
• pp.131-143
• /
• 2014

본 논문에서는 자연 이미지가 갖는 통계적 일관성과 안개를 인식하는 시지각적 통계 특성을 이용하여 단일 안개 영상에서, 안개가 없는 참조 영상과의 비교 없이, 시지각적으로 안개 영상의 가시성을 예측한다. 제안하는 모델은 기존 안개 영상의 가시성 예측 방법들이 불가피하게 사용했던 추가 정보들, 예를 들면, 다수의 다양한 안개 영상, 차량 탑재 카메라의 지리적 위치 정보, 사람의 가시성 평가에 대한 학습 결과, 도로 선 혹은 교통 신호와 같이 안개 영상의 돋보이는 특정 물체 정보 등을 사용하지 않는다. 본 논문의 모델은 오직 테스트 안개 영상이 자연 현상에 의한 안개 영상 혹은 안개가 전혀 없는 영상에서 일관적으로 발견되는 통계적 특성으로부터 얼마나 떨어져 있는지 측정함으로써 안개 영상의 가시성을 예측한다. 시지각적으로 안개를 인식하여 일관된 통계를 나타내는 특징 인자들은 공간상의 자연 이미지 통계 모델과 안개 영상의 특징 (명암대비의 감소, 색상과 채도의 감소, 밝기의 증가)으로부터 유도된다. 제안하는 모델은 안개 영상의 전체 영역에 대한 가시성뿐만 아니라 각 관심 영역에서 패치 크기에 따른 지역적 안개 영상의 가시성도 예측할 수 있다. 본 모델의 성능분석을 위하여 사람이 직접 인지하는 가시성 측정 실험을 100 장의 다양한 안개 영상에 대해 수행하였다. 본 논문에서 제시한 모델을 통해 예측된 안개 영상의 가시성과 사람이 체감한 안개 영상의 가시성을 비교한 결과, 둘 사이에 매우 높은 상관관계가 있는 것으로 평가되었다. 본 논문이 제안하는 무참조 안개 영상의 가시성 예측 모델은 사람의 시지각적 특성을 활용한 새로운 방법으로, 향후 안개 영상의 가시성 향상 알고리듬 개발과 선 개발된 안개 제거 및 가시성 향상 알고리듬들의 성능을 정확히 평가할 수 있는 새로운 측정방법 개발 등에 매우 유용할 것으로 기대된다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권3호
• /
• pp.740-753
• /
• 2023

Text recognition in natural scene images is a challenging problem in computer vision. The accurate identification of ship number characters can effectively improve the level of ship traffic management. However, due to the blurring caused by motion and text occlusion, the accuracy of ship number recognition is difficult to meet the actual requirements. To solve these problems, this paper proposes a dual-branch network based on the CRNN identification network. The network couples image restoration and character recognition. The CycleGAN module is used for blur restoration branch, and the Pix2pix module is used for character occlusion branch. The two are coupled to reduce the impact of image blur and occlusion. Input the recovered image into the text recognition branch to improve the recognition accuracy. After a lot of experiments, the model is robust and easy to train. Experiments on CTW datasets and real ship maps illustrate that our method can get more accurate results.

• 한국멀티미디어학회논문지
• /
• 제23권12호
• /
• pp.1447-1453
• /
• 2020

In this paper, we propose a method for no-reference quality assessment of sports videos using 3D shearlet transform and deep residual neural networks. In the proposed method, 3D shearlet transform-based spatiotemporal features are extracted from the overlapped video blocks and applied to logistic regression concatenated with a deep residual neural network based on a conditional video block-wise constraint to learn the spatiotemporal correlation and predict the quality score. Our evaluation reveals that the proposed method predicts the video quality with higher accuracy than the conventional no-reference video quality assessment methods.