• 방송공학회논문지
• /
• 제21권2호
• /
• pp.157-168
• /
• 2016

영상 처리 및 컴퓨터 비전 분야에 있어서, 평균 제곱 오차(Mean Squared Error: MSE)는 좋은 수학적 특성(예를 들어, 척도성(metricability), 미분가능성(differentiability) 및 볼록 성질(convexity))을 가짐으로 인해 많은 영상 화질 최적화 문제의 객관적 척도로 사용되어 왔다. 그러나 MSE가 영상의 왜곡 신호에 대한 시각적 인지 화질과 상관도가 높지 않다는 것이 알려지면서, 이를 해결하기 위해 위에서 언급한 좋은 수학적 특성과 높은 영상 화질 예측 성능을 동시에 가지는 객관적 영상 화질 측정(Image Quality Assessment: IQA)척도가 활발히 연구되어 왔다. 비록 최근 제안된 좋은 수학적 성질을 만족시키는 IQA 척도들은 MSE와 비교하여 매우 향상된 주관적 화질 예측 성능을 보이지만, 상대적으로 높은 계산 복잡도를 가진다. 본 논문은 이를 해결하기 위해, 단순 라플라스 연산자를 이용한 좋은 수학적 특성을 가지는 새로운 IQA 척도를 제안한다. 제안 IQA 방법에 도입한 단순 라플라스 연산자는 인간 시각 체계의 망막에서의 광도 자극에 대한 시신경 반응을 효과적으로 모사할 뿐만 아니라 계산이 매우 단순하기 때문에, 제안 IQA 척도는 단순 라플라스 연산자를 사용하여 매우 빠른 계산 속도와 높은 주관적 화질 점수 예측력을 확보하였다. 제안 IQA 척도의 효과를 검증하기 위해, 최신 IQA 척도들과 광범위한 성능비교 실험을 수행하였다. 실험 결과, 제안하는 IQA 척도는 모든 테스트 IQA 척도들 중 MSE를 제외하고 가장 빠른 처리 속도를 보였을 뿐만 아니라, 가장 높은 주관적 화질예측 성능을 보였다.

• 방송공학회논문지
• /
• 제24권5호
• /
• pp.827-835
• /
• 2019

완전 참조 영상 화질(full-reference image quality assessment, FR-IQA)측정의 풀링 과정에 있어서, 한 영상의 전역 화질은 각 국부 패치의 측정된 화질값들로부터 측정된다. 그러나 한 영상의 전체 화질 값을 예측함에 있어서 국부 패치의 종류, 왜곡 타입, 왜곡의 인지 민감도, 국부 패치의 관심 집중(saliency) 정도에 따라 국부 패치가 전체 영상에 기여하는 왜곡의 정도가 다를 수 있다. 그 결과, 계산된 국부 패치 화질값에 대한 가중치 풀링 방법이 기존 FR-IQA 방법에서 고려되었다. 본 논문은 기존 FR-IQA 방법에서 고려되지 않은 시각인지시스템의 특성인, 광적응 효과 와 시각 관심 집중 효과를 고려한 새로운 가중치 풀링 방법을 제안한다. 실험 결과, 기존 FR-IQA 방법에 적용될 경우 예측 성능을 향상시킴을 확인하였으며, 이는 제안하는 가중치 풀링 방법은 사람의 시각인지 특성을 효과적으로 반영하기 때문으로 사료된다.

• Journal of Multimedia Information System
• /
• 제9권2호
• /
• pp.75-86
• /
• 2022

The existing image quality assessment (IQA) datasets have a small number of samples. Some methods based on transfer learning or data augmentation cannot make good use of image quality-related features. A No Reference (NR)-IQA method based on multi-task training and quality awareness is proposed. First, single or multiple distortion types and levels are imposed on the original image, and different strategies are used to augment different types of distortion datasets. With the idea of weak supervision, we use the Full Reference (FR)-IQA methods to obtain the pseudo-score label of the generated image. Then, we combine the classification information of the distortion type, level, and the information of the image quality score. The ResNet50 network is trained in the pre-train stage on the augmented dataset to obtain more quality-aware pre-training weights. Finally, the fine-tuning stage training is performed on the target IQA dataset using the quality-aware weights to predicate the final prediction score. Various experiments designed on the synthetic distortions and authentic distortions datasets (LIVE, CSIQ, TID2013, LIVEC, KonIQ-10K) prove that the proposed method can utilize the image quality-related features better than the method using only single-task training. The extracted quality-aware features improve the accuracy of the model.

• 정보과학회 논문지
• /
• 제44권9호
• /
• pp.992-1004
• /
• 2017

이미지 품질을 정확히 평가하기 위해 이미지 평가 도구는 인간 시각 시스템을 반영해야 한다. 즉, 이미지의 구조, 색, 명암 비 등 여러 가지 요소들을 고려하여 평가해야 한다. 또한 스마트 폰과 같은 모바일 임베디드 기기의 폭넓은 사용에 따라 빠른 수행 속도를 갖는 것이 중요하다. 본 논문에서는 인간 시각 만족과 빠른 계산속도 달성을 동시에 얻기 위하여 색 유사도, 변화율 유사도, 위상 유사도를 상승적으로 결합하였고 최적화된 이미지 풀링 및 양자화 기반으로 설계하였다. 제안하는 기법은 기존에 존재하는 13개의 기법과 비교하였고 네 가지 검증 도구를 사용하여 성능을 검증하였다. 실험 결과 세 검증 도구에서 가장 우수한 성능을 보였고 한 검증 도구에서 기존 최고 기법인 VSI에 이어 두 번째로 좋은 성능을 보였으며 실행 속도는 VSI에 대해 평균 약 20% 개선된 결과를 얻었다. 또한 기존의 기법들 보다 더 인간 시각 시스템과 제안 기법의 품질 평가 값의 연관성이 크게 존재함을 확인하였다.

• 방송공학회논문지
• /
• 제20권6호
• /
• pp.818-826
• /
• 2015

인간 시각 체계(Human Visual System: HVS)의 영상 화질 인지 특성을 정교하게 반영하는 객관적 영상 화질 측정(Image Quality Assessment: IQA)방법들이 최근 활발히 연구되어 왔다. 이와 관련된 HVS의 특성 중, 광적응(Luminance Adaptation: LA)효과는 HVS의 왜곡에 대한 민감도가 영상 배경 밝기에 따라 달라지는 특성을 가리키며, 이 효과는 베버의 법칙(Weber's law) 모델을 통해 많은 IQA 방법들에 반영되어져 왔다. 본 논문에서는 처음으로 이러한 베버의 법칙 모델을 기반으로 하는 기존 IQA 방법들이 LA 효과를 부정확하게 반영해 왔다는 점을 수학적/정신물리학적 분석을 통해 밝힌다. 이러한 분석을 기반으로 우리는 IQA 방법에 LA 효과가 정교하게 적용될 수 있는 새로운 LA 효과 기반 국부 가중치 함수(LA effect-based Local weight Function: LALF)를 제안한다. 우리는 제안 LALF를 SSIM(Structural SIMilarity) 및 PSNR 척도(metric)에 적용하여 제안 방법의 효과를 검증하였다. 실험 결과, LALF가 적용된 SSIM은 기존 SSIM 대비 측정된 주관적 화질 점수와의 스피어 랭크 순위 상관계수 기준 약 5% 포인트가 향상될 정도로 제안 방법의 큰 효과성을 입증하였다. 또한, 제안한 LALF는 PSNR에 적용된 경우에도 기존 PSNR 대비 약 2.5% 포인트의 성능 향상을 보였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 추계학술대회
• /
• pp.81-83
• /
• 2015

객관적 영상 화질 측정(Image Quality Assessment: IQA)방법은 영상 화질 최적화 문제해결을 목적으로 하는 영상 처리 및 컴퓨터 비전 분야에 매우 중요하게 사용된다. 이를 위해, 저복잡도, 고성능 및 좋은 수학적 특성(예를 들어, 척도성(metricability), 미분가능성(differentiability) 및 볼록 성질(convexity))을 모두 만족시키는 객관적 IQA 방법이 활발히 연구되어 왔다. 그러나, 위해 위에서 언급한 좋은 수학적 특성을 가지는 대부분의 객관적 IQA 방법들은 좋은 수학적 특성을 만족시키기 위해 상당한 예측성능의 감소를 초래했다. 본 논문은 위에서 언급한 좋은 수학적 특성을 모두 만족시키면서, 예측 성능이 향상된 새로운 IQA 방법을 제안한다. 인간 시각 체계의 감수영역은 광도 입력에 대해 공간 도메인에서 미분 형태의 응답을 가지므로, 제안 방법은 이러한 시각 체계 응답을 모방하여 기울기 연산자를 도입한다. 제안한 방법에서 도입한 기울기 연산자는 매우 단순하게 설계되어, 계산 복잡도가 매우 낮다. 광범위한 실험 결과, 제안하는 IQA 방법은 기존 수학적 특성이 좋은 IQA 방법들 대비 더 좋은 성능을 보이면서 계산 복잡도 또한 낮았다. 따라서 제안 IQA 방법은 다양한 영상 화질 최적화 문제에 매우 효과적으로 적용될 수 있다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권7호
• /
• pp.2938-2956
• /
• 2020

Objective image quality assessment (IQA) models have been developed by effective features to imitate the characteristics of human visual system (HVS). Actually, HVS is extremely sensitive to color degradation and complex texture changes. In this paper, we firstly reveal that many existing full reference image quality assessment (FR-IQA) methods can hardly measure the image quality with contrast and masking texture changes. To solve this problem, considering texture masking effect, we proposed a novel FR-IQA method, called Texture and Color Quality Index (TCQI). The proposed method considers both in the masking effect texture and color visual perceptual threshold, which adopts three kinds of features to reflect masking texture, color difference and structural information. Furthermore, random forest (RF) is used to address the drawbacks of existing pooling technologies. Compared with other traditional learning-based tools (support vector regression and neural network), RF can achieve the better prediction performance. Experiments conducted on five large-scale databases demonstrate that our approach is highly consistent with subjective perception, outperforms twelve the state-of-the-art IQA models in terms of prediction accuracy and keeps a moderate computational complexity. The cross database validation also validates our approach achieves the ability to maintain high robustness.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제10권1호
• /
• pp.257-271
• /
• 2016

The Structural SIMilarity (SSIM) index is one of the most widely-used methods for perceptual image quality assessment (IQA). It is based on the principle that the human visual system (HVS) is sensitive to the overall structure of an image. However, it has been reported that indices predicted by SSIM tend to be biased depending on the type of distortion, which increases the deviation from the main regression curve. Consequently, SSIM can result in serious performance degradation. In this study, we investigate the aforementioned phenomenon from a new perspective and review a constant that plays a big role within the SSIM metric but has been overlooked thus far. Through an experimental study on the influence of this constant in evaluating images with SSIM, we are able to propose a new solution that resolves this issue. In the proposed IQA method, we first design a system to classify different types of distortion, and then match an optimal constant to each type. In addition, we supplement the proposed method by adding color perception-based structural information. For a comprehensive assessment, we compare the proposed method with 15 existing IQA methods. The experimental results show that the proposed method is more consistent with the HVS than the other methods.

• 지구물리와물리탐사
• /
• 제24권1호
• /
• pp.6-19
• /
• 2021

탄성파 탐사는 속도와 밀도 같은 지하 매질 물성 정보를 파악하고 지하 지층 구조를 영상화 할 수 있으며, 이를 위한 다양한 알고리즘 개발이 이루어지고 있다. 이러한 알고리즘의 성능 검증을 위해 다양한 기준 모델이 사용되며, 정확도의 경우 참 물성 데이터와의 평균 제곱근 오차(Root Mean Squre Error, RMSE)를 통해 정량적으로 평가할 수 있다. RMSE는 수치적으로 단순하다는 장점이 있지만 구조적인 품질과의 상관도가 높지 않다는 한계가 있다. 이러한 한계를 보완하기 위해 인간지각시스템을 반영한 FR-IQA (Full Reference Image Quality Assessment) 기법이 연구되고 있으며, 지하 물성 정보 데이터를 다룰 수 있는 FR-IQA 기법들을 선정하였다. 본 연구는 물성 정보 도출 알고리즘으로 완전 파형 역산을 선정하여 세 가지 기준 모델에서 수치예제 실험을 진행하였으며, 선정 된 FR-IQA 기법들을 이용하여 물성 정보 도출 알고리즘 정확성 평가를 수행하였다. 주요 구조 정확성 평가 시 암염모델 하부 구조의 경우 구조적으로 좋지 않음을 육안으로 확인할 수 있었으나 RMSE 값은 감소하며 결과의 부정확성을 표출하지 못하였다. 반면, 몇몇 FR-IQA의 경우 결과의 부정확성을 수치적으로 표출하는 것을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.29-32
• /
• 2020

Due to the lack of improper image acquisition process, noise induction is an inevitable step. As a result, objective image quality assessment (IQA) plays an important role in estimating the visual quality of noisy image. Plenty of IQA methods have been proposed including traditional signal processing based methods as well as current deep learning based methods where the later one shows promising performance due to their complex representation ability. The deep learning based methods consists of several convolution layers and down sampling layers for feature extraction and fully connected layers for regression. Usually, the down sampling is performed by using max-pooling layer after each convolutional block. We reveal that this max-pooling causes information loss despite of knowing their importance. Consequently, we propose a better IQA method that replaces the max-pooling layers with strided convolutions to down sample the feature space and since the strided convolution layers have learnable parameters, they preserve optimal features and discard redundant information, thereby improve the prediction accuracy. The experimental results verify the effectiveness of the proposed method.