• 방송공학회논문지
• /
• 제27권1호
• /
• pp.3-12
• /
• 2022

영상 블러 제거(deblurring)는 피사체의 움직임, 카메라의 흔들림, 초점의 흐림 등으로 인해 촬영 도중 발생한 영상 블러(blur)를 제거하는 것을 목표로 한다. 최근 스마트폰이 보급되며 휴대용 디지털카메라를 들고 다니는 것이 일상인 시대가 오면서 영상 블러 제거 기술은 그 필요성을 점점 더해가고 있다. 기존의 영상 블러 제거 기술들은 전통적인 최적화 기법을 활용하여 연구되어 오다가 최근에는 딥러닝이 주목받으며 합성곱 신경망 기반의 블러 제거 방법들이 활발하게 제안되고 있다. 하지만 많은 방법들이 성능에 먼저 초점을 맞추어 개발되어 알고리즘의 속도로 인하여 현실에서 실시간 활용이 어렵다는 문제점을 안고 있다. 이를 해결하고자 본 논문에서는여러 신경망 설계 기법을 활용하여 HD 영상에서도 30 FPS 이상의 실시간 구동이 가능한 딥러닝 기반 블러 제거 알고리즘을 설계하여 이를 제안한다. 또한 학습 및 추론 과정을 개선하여 속도에 별다른 영향 없이 신경망의 성능을 높이고 동시에 성능에 별다른 영향없이 신경망의 속도를 높였다. 이를 통해 최종적으로 1280×720 해상도에서 초당 33.74장의 프레임을 처리하며 실시간 동작이 가능함을 보여주었고 GoPro 데이터 세트를 기준으로 PSNR 29.79, SSIM 0.9287의 속도 대비 우수한 성능을 보여주었다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 춘계학술대회
• /
• pp.43-45
• /
• 2021

초단기 강수예측 시스템은 단시간 발생하는 집중호우와 같은 위험기상에 대응하기 위해 사회·경제적으로 중요하다. 최근 국내·외에서 심층신경망을 활용한 초단기 강수예측 연구가 활발히 진행되고 있다. 심층신경망을 이용한 강수예측 모델은 훈련 데이터를 만들 때 기상데이터의 구조와 종류가 복잡하고 방대하므로 기상학적 이해를 바탕으로 복잡한 전처리 과정이 필요하다. 또한, 비선형적인 패턴의 강수 현상을 예측하기 위하여 기상의 상호작용에 대한 이해를 바탕으로 입력 데이터를 구성해야 한다. 따라서 본 연구에서는 다음과 같은 접근법을 제안하고자 한다. i) 기상레이더 합성 강수장과 강수발달에 영향을 줄 수 있는 주요 인자(레이더, 지형, 온도, 등)를 훈련 데이터 구축을 위해 패턴 분석에 적합한 형태로 정제하고 이를 구조화하여 통합한다. ii) 합성곱 신경망과 합성곱 장단기 기억 신경망을 접목하여 초단기 예측 강수장을 산출한다. 2020년 강수 사례를 이용하여 제안한 모델의 정확성을 검증하였다. 제안한 모델은 비선형적인 패턴의 강수 현상을 잘 모의하였고, 강수의 규모 및 강도에 대한 예측성능이 향상되었다. 이는 강수를 동반한 초단기 위험기상의 방재에 활용할 수 있을 것으로 기대된다.

• 한국지반공학회논문집
• /
• 제39권10호
• /
• pp.41-48
• /
• 2023

도로 하부에 발생된 이상구간은 사용자의 안전을 위협하고 보수하기 위해서도 많은 사회적 비용이 동반된다. 본 연구에서는 적외선 카메라를 사용하여 이상구간 매질에 따른 온도 분포를 실험적으로 평가하고 이를 머신러닝 기법으로 분석하고자 하였다. 대상 현장은 가로와 세로 및 깊이가 모두 50cm인 정육면체 형태로 설정하였고, 이상구간은 물과 공기로 결정하였다. 실험부지의 상부는 포장층을 모사하기 위해 콘크리트 블록을 설치하였으며, 오후 4시부터 다음날 오후 3시까지 총 23시간 동안 포장층의 온도 분포를 측정하였다. 측정된 값은 이미지 형태로 도출되었으며, 이미지 중간부분에서 측정 온도의 수치를 추출하였다. 최대온도와 최저온도의 차이는 물, 공기, 그리고 원 지반에서 각각 34.8℃, 34.2℃ 그리고 28.6℃로 나타났으며, 이미지 분석 기법인 convolution neural network(CNN) 방법을 활용하여 각 측정 이미지에 해당하는 조건을 분류하였다. 분류를 수행하기 위해서는 res net 101과 squeeze net 네트워크가 이용되었다. res net 101의 분류 정확도는 물, 공기 그리고 원 지반에서 각각 70%, 50% 그리고 80%로 나타났고, squeeze net의 분류 정확도는 60%, 30% 그리고 70%로 나타났다. 해당 연구 결과는 수치데이터로 특징 판단이 어려울 경우 이미지 기반의 CNN 알고리즘을 활용하면 매질 특성 분석이 가능하고 지반내 상태도 예측할 수 있는 방법론을 보여준다.

• 한국컴퓨터정보학회논문지
• /
• 제28권10호
• /
• pp.67-76
• /
• 2023

딥러닝 모델이 컴퓨터 비전 분야에서 혁신적인 성과를 이루어내고 있으나, 적대적 예제에 취약하다는 문제가 지속적으로 제기되고 있다. 적대적 예제는 이미지에 미세한 노이즈를 주입하여 오분류를 유도하는 공격 방법으로서, 현실 세계에서의 딥러닝 모델 적용에 심각한 위협이 될 수 있다. 본 논문에서는 객체의 엣지를 강조하여 학습된 분류 모델과 기본 분류 모델 간 예측 값의 차이를 이용하여 적대적 예제를 탐지하는 모델을 제안한다. 객체의 엣지를 추출하여 학습에 반영하는 과정만으로 분류 모델의 강건성을 높일 수 있으며, 모델 간 예측값의 차이를 통하여 적대적 예제를 탐지하기 때문에 경제적이면서 효율적인 탐지가 가능하다. 실험 결과, 적대적 예제(eps={0.02, 0.05, 0.1, 0.2, 0.3})에 대한 일반 모델의 분류 정확도는 {49.9%, 29.84%, 18.46%, 4.95%, 3.36%}를 보인 반면, Canny 엣지 모델은 {82.58%, 65.96%, 46.71%, 24.94%, 13.41%}의 정확도를 보였고 다른 엣지 모델들도 이와 비슷한 수준의 정확도를 보여, 엣지 모델이 적대적 예제에 더 강건함을 확인할 수 있었다. 또한 모델 간 예측값의 차이를 이용한 적대적 예제 탐지 결과, 각 epsilon별 적대적 예제에 대하여 {85.47%, 84.64%, 91.44%, 95.47%, 87.61%}의 탐지율을 확인할 수 있었다. 본 연구가 관련 연구 분야 및 의료, 자율주행, 보안, 국방 등의 응용 산업 분야에서 딥러닝 모델의 신뢰성 제고에 기여할 것으로 기대한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권12호
• /
• pp.519-524
• /
• 2023

해싱 기반 이미지 검색에서는 조작된 이미지의 해시코드가 원본 이미지와 달라 동일한 이미지 검색이 어렵다. 본 논문은 이미지의 질감, 모양, 색상 등 특징 정보로부터 지각적 해시코드를 생성하는 자기 감독 기반 딥해싱 모델을 제안하고 평가한다. 비교 모델은 오토인코더 기반 변분 추론 모델들이며, 인코더는 완전 연결 계층, 합성곱 신경망과 트랜스포머 모듈 등으로 설계된다. 제안된 모델은 기하학적 패턴을 추출하고 이미지 내 위치 관계를 활용하는 SimAM 모듈을 포함하는 변형 추론 모델이다. SimAM은 뉴런과 주변 뉴런의 활성화 값을 이용한 에너지 함수를 통해 객체 또는 로컬 영역이 강조된 잠재 벡터를 학습할 수 있다. 제안 방법은 표현 학습 모델로 고차원 입력 이미지의 저차원 잠재 벡터를 생성할 수 있으며, 잠재 벡터는 구분 가능한 해시코드로 이진화 된다. CIFAR-10, ImageNet, NUS-WIDE 등 공개 데이터셋의 실험 결과로부터 제안 모델은 비교 모델보다 우수하며, 지도학습 기반 딥해싱 모델과 동등한 성능이 분석되었다.

• Korean Journal of Radiology
• /
• 제22권11호
• /
• pp.1909-1917
• /
• 2021

Objective: Muscle quantity and quality can be measured with an automated system on CT. However, the effects of contrast phases on the muscle measurements have not been established, which we aimed to investigate in this study. Materials and Methods: Muscle quantity was measured according to the skeletal muscle area (SMA) measured by a convolutional neural network-based automated system at the L3 level in 89 subjects undergoing multiphasic abdominal CT comprising unenhanced phase, arterial phase, portal venous phase (PVP), or delayed phase imaging. Muscle quality was analyzed using the mean muscle density and the muscle quality map, which comprises normal and low-attenuation muscle areas (NAMA and LAMA, respectively) based on the muscle attenuation threshold. The SMA, mean muscle density, NAMA, and LAMA were compared between PVP and other phases using paired t tests. Bland-Altman analysis was used to evaluate the inter-phase variability between PVP and other phases. Based on the cutoffs for low muscle quantity and quality, the counts of individuals who scored lower than the cutoff values were compared between PVP and other phases. Results: All indices showed significant differences between PVP and other phases (p < 0.001 for all). The SMA, mean muscle density, and NAMA increased during the later phases, whereas LAMA decreased during the later phases. Bland-Altman analysis showed that the mean differences between PVP and other phases ranged -2.1 to 0.3 cm² for SMA, -12.0 to 2.6 cm² for NAMA, and -2.2 to 9.9 cm² for LAMA.The number of patients who were categorized as low muscle quantity did not significant differ between PVP and other phases (p ≥ 0.5), whereas the number of patients with low muscle quality significantly differed (p ≤ 0.002). Conclusion: SMA was less affected by the contrast phases. However, the muscle quality measurements changed with the contrast phases to greater extents and would require a standardization of the contrast phase for reliable measurement.

• 한국컴퓨터정보학회논문지
• /
• 제29권2호
• /
• pp.31-41
• /
• 2024

딥러닝 모델(Deep Learning Model)은 컴퓨터 비전(Computer Vision) 분야의 이미지(Image) 분류 및 객체 탐지와 같은 작업에서 뛰어난 성과를 보이며, 실제 산업 현장에서 다양하게 활용되고 있다. 최근 다양한 알고리즘(Algorithm)의 적대적 예제를 이용하여 딥러닝 모델의 취약성을 지적하며, 강건성 향상 방안을 제시하는 연구들이 활발하게 진행되고 있다. 적대적 예제는 오분류를 유도하기 위해 작은 노이즈(Noise)가 추가된 이미지로서, 딥러닝 모델을 실제 환경에 적용 시 중대한 위협이 될 수 있다. 본 논문에서는 다양한 알고리즘의 적대적 예제를 대상으로 에지 학습 분류 모델의 강건성 및 이를 이용한 적대적 예제 탐지 모델의 성능을 확인하고자 하였다. 강건성 실험 결과, FGSM(Fast Gradient Sign Method) 알고리즘에 대하여 기본 분류 모델이 약 17%의 정확도를 보였으나, 에지(Edge) 학습 모델들은 60~70%대의 정확도를 유지하였고, PGD(projected gradient descent)/DeepFool/CW(Carlini-Wagner) 알고리즘에 대해서는 기본 분류 모델이 0~1%의 정확도를 보였으나, 에지 학습 모델들은 80~90%의 정확도를 유지하였다. 적대적 예제 탐지 실험 결과, FGSM/PGD/DeepFool/CW의 모든 알고리즘에 대해서 91~95%의 높은 탐지율을 확인할 수 있었다. 본 연구를 통하여 다양한 적대적 알고리즘에 대한 방어 가능성을 제시함으로써, 컴퓨터 비전을 활용하는 여러 산업 분야에서 딥러닝 모델의 안전성 및 신뢰성 제고를 기대한다.

• 한국컴퓨터정보학회논문지
• /
• 제29권7호
• /
• pp.11-20
• /
• 2024

본 논문에서는 생성 모델을 이용한 데이터 프리 양자화에서 발생할 수 있는 지식 격차를 줄이기 위하여 BAG (Bit-width Aware Generator)와 채널 어텐션 기반 중간 레이어 지식 증류를 제안한다. 생성 모델을 이용한 데이터 프리 양자화의 생성자는 오직 원본 네트워크의 피드백에만 의존하여 학습하기 때문에, 양자화된 네트워크의 낮은 bit-width로 인한 감소된 수용 능력 차이를 학습에 반영하지 못한다. 제안한 BAG는 양자화된 네트워크와 동일한 bit-width로 양자화하여, 양자화된 네트워크에 맞는 합성 이미지를 생성하여 이러한 문제를 완화한다. 또한, 양자화된 네트워크와 원본 모델 간의 지식 격차를 줄이는 것 역시 양자화에서 매우 중요한 문제이다. 이를 완화하기 위해 제안한 채널 어텐션 기반 중간 레이어 지식 증류는 학생 모델이 교사 모델로부터 어떤 채널에 더 집중해서 학습해야 하는지를 가르친다. 제안한 기법의 효율성을 보이기 위해, CIFAR-100에서 학습한 원본 네트워크를 가중치와 활성값을 각각 3-bit로 양자화하여 학습을 수행하였다. 그 결과 56.14%의 Top-1 Accuracy를 달성하였으며, 베이스라인 모델인 AdaDFQ 대비 3.4% 정확도를 향상했다.

• Korean Journal of Radiology
• /
• 제23권10호
• /
• pp.949-958
• /
• 2022

Objective: To investigate the feasibility of using a deep learning-based analysis of auscultation data to predict significant stenosis of arteriovenous fistulas (AVF) in patients undergoing hemodialysis requiring percutaneous transluminal angioplasty (PTA). Materials and Methods: Forty patients (24 male and 16 female; median age, 62.5 years) with dysfunctional native AVF were prospectively recruited. Digital sounds from the AVF shunt were recorded using a wireless electronic stethoscope before (pre-PTA) and after PTA (post-PTA), and the audio files were subsequently converted to mel spectrograms, which were used to construct various deep convolutional neural network (DCNN) models (DenseNet201, EfficientNetB5, and ResNet50). The performance of these models for diagnosing ≥ 50% AVF stenosis was assessed and compared. The ground truth for the presence of ≥ 50% AVF stenosis was obtained using digital subtraction angiography. Gradient-weighted class activation mapping (Grad-CAM) was used to produce visual explanations for DCNN model decisions. Results: Eighty audio files were obtained from the 40 recruited patients and pooled for the study. Mel spectrograms of "pre-PTA" shunt sounds showed patterns corresponding to abnormal high-pitched bruits with systolic accentuation observed in patients with stenotic AVF. The ResNet50 and EfficientNetB5 models yielded an area under the receiver operating characteristic curve of 0.99 and 0.98, respectively, at optimized epochs for predicting ≥ 50% AVF stenosis. However, Grad-CAM heatmaps revealed that only ResNet50 highlighted areas relevant to AVF stenosis in the mel spectrogram. Conclusion: Mel spectrogram-based DCNN models, particularly ResNet50, successfully predicted the presence of significant AVF stenosis requiring PTA in this feasibility study and may potentially be used in AVF surveillance.

• Korean Journal of Radiology
• /
• 제21권10호
• /
• pp.1165-1177
• /
• 2020

Objective: To assess the feasibility of applying a deep learning-based denoising technique to coronary CT angiography (CCTA) along with iterative reconstruction for additional noise reduction. Materials and Methods: We retrospectively enrolled 82 consecutive patients (male:female = 60:22; mean age, 67.0 ± 10.8 years) who had undergone both CCTA and invasive coronary artery angiography from March 2017 to June 2018. All included patients underwent CCTA with iterative reconstruction (ADMIRE level 3, Siemens Healthineers). We developed a deep learning based denoising technique (ClariCT.AI, ClariPI), which was based on a modified U-net type convolutional neural net model designed to predict the possible occurrence of low-dose noise in the originals. Denoised images were obtained by subtracting the predicted noise from the originals. Image noise, CT attenuation, signal-to-noise ratio (SNR), and contrast-to-noise ratio (CNR) were objectively calculated. The edge rise distance (ERD) was measured as an indicator of image sharpness. Two blinded readers subjectively graded the image quality using a 5-point scale. Diagnostic performance of the CCTA was evaluated based on the presence or absence of significant stenosis (≥ 50% lumen reduction). Results: Objective image qualities (original vs. denoised: image noise, 67.22 ± 25.74 vs. 52.64 ± 27.40; SNR [left main], 21.91 ± 6.38 vs. 30.35 ± 10.46; CNR [left main], 23.24 ± 6.52 vs. 31.93 ± 10.72; all p < 0.001) and subjective image quality (2.45 ± 0.62 vs. 3.65 ± 0.60, p < 0.001) improved significantly in the denoised images. The average ERDs of the denoised images were significantly smaller than those of originals (0.98 ± 0.08 vs. 0.09 ± 0.08, p < 0.001). With regard to diagnostic accuracy, no significant differences were observed among paired comparisons. Conclusion: Application of the deep learning technique along with iterative reconstruction can enhance the noise reduction performance with a significant improvement in objective and subjective image qualities of CCTA images.