• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.145-148
• /
• 2022

준지도학습 기반의 동영상 이상행동감지는 구하기 어려운 프레임 단위 레이블이 필요하지 않아 더 많은 동영상을 학습에 활용 가능한 장점이 있어 관련 연구가 활발히 진행되고 있다. 최근 제안된 기법들은 주로 UCF-Crime 이라는 실제 CCTV 동영상 데이터셋을 활용하고 있는데, 본 데이터셋은 학습 영상과 테스트 영상에서 이상행동 클래스 별 분포도가 균등하지 않다. 본 연구에서는 해당 불균형으로 인해 학습 모델이 특정 행동 클래스에 과적합될 수 있음을 보이며, 이러한 불균형을 해결하기 위해 Class-Balanced Multiple Instance Learning Loss 를 제안한다. 이를 통해 기존에 특정 클래스에 편중되었던 모델이 이상행동 종류에 좀 더 균등한 성능을 낼 수 있음을 보여준다. 특히 단순히 클래스별 정확도가 제로섬(zero sum)으로 증감하는 것이 아니라 전체적인 이상행동 판별 정확도 또한 향상됨을 실험 결과를 통해 확인할 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.1203-1206
• /
• 2022

자율주행, IoT 등 많은 양의 영상 정보를 실시간으로 처리해야 하는 기술과 mobile device 등의 기기에서 Machine Learning 연산을 하는 소프트웨어들이 등장함에 따라 사람을 위한 영상을 출력하는 영상 부호화 기술 대신 기계의 vision task 성능을 위해 특화된 영상 부호화 기술의 필요성이 대두됐다. 본 연구에서는 영상에서 추출한 특징맵을 Neural-Net based Video Coding 모델을 이용해 압축률과 기계의 vision task 성능을 동시에 최적화한다. 또한, 하드웨어 친화적인 block-based 처리와 이로 인한 성능 저하를 최소화하기 위해 적응적 resizing 방식을 제안한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.847-850
• /
• 2022

최근 가상 현실(Virtual Reality), 파노라마(Panorama) 영상 등에 관한 관심과 수요가 증가함에 따라 고해상도 영상을 얻기 위한 영상 스티칭(Image Stitching)에 관한 연구가 활발하게 진행되고 있다. 영상 스티칭은 다수의 영상을 하나의 영상으로 합성해 카메라의 좁은 시야각 문제를 해결함으로써 사용자에게 몰입감과 현장감을 제공할 수 있는 기술이다. 영상 스티칭에 있어 특징점 추출 및 매칭 과정의 정확도는 스티칭 영상의 품질을 결정짓는 핵심적인 요소이지만, 기존의 특징점 추출 및 매칭 방법은 밝기가 어둡고 선명도가 낮은 영상의 스티칭에서 정확도가 저하될 수 있고 생성된 스티칭 영상의 품질 또한 저하될 수 있다는 제한 사항이 있다. 이에 본 논문에서는 앞선 제한적 영상에 대하여 특징점 추출 및 매칭의 정확도를 높여 스티칭 영상의 품질을 높이기 위하여 SuperPoint와 SuperGLUE를 활용한 입력 영상의 밝기 적응형 영상 스티칭 방법을 제안하고자 한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.325-327
• /
• 2021

코로나19 전염병 예방을 위한 공공장소에서의 마스크 착용이 의무화되고 있다. 그러나 사람들이 다양한 이유로 마스크를 제대로 착용하지 않아 감염에 노출되는 위험이 발생하고 있다. 이러한 방역 문제를 해결하고 본 논문은 영상을 인식하여 마스크를 쓴 얼굴과 쓰지 않은 얼굴을 검출하는 방식을 제안한다. 제안 방법은 마스크 착용자와 비착용자 얼굴 영상을 딥러닝 기반의 YOLO 네트워크로 학습하여, 마스크 착용 유무를 판별한다. 동일 YOLO 네트워크에 대해 여러가지 조건으로 학습을 수행하고, 학습에 사용되지 않은 검증 데이터를 이용해 정확도가 가장 높은 네트워크의 가중치를 선택하였다. 실험결과, 마스크 착용자는 67.2%, 미착용자는 39.8%의 판별 정확도를 보였다. 미착용자에 대해 낮은 정확도를 보인 이유는 학습 데이터의 부족으로 판단되며, 이를 보완하기 위하여 더 많은 학습데이터를 제작하여 성능을 개선시키고자 한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.283-286
• /
• 2021

4차 산업혁명을 맞이해 최근 산업 및 기술 영역에서는 인공지능을 이용한 생산력 향상, 자동화 등 딥러닝의 보편화가 빠르게 진행되고 있다. 또한, 딥러닝의 성능을 도출하기 위해서는 수많은 양의 학습용 데이터가 필요하며 그 데이터의 양은 딥러닝 모델의 성능과 정비례한다. 이에 본 작품은 최신형 영상처리 Library인 Albumentations를 이용하여 영상처리 알고리즘을 이용하여 이미지를 증강하고, 이미지 데이터 크롤링 기능을 통해 Web에서 영상 데이터를 수집을 자동화하며, Label Pix를 연동하여 수집한 데이터를 라벨링 한다. 더 나아가 라벨링 된 데이터의 증강까지 포함하여 다양한 증강 자동화를 한 인터페이스에 집적시켜 딥러닝 모델을 생성할 때 데이터 수집과 전처리를 수월하게 한다. 또한, Neural Net 기반의 AdaIN Transfer를 이용하여 이미지를 개별적으로 학습하지 않고 Real time으로 이미지의 스타일을 옮겨올 수 있도록 하여 그림 데이터의 부족 현상을 해결한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.287-289
• /
• 2021

해당 소프트웨어는 딥러닝 기반의 언어 모델을 이용하여 한국어 랩을 더 효과적으로 작성할 수 있도록 돕는다. 이 소프트웨어는 단순히 가사를 생성하는 데에 그치지 않고, 라임을 맞추고자 하는 대상 단어와 앞뒤 문맥이 주어졌을 때, 라임과 맥락에 맞는 단어 목록을 추천한다. 작사가는 사용자 친화적인 문서 편집 인터페이스를 통하여 언어 모델과 적극적으로 상호작용을 해 나가며 효율적으로 가사를 만들어나갈 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.164-167
• /
• 2021

최근 구글, 아마존, LOD 등을 중심으로 지식 그래프(Knowledge graph)와 같은 검색 고도화 연구가 활발히 수행되고 있다.그러나 대규모 지식 그래프 인덱싱 시스템에서 데이터가 어떻게 임베딩(embedding)되고, 딥러닝(deep learning) 되는지는 상대적으로 거의 연구가 되지 않고 있다. 이에 본 논문에서는 임베딩 모델에 대한 성능평가를 통해 데이터셋에 대해 어떤 모델이 가장 좋은 지식 임베딩 방법을 도출하는지 분석한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.134-138
• /
• 2021

3 차원 휴먼 자세 추정 모델은 다시점 모델과 단시점 모델로 분류될 수 있다. 일반적으로 다시점 모델은 단시점 모델에 비하여 뛰어난 자세 추정 성능을 보인다. 단시점 모델의 경우 3 차원 자세 추정 성능의 향상은 많은 양의 학습 데이터를 필요로 한다. 하지만 3 차원 자세에 대한 참값을 획득하는 것은 쉬운 일이 아니다. 이러한 문제를 다루기 위해, 우리는 다시점 모델로부터 다시점 휴먼 자세 데이터에 대한 의사 참값을 생성하고, 이를 단시점 모델의 학습에 활용하는 방법을 제안한다. 또한, 우리는 각각의 다시점 영상으로부터 추정된 자세의 일관성을 고려하는 다시점 일관성 손실함수를 제안하여, 이것이 단시점 모델의 효과적인 학습에 도움을 준다는 것을 보인다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.80-81
• /
• 2021

딥 러닝 모델 사용에 있어서, 일반적인 사용자가 이용할 수 있는 하드웨어 리소스는 제한적이기 때문에 기존 모델을 경량화 할 수 있는 프루닝 방법을 통해 제한적인 리소스를 효과적으로 활용할 수 있도록 한다. 그 방법으로, 여러 딥 러닝 모델들 중 비교적 파라미터 수가 많은 것으로 알려진 GAN 아키텍처에 네트워크 프루닝을 적용함으로써 비교적 무거운 모델을 적은 파라미터를 통해 학습할 수 있는 방법을 제시한다. 또한, 본 논문을 통해 기존의 SRGAN 논문에서 가장 효과적인 결과로 제시했던 16 개의 residual block 의 개수를 실제로 줄여 봄으로써 기존 논문에서 제시했던 결과와의 차이에 대해 서술한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.193-196
• /
• 2021

홀로그램(Hologram)은 3차원 물체에서 나오는 빛의 정보를 제어하는 기술이다. 현재는 컴퓨터 생성 홀로그램(CGH)으로 생성한 디지털 홀로그램에 관한 연구, 특히 물체에서 나오는 빛의 정보를 최대한 기록하고 재현하여 디지털 홀로그램의 해상도를 향상 시키려는 연구가 활발히 진행되고 있다. 이에 본 논문에서는 고해상도 홀로그램 영상을 얻기 위해 딥러닝 기반 초해상도(Super Resolution) 네트워크를 훈련 및 최적화하여, 저해상도 위상 홀로그램 영상으로부터 높은 화질의 홀로그램 영상을 재현하는 고해상도 위상 홀로그램 영상을 생성하는 것을 목표로 한다. 이때 위상 홀로그램 영상의 특성을 이용한 순환 손실 함수(Circular loss function)를 새롭게 제안하며, 기존의 이미지 초해상도 신경망 모델을 학습시킬 때 자주 사용하는 L1 손실 함수와 비교했을 때 약 0.13dB 정도의 성능 향상이 있었다.