• 방송공학회논문지
• /
• 제24권3호
• /
• pp.463-471
• /
• 2019

본 논문에서는 양방향 화면 간 예측에서 LIC(Local Illuminance Compensation)의 복잡도 감소를 위한 방법을 제안한다. LIC는 화면 간 예측의 정확도를 높이기 위해 현재 블록과 참조블록의 주변 복원샘플을 이용하여 지역 조명 보상을 수행한다. 지역 조명 보상을 위해 필요한 가중치와 오프셋을 주변 복원 샘플을 이용하여 부/복호화기 양측에서 계산하기 때문에 별도의 정보 전송 없이 부호화 효율이 향상되는 장점이 있지만 부호화 예측 단계 및 복호화 단계에서 가중치와 오프셋을 구하기 때문에 부/복호화 복잡도가 높아지는 단점을 가지게 된다. 따라서 본 논문에서는 저 복잡도 LIC를 위해 크게 두 가지 방법을 제안한다. 첫 번째 방법은 양방향 예측 시 가중치 없이 오프셋만으로 조명보상을 적용하는 방법이고, 두 번째는 양방향 예측에서 LIC를 양방향예측을 통해 구해진 참조 블록의 가중 평균 단계 이후 적용하는 방법이다. 제안하는 방법의 성능 평가를 위하여 RA(Random Access) 조건에서 MPEG 표준 실험 영상의 B, C, D 클래스를 이용하여 BMS-2.0.1과 BD-rate 성능을 비교한다. 실험결과로서 본 논문에서 제안하는 방법이 BMS-2.0.1 대비 BD-rate 성능 관점에서 Y, U, V 각각에 대하여 평균 0.29%, 0.23%, 0.04%의 BD-rate 결과를 보이고 부/복호화 시간은 거의 동일하다. BD-rate의 손실이 있었지만, LIC 파라미터 유도과정에서 곱셈 연산이 제거되고 덧셈 연산이 절반으로 감소됨에 따라 LIC의 계산 복잡도가 크게 감소되었다.

• 방송공학회논문지
• /
• 제24권3호
• /
• pp.472-484
• /
• 2019

본 논문에서는 심층신경망을 이용한 시간 영역 음향 이벤트 검출 알고리즘을 제시한다. 본 시스템에서는 주파수 영역으로 변환되지 않은 시간 영역의 음향 데이터를 심층신경망의 입력으로 사용한다. 전반적인 구조는 CRNN 구조를 사용하였으며, GLU, ResNet, Squeeze-and-excitation 블럭을 적용하였다. 그리고 여러 계층에서 추출된 특징을 함께 고려하는 구조를 제안하였다. 또한 본 연구에서는 강한 라벨이 있는 훈련 데이터를 확보하는 것이 현실적으로 어렵다는 전제 아래에서 약한 라벨이 있는 훈련 데이터 약간 그리고 다수의 라벨이 없는 훈련 데이터를 활용하여 훈련을 수행하였다. 적은 수의 훈련 데이터를 효과적으로 사용하기 위해 타임 스트레칭, 피치 변화, 동적 영역 압축, 블럭 혼합 등의 데이터 증강 방법을 적용하였다. 라벨이 없는 데이터에는 의사 라벨을 붙여 부족한 훈련 데이터를 보완하였다. 본 논문에서 제안한 신경망과 데이터 증강 방법을 사용하는 경우, 종래의 방식으로 CRNN 구조의 신경망을 훈련하여 사용하는 경우보다, 음향 이벤트 검출 성능이 약 6 % (f-score 기준)가 개선되었다.

• 방송공학회논문지
• /
• 제24권1호
• /
• pp.48-57
• /
• 2019

본 연구는 목적 지향 대화 시스템 내에서 단일 한국어 텍스트 형식의 질문으로부터 질의자의 의도를 파악하는 것을 목적으로 한다. 목적 지향 대화 시스템은 텍스트 또는 음성을 통한 사용자의 특수한 요구를 만족시켜주는 대화 시스템을 의미한다. 의도 분석 과정은 답변 생성에 앞서 사용자의 질의 의도를 파악하는 단계로, 목적 지향 대화 시스템 전체의 성능에 큰 영향을 준다. 생활화학제품이라는 특정 분야에 제안 모델을 사용하였고, 해당 분야와 관련된 한국어 텍스트 데이터를 이용하였다. 특정 분야에 독립적이며 범용적인 의도를 의미하는 화행과, 특정 분야에 종속적인 의도를 의미하는 개념열로 나누어 분석한다. 화행과 개념열을 분석하기 위하여 단어 임베딩 모델, 합성곱 신경망을 이용한 분류 방법을 제안한다. 단어 임베딩 모델을 통하여 단어의 의미정보를 추상화하고, 추상화된 단어의 의미정보를 기반으로 합성곱 신경망을 통하여 개념열 및 화행 분류를 수행한다.

• 방송공학회논문지
• /
• 제24권1호
• /
• pp.132-141
• /
• 2019

매우 제한된 전송 대역을 이용하여 비디오 데이터를 전송해야 하는 필요성은, 광대역을 통한 비디오 서비스가 활성화되어 있는 현 시점에서도 꾸준히 존재한다. 본 논문에서는 초협대역 네트워크를 통한 저해상도 비디오 전송을 위해, 공간 확장형 스케일러블 비디오 코딩 프레임워크에서 기본 계층의 부호화된 프레임을 심층 신경망 기반 초해상화 기법을 이용하여 업스케일링 하여 향상 계층 부호화 시에 예측 영상으로 활용하여 부호화 효율을 높이는 방법을 제안한다. 기존의 스케일러블 HEVC (High efficiency video coding) 표준에서는 고정된 필터로 업스케일링을 하는데 비해, 본 논문에서는 초해상화 수행을 위해 학습된 심층신경망을 기존의 고정 업스케일링 필터를 대체하여 적용하는 스케일러블 비디오 코딩 프레임워크를 제안한다. 이를 위해 스킵 연결과 잔차 학습 기법 등이 적용된 심층 콘볼루션 신경망 구조를 제안하고, 비디오 코딩 프레임워크의 실제 응용 상황에 맞추어 학습시켰다. 입력 해상도가 $352{\times}288$이고 프레임율이 8fps인 영상을 110kbps로 부호화 하는 응용 상황에서, 기존의 스케일러블 HEVC 프레임워크에 비해 제안하는 스케일러블 비디오 코딩 프레임워크의 화질이 더 높고 부호화 효율이 우수함을 확인할 수 있었다.

• 방송공학회논문지
• /
• 제24권2호
• /
• pp.306-314
• /
• 2019

영상의 해상도가 빠른 속도로 증가하기 때문에 계속된 전송 대역폭의 증가에도 불구하고 여전히 효과적인 영상 압축 방법에 대한 연구의 요구가 계속 되고 있다. 이와 같은 요구를 충족하기 위해서 영상의 해상도를 줄인 뒤 압축하여 전송한 뒤에 복원 시에 초해상화 기법을 사용하여 원 해상도로 복원하는 방법에 대한 연구가 제안되었다. 이 방법은 입력 영상의 해상도를 낮추기 때문에 동일한 크기로 압축한다고 할 때, 픽셀 당 비트의 수가 증가되어 영상 압축에서 발생되는 손실을 줄여 복원 영상을 화질을 높일 수 있다. 하지만, 이러한 초해상화를 이용한 비디오 압축 방법의 경우 모든 목표 전송 대역에서 효과적인 것이 아니다. 영상 해상도를 줄이면서 발생되는 손실의 크기와 압축에서 발생되는 손실의 크기를 비교해서 영상 압축에서 발생되는 왜곡이 더 큰 경우에만 기존 압축 성능보다 향상된 결과를 얻을 수 있다. 특히, HEVC의 경우 이전의 표준 압축에 비해 상당히 높은 압축 성능을 가지고 있기 때문에 압축 왜곡이 더 커지는 경우가 상당히 저 대역폭 전송 에서만 생기는 것을 실험적으로 확인할 수 있었다. 본 논문에서는 다양한 영상에서 HEVC 기반 초해상화를 이용한 비디오 코딩을 적용해보고 효과적으로 적용될 수 있는 목표 대역폭을 측정해보았다.

• 방송공학회논문지
• /
• 제26권5호
• /
• pp.500-507
• /
• 2021

가상현실 산업은 Covid-19 이후 비대면 콘텐츠 수요 급증과 메타버스에 대한 관심과 더불어 재도약할 기회를 얻었다. 따라서 이러한 흐름과 함께 가상현실 콘텐츠를 대중화를 위해서는 양질의 콘텐츠 제작과 가상현실 특성에 맞는 스토리텔링 연구가 지속적으로 이루어져야 한다. 이처럼 가상현실 특성을 적용한 콘텐츠가 사용자 피드백을 통해 효과적으로 제작되기 위해서는 해당 콘텐츠를 평가할 수 있는 정량적 지표가 필요하다. 본 연구에서는 가상현실 콘텐츠를 관람하는 과정을 분석하여 머리 움직임을 정량적 지표로 설정하였다. 이후 실험자는 5개 애니메이션을 관람하고 이에 따라 기록된 머리 움직임 정보와 몰입도 간의 상관관계를 분석하였다. 분석 결과는 머리 움직임 속도가 상대적으로 느릴 때 높은 몰입도를 나타내었고, 머리 움직임 속도가 콘텐츠 몰입도 정도를 나타내는 지표로 유의미하게 사용될 수 있다는 것을 알 수 있었다. 이렇게 도출된 결과는 이후 창작자가 가상현실 콘텐츠 제작을 할 때 프로토타입 제작 후 적용된 스토리텔링 방식의 유효성을 검증할 수 있는 정량적 지표로 사용될 수 있다. 이러한 방식은 제안된 스토리텔링 방식 문제점을 빠르게 파악하고 더 나은 방식을 제안할 수 있어 콘텐츠의 질을 향상시킨다. 본 연구는 머리 움직임 속도라는 정량적 지표를 기반으로 몰입도를 분석하는 기초연구로 양질의 가상현실 콘텐츠 제작과 가상현실 콘텐츠 대중화에 기여하고자 한다.

• 방송공학회논문지
• /
• 제26권5호
• /
• pp.553-565
• /
• 2021

포인트 클라우드는 3D 오브젝트를 표현하기 위한 점들의 집합으로 3D 좌표 정보인 기하 정보와 색상, 반사율 등을 나타내는 속성 정보로 이루어져 있으며, 이러한 표현 방식으로 인해 2D 영상에 비해 방대한 양의 데이터를 가진다. 따라서, 포인트 클라우드 데이터를 전송하거나 다양한 분야에서 활용하기 위해서 포인트 클라우드 데이터를 압축하는 과정이 필수적으로 요구된다. 포인트 클라우드는 2D 영상과 같이 해당 영상을 구성하는 2D 기하 정보에 대응하는 색상 정보가 모두 존재하는 것과 달리, 3D 공간 중 일부만이 색상과 같은 속성 정보를 포함하여 포인트 클라우드를 표현하고 있기에, 기하 정보에 대한 별도의 처리도 요구된다. 이와 같은 포인트 클라우드의 특징을 기반으로 고밀도 포인트 클라우드 데이터의 압축 방안으로 국제 표준화 기구 ISO/IEC 산하 MPEG에서는 포인트 클라우드 영상을 사영한 뒤 2D DCT 기반의 2D 영상 압축 코덱으로 압축하는 V-PCC 를 표준화 중에 있다. 해당 표준은 3D 포인트 클라우드를 2D로 변환하여 압축을 진행하기에 3D 공간 정보를 정확하게 표현하기에는 한계가 존재한다. 이에, 본 논문에서는 포인트 클라우드 정지영상을 3D 상에서 3D DCT로 변환하여 포인트 클라우드 데이터를 압축하는 방안인 3D Discrete Cosine Transform based Point Cloud Compression을 제시하고, 2D DCT 기반의 V-PCC와 비교하여 3D DCT의 효율성을 확인하고자 한다.

• 방송공학회논문지
• /
• 제25권6호
• /
• pp.870-881
• /
• 2020

본 논문에서는 5G NR (new radio) 시스템에서 PSS/SSS (primary synchronization signal/secondary synchronization signal)를 이용한 cell ID (cell identity) 검출 방법들을 제시하고 성능을 평가한다. 시간 영역에서 PSS를 먼저 검출한 후 검출된 PSS 정보를 이용하여 채널 추정 및 SSS의 시퀀스 검출에 사용하는 2단계(2-stage) 검출 방법과 PSS와 SSS 시퀀스를 결합하여 동시에 검출하는 결합 검출(joint detection) 방법을 사용한다. 또한, 추정한 채널 이득을 이용하여 주어진 PSS 및 SSS의 전체 시퀀스 길이의 상관(correlation) 값을 계산하는 coherent 방법과 시퀀스의 전체 길이를 여러 개의 그룹으로 나누어 각 그룹 내에서는 coherent 상관을 계산하고, 이들을 결합하여 전체 그룹의 상관 값을 계산하는 non-coherent combining 방법을 제시한다. 본 논문에서 고려한 검출 방법들에 대해 전산 실험을 통하여 PSS 및 SSS의 개별 검출 에러율과 전체 cell ID 검출 에러율 성능을 비교한다. 전산 실험 결과는 가산 백색 가우시안 잡음환경과 고정 및 이동 환경에서 non-coherent combining 방법이 coherent 방법에 비해 우수한 검출 성능을 보이며, 결합 검출 방법은 2단계 검출 방법에 비해 우수한 성능을 보이나 계산 복잡도 측면에서는 2단계 검출 방법이 보다 낮은 복잡도를 갖는다는 것을 보여준다.

• 방송공학회논문지
• /
• 제25권6호
• /
• pp.944-953
• /
• 2020

객체 검출 알고리즘은 자율주행 시스템 구현을 위한 핵심 요소이다. 최근 심층 합성곱 신경망 (Deep Convolutional Neural Network) 기반의 영상 인식 기술이 발전함에 따라 심층 학습을 이용한 객체 검출 관련 연구들이 활발히 진행되고 있다. 본 논문에서는 객체 검출에 가장 널리 사용되고 있는 Mask R-CNN의 경량화 모델을 제안하여 도로 내 다양한 객체들의 위치와 형태를 효율적으로 예측하는 방법을 제안한다. 또한, 주의 모듈(Attention Module)을 Mask R-CNN 내 각각 다른 역할을 수행하는 신경망 계층에 적용함으로써 특징 지도를 적응적으로 재교정(Re-calibration)하여 검출 성능을 향상시킨다. 실제 주행 영상에 대한 다양한 실험 결과를 통해 제안하는 방법이 기존 방법 대비 크게 감소된 신경망 매개변수만을 이용하여 고성능 검출 성능을 유지함을 보인다.

• 방송공학회논문지
• /
• 제25권6호
• /
• pp.973-979
• /
• 2020

본 연구에서는 동공 반응 데이터를 수집하여 공감의 사회 감성을 객관적이고 정량적으로 추정하는 데 목적이 있다. 52명(남 26명, 여 26명)의 피험자가 실험에 참여하였다. 실험은 30초의 참조 데이터 측정 후, 공감 유무에 따라 얼굴 표정 모방 과제와 자발적 표현과제로 구분되어 두 사람은 상호작용하였고 동공을 촬영하였다. 이진화 및 원형 윤곽선 검출법의 영상처리를 활용하여 동공 데이터를 수집하였고, 이상 데이터 제거 기법을 활용해 눈 깜빡임 노이즈를 제거하였다. 공감 유무에 따른 동공 크기 데이터는 정규성 검증 및 독립표본 t 검정을 통해 통계적 유의성을 확인하였다. 분석 결과, 공감하는 경우(M ± SD = 0.050 ± 1.817)와 공감하지 않은 경우(M ± SD = 1.659 ± 1.514) 동공 크기가 통계적으로 유의미한 차이를 보였다(t(92) = -4.629, p = 0.000). 판별분석을 통해 동공 크기에 따른 공감 유무를 추정하는 규칙을 정의하였고, 새로운 실험참가자 12명(남 6명, 여 6명, M ± SD = 22.84 ± 1.57세)을 대상으로 규칙을 검증(추정 정확도 75%)하였다. 본 연구에서 제안한 동공 크기 데이터를 이용한 공감의 사회 감성 추정 기술은 비접촉식 카메라 기반의 기술로 스마트 글래스와 접목되어 다양한 가상 현실 분야에 활용도가 높을 것으로 기대된다.