• 융합신호처리학회논문지
• /
• 제19권1호
• /
• pp.1-6
• /
• 2018

본 논문에서는 다중 스케일 영상 공간에서 특징점 검출을 위해 수행되는 반복적인 과정을 제거하는 방법을 제안한다. 제안한 방법은 원 영상으로부터 특징점을 검출하고, 클러스터 필터를 이용하여 유효한 특징점을 선별하고, 특징점 클러스터를 생성한다. 그리고 특징점 클러스터의 방향 각도를 이용하여 참조 객체를 선별하고, 분산 거리 비율을 이용하여 원 영상의 스케일을 예측한다. 예측한 스케일에 따라 참조 영상의 스케일을 변환하고, 변환된 참조 영상에 대해 특징점 검출을 적용한다. 실험 결과 제안한 방법은 다중 스케일 영상을 사용하는 SIFT 방법 및 Scaled ORB 방법에 비해 특징점 검출 시간이 각각 75% 및 71% 향상됨을 알 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.143-145
• /
• 2022

MPEG-VCM(Video Coding for Machine)은 입력된 비디오 특징(feature)를 압축하는 Track1 과 입력 영상을 직접 압축하는 Track2 로 나뉘어 표준화가 진행중이다. 본 논문은 VCM Track 1 에 해당하는 Detectron2 FPN(Feature Pyramid Network)에서 추출한 다중 스케일 특징맵을 VVC 로 압축하는 MSFC(Multi-Scale Feature Compression)을 구조를 제안한다. 본 논문의 MSFC 에서는 다중 스케일 특징을 결합하여 부호화/복호화하는 기존의 구조에서 특징맵의 해상도를 줄여 압축하는 개선된 MSFC 를 제시한다. 제안 방법은 VCM 의 Track2 의 영상 앵커(image anchor) 보다 우수한 BPP-mAP 성능을 보이고 최대 -84.98%의 BD-rate 성능향상을 보인다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 추계학술대회
• /
• pp.10-13
• /
• 2022

최근 인공지능 기술을 바탕으로 지능형 분석을 수행하는 기계를 위한 비디오 부호화 기술의 필요성이 요구되면서, MPEG 에서는 VCM(Video Coding for Machines) 표준화를 시작하였다. VCM 에서는 기계를 위한 비디오/이미지 압축 또는 비디오/이미지 특징 압축을 위한 다양한 방법이 제시되고 있다. 본 논문에서는 객체추적(object tracking)을 위한 머신비전(machine vision) 네트워크에서 추출되는 다중스케일(multi-scale) 특징의 효율적인 압축 기법을 제시한다. 제안기법은 다중스케일 특징을 단일스케일(single-scale) 특징으로 차원을 축소하여 형성된 특징 시퀀스를 최신 비디오 코덱 표준인 VVC(Versatile Video Coding)를 사용하여 압축한다. 제안기법은 VCM 에서 제시하는 기준(anchor) 대비 89.65%의 BD-rate 부호화 성능향상을 보인다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 추계학술대회
• /
• pp.1-3
• /
• 2022

최근 기존의 영상 압축 파이프라인 대신 신경망의 종단 간 학습을 통해 압축을 수행하는 알고리즘의 연구가 활발히 진행되고 있다. 본 논문은 종단 간 학습 기반 공간적 스케일러블 압축 기술을 제안한다. 보다 구체적으로 본 논문은 신경망의 각 계층에서 하위 계층의 학습된 특징 (feature)을 융합하여 상위 계층으로 전달하는 다중 스케일 특징 융합 (multi-scale feature fusion) 모듈을 도입해 상위 계층이 더욱 풍부한 특징 정보를 학습하고 계층 사이의 특징 중복성을 더욱 잘 제거할 수 있도록 한다. 기존 방법 대비 향상 계층(enhancement layer)에서 1.37%의 BD-rate가 향상된 결과를 볼 수 있다.

• 한국콘텐츠학회논문지
• /
• 제7권1호
• /
• pp.48-57
• /
• 2007

눈좌표 검출은 얼굴 인식 및 관련된 응용 분야 등에서 필요한 작업이다. 현재까지 보고된 대부분의 눈좌표 검출 방법은 성공적인 적용을 위해서는 여전히 정확도 및 검출 속도의 개선을 필요로 한다. 본 논문에서는 다중스케일 가버 특징 벡터 모델 기반의 개선된 눈좌표 검출 방법을 제안한다. 제안된 방법은 먼저 다운샘플링된 입력 얼굴 이미지에서 초기 눈좌표에서의 가버 특징 벡터와 해당 스케일의 눈 모델 번치와의 가버젯 유사도를 이용하여 눈좌표를 추정한다. 이후 추정된 눈좌표를 상위 스케일의 얼굴 이미지에서의 눈좌표 초기값으로 취하고 상위 스케일 얼굴 이미지에서 같은 방법으로 눈좌표를 찾으며, 이를 반복적으로 하여 최종적으로 원래 얼굴 이미지에서의 눈좌표를 확정한다. 실험을 통해, 본 논문에서 제안한 다중스케일 가버 특징 벡터 모델 기반 눈좌표 검출 방법이 계산량은 크게 증가시키지 않으면서 기존 연구들에서 보고된 다른 눈좌표 검출 방법에 비해 정확도가 개선된 검출 방법임을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 하계학술대회
• /
• pp.1-4
• /
• 2019

최근에 딥러닝 기술을 적용한 보행자 검출 연구가 활발히 진행되고 있다. 연구자들은 딥러닝 네트워크를 이용하여 보행자 오검출율을 낮추는 방법에 대해 지속적으로 연구하여 성능을 꾸준히 상승시켰다. 그러나 대부분의 연구는 다중 스케일 보행자가 분포되는 저해상도 영상에서 보행자를 제대로 검출하지 못하는 어려움이 존재한다. 따라서 본 연구에서는 기존의 Faster R-CNN구조를 기반으로 하여 새로운 다중 특징 융합 레이어와 다중 스케일 앵커 박스를 적용하여 보행자 오검출율을 줄이는 MS-FRCNN(Multi-scaleFaster R-CNN)구조를 제안한다. 제안된 방식의 성능 검증을 위해 Caltech 데이터세트를 이용하여 실험한 결과, 제안된 MS-FRCNN방식이 기존의 다른 보행자 검출 방식보다 다중 스케일 보행자 검출에서 medium 조건하에 5%, all 조건하에 3.9% 나아짐을 알 수 있었다.

• 한국전자통신학회논문지
• /
• 제19권1호
• /
• pp.301-307
• /
• 2024

본 연구는 다양한 스케일 조건에서 열화상 이미지를 향상시키기 위한 새로운 캐스케이드 융합 구조를 제안한다. 특정 스케일에 맞춰 설계된 방법들은 다중 스케일에서 열화상 이미지 처리에 한계가 있었다. 이를 극복하기 위해 본 논문에서는 다중 스케일 표현을 활용하는 캐스케이드 특징 융합 기법에 기반한 통합 프레임워크를 제시한다. 서로 다른 스케일의 신뢰도 맵을 순차적으로 융합함으로써 스케일에 제약받지 않는 학습이 가능해진다. 제안된 구조는 상호 스케일 의존성을 강화하기 위해 엔드 투 엔드 방식으로 훈련된 합성곱 신경망으로 구성되어 있다. 실험 결과, 제안된 방법은 기존의 다중 스케일 열화상 이미지 향상 방법들보다 우수한 성능을 보인다는 것을 확인할 수 있었다. 또한, 실험 데이터셋에 대한 성능 분석 결과 이미지 품질 지표가 일관되게 개선되었으며, 이는 캐스케이드 융합 설계가 스케일 간 견고한 일반화를 가능하게 하고 교차 스케일 표현 학습을 더 효율적으로 수행하는 데 기여하는 것을 보여준다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 추계학술발표대회
• /
• pp.539-540
• /
• 2022

본 논문에서는 정확한 장기 시계열 예측을 위해 시계열 데이터의 다양한 스케일 (시간 규모)에서 표현을 학습하는 트랜스포머 모델을 제안한다. 제안하는 모델은 시계열의 다중 스케일 특징을 추출하고, 이를 트랜스포머에 반영하여 예측 시계열을 생성하는 구조로 되어 있다. 스케일 정규화 과정을 통해 시계열의 전역적 및 지역적인 시간 정보를 효율적으로 융합하여 종속성을 학습한다. 3 가지의 다변량 시계열 데이터를 이용한 실험을 통해 제안하는 방법의 우수성을 보인다.

• 한국음향학회지
• /
• 제39권6호
• /
• pp.600-605
• /
• 2020

본 논문에서는 청각 장애인을 위한 소리 감지 홈 모니터링을 위해 다채널 다중 스케일 신경망을 사용한 사운드 이벤트 검출 방식을 제안한다. 제안하는 시스템에서는 홈 내의 여러 무선 마이크 센서들로부터 높은 신호 품질을 갖는 두 개의 채널을 선택하고, 그 신호들로부터 도착신호 지연시간, 피치 범위, 그리고 다중 스케일 합성 곱 신경망을 로그멜 스펙트로그램에 적용하여 추출한 특징들을 양방향 게이트 순환 신경망 기반의 분류기에 적용함으로써 사운드 이벤트 검출의 성능을 더욱 향상시킨다. 검출된 사운드 이벤트 결과는 선택된 채널의 센서 위치와 함께 텍스트로 변환되어 청각 장애인에게 제공된다. 실험결과는 제안한 시스템의 사운드 이벤트 검출 방식이 기존 방식보다 우수하며 청각 장애인에게 효과적으로 사운드 정보를 전달할 수 있음을 보인다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.140-142
• /
• 2022

최근 신경망 기반 기술들의 발달에 따라, 신경망 기술들은 충분히 높은 임무 수행 성능을 달성하고 있으며 사물인터넷, 스마트시티, 자율주행 등 다양한 환경을 고려한 응용 역시 활발히 연구되고 있다. 하지만 이러한 신경망의 임무 다양성과 복잡성은 더욱 많은 비디오 데이터가 요구되며 대역폭이 제한된 환경을 고려한 응용에서 이러한 비디오 데이터를 효과적으로 전송할 방법이 필요하다. 이에 따라 국제 표준화 단체인 MPEG 에서는 신경망 기계 소비에 적합한 비디오 부호화 표준 개발을 위해 Video Coding for Machines (VCM) 표준화를 진행하고 있다. 본 논문에서는 신경망의 특징 부호화 효율을 개선하기 위하여 VCM 을 위한 다중 스케일 특징 압축 방법을 제안한다. COCO2017 데이터셋의 검증 영상을 기반으로 제안방법을 평가한 결과, 압축된 특징의 크기는 원본 이미지의 0.03 배이며 6.8% 미만의 임무 정확도 손실을 보였다.