RAFT 를 이용한 딥러닝 기반 Optical flow 예측 방법 구현 및 고찰

최근 영상신호처리에 대한 딥러닝 기술이 비약적으로 발전함에 따라 다양한 방면으로 시도되고 있다. 그 중 machine level vision 에서 인지 기능을 하는 optical flow 를 end-to-end 학습 방식으로 제시하여 고성능 결과물을 도출하는 RAFT(Recurrent All-pairs Field Transform for Optical flow, 2020)에 대해 분석하고자 한다. RAFT 는 입력된 두 이미지에 대한 4D correlation volume 을 구축하여 모든 픽셀에 대한 정보를 사용한다. 또한, recurrent neural network 에서 차용한 반복적인 연산 학습 구조를 통하여 결과물인 flow field 의 정확도를 높인다. 해당 모델은 stereo dataset 을 사용하는 다른 모델에 비해 학습 시간이 짧고 용량이 작으면서 error rate 은 낮은 모습을 보인다. 현재 많은 연구에서 optical flow 를 접목하려는 움직임을 보이고 있고 다양하게 활용될 가능성이 다분하다는 점에서 주목할 가치가 있다.