본 논문에서는 이음매없는 모자이크 구성을 위한 영상 정렬 방법을 제안한다. 모자이크 구성을 위한 전역 움직임 추정 후, 전역 움직임 계수를 이용하여 모자이크를 구성하려면, 정렬이 올바르게 수행되지 않은 국부 영역이 존재하게 되고, 이러한 국부 영역에서는 선분의 끊김, 흐려짐, 겹침 현상이 일어난다. 전역 움직임 계수에 의해서 정렬되지 않은 국부 영역을 정렬하기 위해서는 잔여 움직임 추정 알고리즘이 필요하다. 그러나, 잔여 움직임 추정을 위해서는 카메라의 초점 거리나 조도 변화와 관계된 변수를 추정해야 하고, 또한 이에따른 많은 계산량을 요구하게 된다. 이러한 문제점을 해결하기 위해서, 본 논문에서는 추가적인 외부 변수의 추정 과정 없이 효율적으로 잔여 움직임을 추정할 수 있는 알고리즘을 제안한다. 제안된 방법에서는 잔여 움직임 추정 과정에서 사용되는 측정 및 추정 윈도우의 크기를 효율적으로 설정함으로써 잔여 움직임 정보를 효과적으로 추정할 수 있다. 제안된 단계적 잔여 움직임 알고리즘을 적용하여 모자이크를 구성함으로써, 전역 움직임 계수에 의해서 정렬되지 않았던 국부 영역의 흐려짐, 겹침 현상을 해결할 수 있음을 실험적으로 확인하였다.