До сих пор рассматривалось только одно изображение одновременно. Но видеокамеры позволяют получать 30 кадров в секунду и различия между кадрами могут стать важным источником информации. Если видеокамера движется относительно трехмерной сцены, то в изображении возникает кажущееся результирующее движение, называемое оптическим потоком. Оптический поток содержит информацию о направлении и скорости движения характеристик в изображении, являющегося результатом относительного движения между наблюдателем и сценой. На рис. 24.7, я, б показаны два кадра из видеофильма о вращении кубика Рубика. На рис. 24.7, в показаны векторы оптического потока, вычисленные на основании этих двух изображений. В оптическом потоке зашифрована полезная информация о структуре сцены. Например, при наблюдении из движущегося автомобиля удаленные объекты характеризуются гораздо более медленным кажущимся движением по сравнению с близкими объектами, поэтому скорость кажущегося движения позволяет получить определенную информацию о расстоянии.

Рис. 24.7. Пример использования понятия оптического потока: кубик Рубика на поворотном столе, приведенном во вращение (а); тот же кубик, показанный через 19/30 секунды (любезно предоставлено Ричардом Шелински (Richard Szeliski)) (б); векторы потока, вычисленные путем сравнения двух изображений, приведенных на рис. 24.7, а, б (любезно предоставлено Джо Вебером (Joe Weber) и Джитендрой Маликом (Jitendra Malik)) (в)

Поле вектора оптического потока может быть представлено с помощью его компонентовв направлении x ив направлении у. Для измерения оптического потока необходимо найти соответствующие точки между одним временным кадром и следующим. При этом используется тот факт, что замкнутые участки изображения, сосредоточенные вокруг соответствующих точек, характеризуются аналогичными шаблонами интенсивности. Рассмотрим блок пикселов с центром в пикселе р, в точке, во время. Этот блок пикселов необходимо сравнить с блоками пикселов, центрами которых являются различные потенциально применимые пикселыс координатамиво время. Одним из возможных критериев подобия является сумма квадратов разностей (Sum of Squared Differences — SSD):