В процессе зрения концентрируется свет, рассеянный объектами в сцене, и создается двухмерное изображение на плоскости изображения. Плоскость изображения покрыта светочувствительным материалом — в сетчатке таковым являются молекулы родопсина, на фотографической пленке — галогены серебра, а в цифровой камере — массив элементов с зарядовой связью (Charge-Coupled Device — CCD). Каждый элемент в приборе с зарядовой связью (ПЗС) накапливает заряд, пропорциональный количеству электронов, освобожденных в результате поглощения фотонов за фиксированный период времени. В цифровой камере плоскость изображения представлена в виде прямоугольной решетки, состоящей из нескольких миллионов пикселов. В глазу имеется аналогичный массив элементов, состоящий примерно из 100 миллионов палочек и 5 миллионов колбочек, сгруппированных в гексагональный массив.

Сцена очень велика, а плоскость изображения весьма мала, поэтому требуется определенный способ фокусировки света на плоскости изображения. Такая операция может быть выполнена с помощью линзы или без нее. В любом случае наша основная задача состоит в том, чтобы определить геометрию происходящих преобразований и обеспечить возможность прогнозировать, где каждая точка сцены найдет свое представление на плоскости изображения.