Как было указано выше, свет, отражаясь от объектов в сцене, формирует изображение, состоящее, скажем, из пяти миллионов трехбайтовых пикселов. Как и при использовании датчиков всех других типов, полученный сигнал содержит шум, но в данном случае ситуация усугубляется тем, что объем полученных данных очень велик. В этом разделе будет показано, что можно сделать с данными изображения для того, чтобы упростить их обработку. Вначале рассмотрим операции сглаживания изображения, позволяющие уменьшить шум, а также операции, позволяющие обнаруживать края участков на изображении. Эти операции называются операциями "предварительной обработки" или операциями "низкого уровня", поскольку они стоят на первом месте в конвейере операций. Визуальные операции предварительной обработки характеризуются тем, что выполняются локально (они могут применяться лишь к одному участку изображения без учета того, что есть еще какие-то другие участки изображения, пусть даже находящиеся на расстоянии всего нескольких пикселов), а также тем, что в них не требуются знания для сглаживания изображения и обнаружения краев не нужно задумываться над тем, какие объекты представлены на изображениях. Благодаря этому операции низкого уровня вполне могут быть реализованы с помощью параллельных обрабатывающих средств либо в живом организме, либо в электронном устройстве. Затем мы рассмотрим одну операцию среднего уровня — операцию сегментации изображения на участки. Операции на этом этапе все еще применяются к изображению, а не ко всей сцене, но уже появляются элементы нелокальной обработки.

Как было указано в разделе 15.2, под сглаживанием подразумевается предсказание значения переменной состояния в некоторый момент времени t в прошлом при наличии свидетельств, полученных, начиная с момента времени t и заканчивая всеми другими значениями времени вплоть до настоящего момента. Теперь мы применим такую же идею, но не во временной проблемной области, а в пространственной, и будем трактовать процесс сглаживания как предсказание значения данного конкретного пиксела, если известны значения окружающих его пикселов. Следует отметить, что необходимо четко понимать, каково различие между наблюдаемым значением, измеренным для какого-то пиксела, и истинным значением, которое в действительности должно было быть измерено в этом пикселе. Они могут быть разными из-за случайных ошибок измерений или из-за систематического отказа, поскольку может оказаться, что в этой точке неисправен элемент матрицы CCD.