Прежде всего необходимо преодолеть сложности, связанные с сегментацией изображения. Любое изображение, как правило, содержит множество объектов, поэтому необходимо вначале разбить его на подмножества пикселов, соответствующих отдельным объектам. А после разбиения изображения на участки можно ввести данные об этих участках или совокупностях участков в классификатор для определения меток объектов. К сожалению, процесс сегментации "снизу вверх" чреват ошибками, поэтому в качестве альтернативного подхода может быть предусмотрен поиск для определения групп объектов "сверху вниз". Это означает, что можно проводить поиск подмножества пикселов, которые можно классифицировать как лицо, и в случае успешного выполнения данного этапа результатом становится успешное обнаружение группы! Но подходы, основанные исключительно на поиске "сверху вниз" (или нисходящем поиске), имеют высокую вычислительную сложность, поскольку в них необходимо исследовать окна изображения различных размеров, находящиеся в разных местах, а также сравнивать их все с данными различных гипотез о наличии объектов. В настоящее время такая нисходящая стратегия используется в большинстве практически применяемых систем распознавания объектов, но подобная ситуация может измениться в результате усовершенствования методов поиска "снизу вверх" (восходящего поиска).

Еще одной причиной затруднений является то, что процесс распознавания должен осуществляться надежно, невзирая на изменения освещенности и позы. Люди способны легко распознавать объекты, несмотря на то, что их внешний вид существенно изменяется, даже если судить по данным о значениях яркости пикселов на изображениях этих объектов. Например, мы всегда способны узнать лицо друга при разных условиях освещения или под разными углами зрения. В качестве еще более простого примера рассмотрим задачу распознавания рукописной цифры 6. Люди способны решить такую задачу независимо от изменения размеров и положения такого объекта на изображении, а также несмотря на небольшие изменения угла поворота3 надписи, изображающей эту цифру.