Одним из основных критических замечаний в адрес искусственного интеллекта, содержащихся в отчете Лайтхилла [930], который лег в основу решения британского правительства прекратить поддержку исследований в области искусственного интеллекта во всех университетах, кроме двух, была неспособность справиться с "комбинаторным взрывом" — стремительным увеличением сложности задачи. (Это — официальная версия событий, а в устном изложении рисуется немного иная и более красочная картина, в которой проявляются политические амбиции и личные интересы, описание которых выходит за рамки данного изложения.)

Сложности третьего рода возникли в связи с некоторыми фундаментальными ограничениями базовых структур, которые использовались для выработки интеллектуального поведения. Например, в книге Минского и Пейперта Perceptrons [1054] было доказано, что перцептроны (простая форма нейронной сети) могут продемонстрировать способность изучить все, что возможно представить с их помощью, но, к сожалению, они позволяют представить лишь очень немногое. В частности, перцеп-трон с двумя входами нельзя обучить распознаванию такой ситуации, при которой на два его входа подаются разные сигналы. Хотя полученные этими учеными результаты не распространяются на более сложные, многослойные сети, вскоре было обнаружено, что финансы, выделенные на поддержку исследований в области нейронных сетей, почти не приносят никакой отдачи. Любопытно отметить, что новые алгоритмы обучения путем обратного распространения для многослойных сетей, которые стали причиной возрождения необычайного интереса к исследованиям в области нейронных сетей в конце 1980-х годов, фактически были впервые открыты в 1969 году [201].