В предыдущем разделе описывалась простейшая постановка задачи индуктивного обучения. А в этом разделе речь пойдет о логических связях между гипотезами, описаниями примеров и классификациями, что позволяет понять роль априорных знаний. Допустим, что Descriptions обозначает конъюнкцию всех описаний примеров в обучающем множестве, a Classifications — конъюнкцию всех классификаций примеров. В таком случае гипотеза, которая позволяет "объяснить результаты наблюдений", должна удовлетворять следующему свойству (напомним, что означает "влечет за собой логически"):

(19.3)

Мы будем называть связь такого рода ограничением логического следствия, в котором Hypothesis представляет собой "неизвестное". Чисто индуктивное обучение сводится к разрешению этого ограничения, притом что гипотеза Hypothesis извлекается из некоторого заранее определенного пространства гипотез. Например, если дерево решений рассматривается как логическая формула (см. уравнение 19.1), то дерево решений, совместимое со всеми примерами, будет удовлетворять уравнению 19.3. Если же на логическую форму гипотезы не налагаются никакие ограничения, то, разумеется, условие Hypothesis=Classifications также удовлетворяет этому ограничению. Согласно принципу бритвы Оккама, следует отдавать предпочтение небольшим, совместимым гипотезам, поэтому мы должны попытаться найти лучшее решение, чем просто запоминание примеров.

Такой простой подход к индуктивному обучению, в котором не предусматривалось использование знаний, господствовал в искусственном интеллекте до начала 1980-х годов. А современный подход состоит в том, что должны проектироваться агенты, которые уже кое-что знают и пытаются освоить в процессе обучения некоторую дополнительную информацию. На первый взгляд открытие, приведшее к такой смене подходов, не кажется чрезвычайно глубоким, но оно стало причиной весьма существенного изменения способа проектирования агентов. Кроме того, это открытие может иметь определенное отношение к рассматриваемым в данной книге теориям о том, как развивается сама наука. Общая идея этого открытия показана на рис. 19.4.