В этой главе рассматривается задача обучения в тех условиях, когда уже кое-что известно.

Во всех подходах к обучению, описанных в предыдущих трех главах, основная идея состоит в том, что должна быть сформирована функция, входные и выходные данные которой соответствуют закономерностям, наблюдаемым в данных. В каждом подобном случае методы обучения можно рассматривать как поиск в пространстве гипотез для обнаружения подходящей функции, начиная только с очень простых предположений о форме этой функции, таких как "полином второго порядка" или "дерево решений", и руководствуясь такими критериями, как "чем проще, тем лучше". Применение такого подхода равносильно требованию, что перед началом изучения чего-либо нового необходимо в первую очередь забыть (почти) все, что вы знаете. А в данной главе рассматриваются методы обучения, позволяющие воспользоваться априорными знаниями о мире. В большинстве случаев априорные знания представлены в виде общих логических теорий первого порядка, поэтому вначале в этой главе необходимо систематизировать сведения о представлении знаний и обучении.