Затем мы окажемся в тупике, пытаясь представить описания примеров. Единственно возможными атрибутами станут такие ужасно неуклюжие конструкции, как следующая:

Определением отношения Grandparent в терминах этих атрибутов становится большая дизъюнкция описаний конкретных случаев, которая вообще не может быть обобщена с учетом новых примеров. Алгоритмы обучения на основе атрибутов не способны обеспечить изучение реляционных предикатов. Таким образом, одним из принципиальных преимуществ алгоритмов ILP является их применимость для решения гораздо более широкого диапазона задач, включая реляционные задачи.

Читатель должен был, безусловно, заметить, что для представления определения Grandparent мог бы помочь небольшой фрагмент фоновых знаний. Например, если в состав фоновых знаний Background входит следующее высказывание:

то определение отношения Grandparent можно свести к следующему:

Этот пример показывает, насколько существенно фоновые знания позволяют сократить размер гипотез, требуемых для объяснения результатов наблюдений.

Алгоритмы ILP позволяют также создавать новые предикаты для упрощения способов выражения объяснительных гипотез. Применительно к примеру данных, приведенному выше, было бы вполне резонно, чтобы программа ILP предложила дополнительный предикат, который можно было бы назвать "Parent" (Родитель), для упрощения определений целевых предикатов. Алгоритмы, которые способны вырабатывать новые предикаты, называются алгоритмами конструктивной индукции. Очевидно, что конструктивная индукция является необходимой частью подхода к обучению на основе накопления знаний, который был кратко описан во введении. Задача накопления знаний всегда была одной из сложнейших задач машинного обучения, но некоторые методы ILP предоставляют эффективные механизмы ее решения.

В оставшейся части данной главы исследуются два принципиальных подхода к индуктивному логическому программированию. В первом из них используется обобщение методов на основе деревьев решений, а во втором используются методы, основанные на инвертировании доказательства с помощью резолюции.