Подход к использованию информации о релевантности в форме функциональных зависимостей был впервые разработан в сообществе пользователей баз данных, где он служит для структуризации больших множеств атрибутов на более легко управляемые подмножества. Функциональные зависимости применялись для формирования рассуждений по аналогии Карбонеллом и Коллинзом [222], а их трактовка, более подходящая для использования в логике, была предложена Бобровым и Рафаэлем [144]. Зависимости были повторно открыты независимо и подверглись всестороннему логическому анализу в работах Дэвиса и Рассела [329], [330]. Кроме того, зависимости использовались в методе декларативного смещения Расселом и Грософом [1327]. Эквивалентность таких понятий, как определения и пространства гипотез с ограниченным словарем, была доказана в [1323]. Возможность применения алгоритмов обучения к определениям и достижения повышенной производительности с помощью метода RBDTL впервые была показана на примере алгоритма Focus в [20]. Тадепалли [1485] описал остроумный алгоритм обучения на основе определений, который демонстрирует существенное увеличение скорости обучения.

Идею о том, что индуктивное обучение может осуществляться по методу обратной дедукции, можно проследить до работы B.C. Джевонса [736], который писал: "Изучение формальной логики и теории вероятностей привело меня к тому, что я стал приверженцем мнения, что не существует такой вещи, как отдельный метод индукции, противопоставляемый дедукции, но индукция является просто обратным воплощением дедукции". Исследования в области вычислительных алгоритмов начались с замечательных тезисов докторской диссертации Гордона Плоткина [1216], опубликованных в Эдинбурге. Хотя Плоткин разработал множество теорем и методов, которые в настоящее время находят применение в индуктивном логическом программировании, он был разочарован некоторыми результатами, показывающими неразрешимость определенных подзадач методами индукции. В системе MIS [1396] снова была предпринята попытка решения задачи изучения логических программ, но самим автором эта работа в основном рассматривалась как вклад в теорию автоматизированной отладки. Работа в области индуктивного вывода правил, подобная проведенной при создании систем ID3 [1257] и CN2 [263], привела к появлению системы Foil [1258], которая впервые позволила осуществлять на практике методы индуктивного вывода реляционных правил. Исследования в области реляционного обучения получили новый стимул после публикации работы Магглтона и Бантайна [1100], в которой была описана программа Cigol, реализующая немного неполную версию метода обратной резолюции, но способную вырабатывать новые предикаты5. Задачи изобретения предикатов рассматриваются также в [1604]. Следующей важной системой стала Golem [1102], в которой используется алгоритм формирования покрытия, основанный на выдвинутом Плоткином понятии относительного наименьшего общего обобщения. Тогда как система Foil была нисходящей, системы Cigol и Golem действовали в восходящем направлении. К примерам других систем, появившихся в тот период, относятся Itou [1312] и Clint [352]. В разработанной в дальнейшем системе Progol [1098] был принят гибридный (нисходящий и восходящий) подход к формированию обратного логического следствия; эта система применялась для решения целого ряда практических задач, особенно в области биологии и обработки естественного языка. В [1099] описано расширение системы Progol, позволяющее учитывать неопределенность, в форме стохастических логических программ.