Хотя вполне очевидно, что одной из главных тем философии науки должно быть использование априорных знаний в обучении, до последнего времени в этой области был проведен лишь небольшой объем работы. В книге Fact, Fiction, and Forecast, написанной философом Нельсоном Гудманом [578], была опровергнута применявшаяся ранее гипотеза о том, что индукция сводится просто к изучению достаточного количества примеров некоторого высказывания с квантором всеобщности, а затем принятия его в качестве гипотезы. Рассмотрим, например, гипотезу "Цвета всех изумрудов изменчивы", где под изменчивым подразумевается "зеленый, если наблюдения проводятся до времени t, но голубой, если наблюдения проводятся после этого". В любое время, предшествующее t, человеком могли бы рассматриваться миллионы примеров, подтверждающих правило, что цвета изумрудов изменчивы, и ни одного опровергающего примера, и тем не менее не была бы выражена готовность принять это правило. Такое свойство человеческой психики можно объяснить только с помощью анализа той роли, которую играют в процессе индукции релевантные априорные знания. Гудман предложил рассматривать различные виды априорных знаний, которое могли бы оказаться применимыми в логическом выводе, включая одну из версий способа формулировки определений, называемую определением сверхгипотез. К сожалению, идеи Гудмана никогда не применялись в исследованиях по машинному обучению.

Истоками подхода к обучения на основе объяснения явились методы, используемые в планировщике Strips [465]. После формирования какого-то плана его обобщенная версия сохраняется в библиотеке планов и используется в дальнейшем планировании в качестве макрооператора. Аналогичные идеи просматриваются в архитектуре ACT* Андерсона, где они выступают под названием компиляции знаний [31], и в архитектуре Soar под названием формирование фрагментов [881]. Непосредственными причинами быстрого повышения интереса к методам обучения на основе объяснения стало появление методов приобретения схемы [379], аналитического обобщения [1062] и обобщения на основе ограничений [1056], которые были подытожены в статьях [381] и [1065]. Хирш [659] предложил алгоритм EBL, описанный в данной книге, и показал, что этот алгоритм можно непосредственно включить в систему логического программирования. Ван Хармелен и Банди [1531] показали, что метод обучения на основе объяснения представляет собой один из вариантов метода частичной оценки, используемого в системах анализа программ [742].