История философских исследований в области индуктивного обучения описана в главе 1. Уильям из Окхема (1280—1349), наиболее влиятельный философ своей эпохи, внесший в средние века наибольший вклад в развитие эпистемологии, логики и метафизики, заслужил признание потомков за то, что выдвинул важный принцип, называемый "бритвой Оккама", который на латыни выражается словами "Entia non sunt multiplicanda praeter necessitatem", а в переводе звучит так: "Не следует множить сущности без необходимости". К сожалению, это замечательное изречение не удалось найти в его трудах точно в такой формулировке.

Одной из первых систем, в которой использовались деревья решений (или, как они в ней именовались, различительные сети (discrimination nets)), была система ЕРАМ (Elementary Perceiver And Memorizer) Фейгенбаума [457]. Система ЕРАМ предназначалась для применения в качестве модели имитации познания в процессе обучения человека новым понятиям. В системе CLS [707] для формирования деревьев решений использовался эвристический прогностический метод. В системе ID3 [1256] была дополнительно реализована крайне важная идея о том, что для обеспечения функционирования эвристической функции может применяться информационное содержание. Сама теория информации была разработана Клодом Шенноном для использования в качестве средства исследования процессов связи [1394]. Важный вклад, сделанный Шенноном, состоит также в том, что он разработал первые образцы систем, действующих по принципу машинного обучения, в частности механическую мышь, получившую имя Theseus (Тезей), которая обучалась прохождению через лабиринт по методу проб и ошибок. Методотсечения ветвей деревьев был описан Куинланом [1257]. Описание пакета С4.5 производственного назначения, который основан на использовании деревьев решений, можно найти в [1259]. В литературе по статистике существует отдельное направление, посвященное исследованиям в области деревьев решений. Одним из основных источников информации по этой теме является книга Classification and Regression Trees [180], известная под названием книги "CART".