В ранние годы развития искусственного интеллекта приложения статистических методов обучения были активной областью исследований [421], но отделились от основного направления искусственного интеллекта после того, как работы в этом направлении сосредоточились на символических методах. Тем не менее исследования статистических методов обучения продолжались в различных формах (часть которых явно относилась к вероятностным, а другая — нет) в таких областях, как распознавание образов [394] и информационный поиск [1347]. Возрождение всеобщего интереса к этой теме началось вскоре после появления моделей байесовских сетей в конце 1980-х годов; приблизительно в то же время начала формироваться статистическая научная трактовка процесса обучения нейронных сетей. В конце 1990-х годов произошло заметное пробуждение интереса к машинному обучению, статистике и нейронным сетям и значительные усилия были сосредоточены на разработке методов создания больших вероятностных моделей на основе данных.

Наивная байесовская модель представляет собой одну из самых старых и наиболее простых форм байесовской сети, которая была впервые описана в 1950-х годах. О том, каково происхождение этой модели, упоминалось в заметках в конце главы 13; частичное описание этой темы приведено в [402]. Программа на основе усиленной формы наивного байесовского обучения стала победителем первого соревнования по интеллектуальному анализу данных на кубок KDD Cup [435]. В [641] приведено превосходное введение в общую проблему обучения байесовской сети. Определение параметров байесовской сети с помощью распределений априорных вероятностей Дирихле для байесовских сетей рассматривалось в [1450]. Многие из этих идей были реализованы в программном пакете Bugs [555], который представляет собой очень мощное инструментальное средство для формулировки и обучения сложных вероятностных моделей. В первых алгоритмах для определения в процессе обучения структур байесовских сетей использовались проверки условной независимости [1191], [1193]. В [1452] разработан исчерпывающий подход и описан пакет Tetrad для обучения байесовских сетей на основе аналогичных идей. Достигнутые с тех пор усовершенствования алгоритмов стали причиной убедительной победы метода обучения байесовской сети в соревновании по интеллектуальному анализу данных на кубок KDD Cup 2001 года [248]. (На этих соревнованиях рассматривалась конкретная задача из биоинформатики с 139351 характеристикой!) Подход к определению в процессе обучения структуры сети, основанный на учете максимального правдоподобия, был разработан Купером и Херсковицем [292] и усовершенствован Хекерманом и др. [642]. В [507] указано на то, какое влияние оказывает способ представления локальных распределений условных вероятностей на структуру, определяемую в процессе обучения.