Предпринимались также попытки применить многие другие алгоритмические подходы к обучению. Подход, основанный на использовании текущей наилучшей гипотезы, предусматривает сопровождение единственной гипотезы, а также ее уточнение, если обнаруживается, что она слишком широка, и обобщение, если она оказывается слишком узкой. Такой принцип проведения исследований уже давно применяется в философии [1049]. Кроме того, даже ранние работы в области когнитивной психологии показали, что в этом состоит естественная форма изучения концепций людьми [199]. В искусственном интеллекте такой подход наиболее тесно связан с работой Патрика Уинстона, в докторской диссертации которого [1602] рассматривается проблема изучения описаний сложных объектов. В методе пространства версий [1061], [1062] принят другой подход, в котором сопровождается множество всех совместимых гипотез и удаляются оказавшиеся несовместимыми с новыми примерами. Такой подход был реализован в экспертной системе Meta-Dendral, применяемой в химии [202], а затем — системе Митчелла Lex [1066], которая обучалась решению задач исчисления. Третье влиятельное направление возникло под влиянием работы Михальского и его коллег над рядом алгоритмов AQ, применявшихся для изучения множеств логических правил [1038], [1041].

Метод обучения ансамбля деревьев решений все чаще применяется для повышения производительности обучающих алгоритмов. Первый эффективный метод такого типа, называемый ^ созданием мультимножеств [179], предусматривает формирование комбинаций гипотез, изученных на основе многочисленных наборов данных начальной загрузки, каждый из которых формируется путем выборки подмножества из первоначального множества данных. Метод усиления, описанный в данной главе, впервые был изложен в теоретической работе Шейпира [1361]. Алгоритм AdaBoost был разработан Фрейндом и Шейпиром [501], а результаты его теоретического анализа приведены в [1360]. В [505] принципы работы метода усиления описаны с точки зрения специалиста по статистике.

Теоретический анализ обучающих алгоритмов начался с работы Голда [569] по проблеме идентификации в пределе. Стимулом к развитию этого подхода отчасти явились модели научного открытия, разработанные в рамках философии науки [1229], но этот подход в основном применялся к задаче изучения грамматик на примерах предложений [1162].