Страница 4 из 4 Отсечение позволяет также справиться с шумом: ошибки классификации приводят к линейному увеличению ошибки предсказания, а ошибки в описаниях примеров оказывают асимптотическое влияние, которое становится все более ярко выраженным по мере того, как дерево все больше сокращается до меньших множеств. Деревья, сформированные с помощью отсечения, показывают гораздо лучшую производительность, чем деревья, сформированные без отсечения, в том случае, если данные содержат большой объем шума. Деревья с отсеченными ветвями часто бывают намного меньше, поэтому их структуру проще понять. Еще одним методом, позволяющим уменьшить влияние чрезмерно тщательной подгонки, является перекрестная проверка. Этот метод применим к любому алгоритму обучения, а не только к алгоритму обучения деревьев решений. Основная идея этого метода состоит в том, что можно оценить, насколько хорошо каждая гипотеза строит предсказание по данным, не встречавшимся ранее. Этот метод осуществляется на практике путем резервирования определенной части известных данных и дальнейшего использования их для проверки производительности предсказания той гипотезы, которая выведена из оставшихся данных. В методе k-кратной перекрестной проверки предусматривается проведение к экспериментов с резервированием каждый раз другой части данных для проведения проверки, объем которой равен \/к от первоначальных данных, с последующим усреднением результатов. В качестве значения к часто используются 5 и 10. В пределе в данном методе может применяться к=п; такой вариант метода называют также перекрестной проверкой с исключением одного примера (leave-one-out cross-validation). Перекрестная проверка может использоваться в сочетании с любым методом формирования дерева (включая метод отсечения ветвей) в целях создания дерева, характеризующегося высокой производительностью предсказания. В дальнейшем, чтобы исключить возможность компрометации проверочных данных, необходимо провести измерение производительности полученного дерева с помощью нового проверочного множества.
<< В начало < Предыдущая 1 2 3 4 Следующая > В конец >> |