Главная arrow книги arrow Копия Глава 20. Статистические методы обучения arrow Обучение параметрам с максимальным правдоподобием: непрерывные модели
Обучение параметрам с максимальным правдоподобием: непрерывные модели

Непрерывные вероятностные модели, такие как линейная гауссова модель, описывались в разделе 14.3. Поскольку в реальных приложениях в основном используются непрерывные переменные, важно знать, как должно осуществляться обучение непрерывных моделей на основе данных. Принципы обучения с максимальным правдоподобием идентичны применяемым в дискретном случае.

Начнем с очень простого случая: обучение параметрам гауссовой функции плотности от одной переменной. Это означает, что данные вырабатываются следующим образом:

Параметрами этой модели являются математическое ожидание μ и среднеквадратичное отклонение σ (обратите внимание на то, что нормализующая "константа" зависит от σ, поэтому ее нельзя игнорировать). Допустим, что наблюдаемыми значениями являются. В таком случае логарифмическое правдоподобие определяется следующим образом:

Приравняв, как обычно, производные к нулю, получим такие уравнения:

(20.4)

Таким образом, значение максимального правдоподобия среднего представляет собой среднее по выборкам, а значение максимального правдоподобия среднеквадратичного отклонения выражается квадратным корнем от дисперсии выборки. И в данном случае получены удобные результаты, которые подтверждают обоснованность практических методов, созданных на основе "здравого смысла".