Начнем разработку методов статистического обучения с простейшей задачи — обучение параметрам с помощью полных данных. Задача обучения параметрам сводится к поиску числовых параметров для вероятностной модели, имеющей фиксированную структуру. Например, может потребоваться определить в процессе обучения условные вероятности в байесовской сети с заданной структурой. Данные называются полными, если каждая точка данных содержит значения для каждой переменной в вероятностной модели, применяемой при обучении. При наличии полных данных задача определения в процессе обучения параметров сложной модели значительно упрощается. Кроме того, в данном разделе кратко рассматривается задача изучения структуры.