Подход с применением моделей n-буквенных сочетаний для моделирования языка был предложен Марковым [983]. Клод Шеннон [1394] впервые создал модели п-словных сочетаний английского языка. Хомский [250], [251] указал на ограничения моделей на основе конечных автоматов по сравнению с моделями на основе контекстно-свободных грамматик и пришел к заключению: "Вероятностные модели не позволяют каким-то образом добиться лучшего понимания некоторых основных проблем синтаксической структуры". Это утверждение справедливо, но в нем игнорируется тот факт, что вероятностные модели обеспечивают лучшее понимание некоторых других основных проблем, а именно тех проблем, которые не могут быть решены с помощью контекстно-свободных грамматик. Замечания, сделанные Хом-ским, оказали неблагоприятный эффект, выразившийся в том, что в течение двух десятилетий многие исследователи избегали использования статистических моделей. Положение изменилось лишь после того, как указанные модели снова вышли на передний план и стали применяться при распознавании речи [730].

Метод сглаживания с добавлением единицы был предложен Джеффри [728], а метод сглаживания с удалением путем интерполяции разработан Елинеком и Мер-сером [732], которые использовали этот метод для распознавания речи. В число других методов входят сглаживание Виттена-Белла [1605] и сглаживание Гуда-Тьюринга [257]. Последний метод также широко применяется при решении задач биоинформатики. Проблематика биостатистических и вероятностных задач NLP постепенно сближается, поскольку в каждой из этих областей приходится иметь дело с длинными структурированными последовательностями, выбранными из алфавита непосредственных составляющих.

Простые модели n-буквенных и n-словных сочетаний не являются единственными возможными вероятностными моделями. В [136] описана вероятностная модель текста, называемая скрытым распределением Дирихле, в которой документ рассматривается как комбинация тем, а каждая из тем характеризуется собственным распределением слов. Эта модель может рассматриваться как дополнение и уточнение модели скрытой семантической индексации Дирвестера [376] (см. также [1169]); кроме того, она тесно связана с моделью сочетания многочисленных причин [1345].