Нейрон — это клетка мозга или нервной системы, основной функцией которой является сбор, обработка и распространение электрических сигналов. Схематическое изображение типичного нейрона приведено на рис. 1.1. Считается, что способность мозга к обработке информации в основном обусловлена функционированием сетей, состоящих из таких нейронов. По этой причине целью некоторых из самых ранних работ по искусственному интеллекту было создание искусственных ^ нейронных сетей (эта область научной деятельности упоминалась также под другими названиями, включая коннекционизм, параллельная распределенная обработка и нейронные вычисления). На рис. 20.15 показана простая математическая модель нейрона, предложенная Мак-Каллоком и Питтсом [1017]. Грубо говоря, нейрон "активизируется", когда линейная комбинация значений на его входах превышает некоторый порог. Начиная с 1943 года были разработаны гораздо более подробные и реалистичные модели как для нейронов, так и для более крупных систем в мозгу, что привело к созданию такой современной научной области, как вычислительная неврология. С другой стороны, у исследователей в области искусственного интеллекта и статистики пробудился интерес к изучению более абстрактных свойств нейронных сетей, таких как способность выполнять распределенные вычисления, справляться с зашумленными входными данными и обеспечивать обучение. Хотя со временем стало ясно, что подобные возможности предоставляют и другие системы (включая байесовские сети), нейронные сети остаются одной из наиболее широко применяемых и эффективных форм систем обучения и сами по себе могут стать важным предметом для изучения.

Рис. 20.15. Простая математическая модель нейрона. Выходной активацией этого элемента является

где— выходная активация элемента— вес связи от элемента j к данному элементу