Существуют две основные категории структур нейронных сетей: ациклические сети, или сети с прямым распространением, и циклические, или ^ рекуррентные, сети. Сеть с прямым распространением представляет определенную функцию ее текущих входных данных, поэтому не имеет внутреннего состояния, отличного от самих весов. Рекуррентная сеть, с другой стороны, подает свои выходные данные обратно на свои собственные входы. Это означает, что уровни активации сети образуют динамическую систему, которая может достигать устойчивого состояния, или переходить в колебательный режим, или даже проявлять хаотичное поведение. Более того, отклик сети на конкретные входные данные зависит от ее начального состояния, которое, в свою очередь, может зависеть от предыдущих входных данных. Поэтому рекуррентные сети (в отличие от сетей с прямым распространением) могут моделировать кратковременную память. Это означает, что они являются более интересными объектами для использования в качестве моделей мозга, но вместе с тем являются более трудными для понимания. В данном разделе в основном рассматриваются сети с прямым распространением; некоторые указания на источники для дополнительного чтения по рекуррентным сетям приведены в конце данной главы.

Проанализируем более внимательно утверждение о том, что сеть с прямым распространением представляет функцию от ее входных данных. Рассмотрим простую сеть, показанную на рис. 20.18, которая состоит из входных элементов, двух скрытых элементов и одного выходного элемента (чтобы упростить рассматриваемую схему, в данном примере удалены элементы, на которые подается смещение). Если задан вектор входных данных, активации входных элементов принимают вид, а сеть вычисляет следующее значение:

(20.11)