Таким образом, выразив выходное значение каждого скрытого элемента как функцию его входных значений, мы показали, что выход всей сети, а5, является функцией от ее входов. Кроме того, мы показали, что веса в сети действуют как параметры этой функции; если применить запись w для обозначения параметров, то можно утверждать, что сеть вычисляет функцию. Корректируя веса, можно изменять функцию, представленную сетью. Именно так происходит обучение в нейронных сетях.

Рис. 20.18. Очень простая нейронная сеть с двумя входными элементами, одним скрытым слоем из двух элементов и одного выходного элемента

Нейронная сеть может использоваться для классификации или регрессии. Для булевой классификации с непрерывными выходными данными (например, формируемыми с помощью сигмоидальных элементов) обычно принято применять один выходной элемент, в котором значение, превышающее 0.5, интерпретируется как принадлежащее к одному классу, а значение ниже 0.5 — как принадлежащее к другому. Для k-сторонней классификации можно разделить диапазон одного выходного элемента на к частей, но чаще используется структура сети с к отдельными выходными элементами, притом что значение на каждом из них представляет относительное правдоподобие конкретного класса на основании текущих входных данных.

Сети с прямым распространением обычно размещаются по слоям, таким, что каждый элемент получает входные данные только от элементов, относящихся к непосредственно предшествующему слою. В следующих двух подразделах рассматриваются однослойные сети, не имеющие скрытых элементов, и многослойные сети, которые имеют один или несколько слоев скрытых элементов.