Какую функцию лучше использовать в нейронных сетях с обратным распространением, сигмовидную (x) или Tanh (x)?

Функцию сигмоида (x) лучше использовать в нейронных сетях с обратным распространением. Функция сигмоида (x) используется в нейронной сети обратного распространения с целью введения нелинейности в модель и / или для обеспечения того, чтобы определенные сигналы оставались в пределах указанного диапазона.

Популярным элементом нейронной сети является элемент нейронной сети, который вычисляет линейную комбинацию входных сигналов. Он применяет к результату связанную функцию сигмоида (x). Эту модель можно рассматривать как более гладкий вариант так называемого классического порогового нейрона.

Есть одна фундаментальная причина, по которой сигмовидная (x) функция более популярна в нейронной сети с обратным распространением. Причина, по которой функция сигмоида (x) более популярна в нейронной сети обратного распространения, заключается в том, что функция сигмоида (x) является единственной функцией, которая удовлетворяет следующему свойству: d / dt sig (t) = sig (t) [1- сиг (т)]. Простое полиномиальное соотношение между производной и самой собой очень легко вычислить.