Quelle fonction est la meilleure à utiliser dans les réseaux de neurones à rétropropagation, Sigmoïde(x) ou Tanh(x) ?

La fonction sigmoïde(x) est mieux utilisée dans les réseaux de neurones à rétropropagation. Une fonction sigmoïde(x) est utilisée dans un réseau de neurones à rétropropagation dans le but d'introduire une non-linéarité dans le modèle et/ou dans le but de s'assurer que certains signaux restent dans une plage qui a été spécifiée.

Un élément de réseau neuronal populaire est un élément de réseau neuronal qui calcule une combinaison linéaire de signaux d'entrée. Il applique une fonction sigmoïde(x) liée au résultat. Ce modèle peut être considéré comme une variante plus douce de ce que l'on appelle le neurone à seuil classique.

Il y a une raison fondamentale pour laquelle une fonction sigmoïde (x) est plus populaire dans un réseau de neurones à rétropropagation. La raison pour laquelle une fonction sigmoïde(x) est plus populaire dans un réseau de neurones à rétropropagation est que la fonction sigmoïde(x) est la seule fonction qui satisfait la propriété suivante : d/dt sig (t) = sig (t) [1- sig (t)]. La relation polynomiale simple entre la dérivée et elle-même est très facile à calculer.