Меню Главная Случайная статья Настройки Сигмоида Материал из https://ru.wikipedia.org Сигмоида (также сигмоид) — это гладкая монотонная возрастающая нелинейная функция, имеющая форму буквы «S», которая часто применяется для «сглаживания» значений некоторой величины. Часто под сигмоидой понимают логистическую функцию ${\displaystyle \sigma (x)={\frac {1}{1+e^{-x}}}}$. Сигмоида ограничена двумя горизонтальными асимптотами, к которым стремится при стремлении аргумента к ${\displaystyle \pm \infty }$. В зависимости от соглашения, этими асимптотами могут быть y = ±1 (в ${\displaystyle \pm \infty }$) либо в ${\displaystyle -\infty }$ и в ${\displaystyle +\infty }$. Производная сигмоиды представляет собой колоколообразную кривую с максимумом в нуле, асимптотически стремящуюся к нулю в ${\displaystyle +\infty }$. Содержание 1 Семейство функций класса сигмоид 2 Применение 2.1 Нейронные сети 2.2 Логистическая регрессия 3 См. также 4 Литература 5 Примечания 6 Ссылки Семейство функций класса сигмоид В семейство функций класса сигмоид входят такие функции, как арктангенс, гиперболический тангенс и другие функции подобного вида. Функция Ферми — Дирака (экспоненциальная сигмоида): ${\displaystyle f(x)={\frac {1}{1+e^{-2\alpha x}}},\quad \alpha >0}$. Рациональная сигмоида: ${\displaystyle f(x)={\frac {x}{|x|+\alpha }},\quad \alpha >0}$. Арктангенс: ${\displaystyle f(x)=\operatorname {arctg} x}$. Гиперболический тангенс: ${\displaystyle f(x)=\operatorname {th} {\frac {x}{\alpha }}={\frac {e^{\frac {x}{\alpha }}-e^{-{\frac {x}{\alpha }}}}{e^{\frac {x}{\alpha }}+e^{-{\frac {x}{\alpha }}}}}}$. Гладкая ступенька N-го порядка: ${\displaystyle f(x)={\begin{cases}\left(\int _{0}^{1}{\big (}1-u^{2}{\big )}^{N}\ du\right)^{-1}\int _{0}^{x}{\big (}1-u^{2}{\big )}^{N}\ du\quad &|x|\leq 1\\\operatorname {sgn}(x)&|x|\geq 1\\\end{cases}}\,\quad N\geq 1}$. Корневая сигмоида: ${\displaystyle f(x)={\frac {x}{\sqrt {1+x^{2}}}}}$. Логистическая функция: ${\displaystyle f(x)=(1+e^{-x})^{-1}}$. Обобщённая логистическая функция: ${\displaystyle f(x)=(1+e^{-x})^{-\alpha },\quad \alpha >0}$. Функция ошибок: ${\displaystyle f(x)=\operatorname {erf} (x)={\frac {2}{\sqrt {\pi }}}\int _{0}^{x}e^{-t^{2}}\,dt}$. Функция Гудермана: ${\displaystyle f(x)=\operatorname {gd} x=\int _{0}^{x}{\frac {1}{\cosh t}}\,dt=\operatorname {arctg} (\operatorname {sh} x)}$. Применение Нейронные сети Сигмоиды применяются в нейронных сетях в качестве функций активации. Они позволяют нейронам как усиливать слабые сигналы, так и не насыщаться от сильных сигналов[1]. В нейронных сетях часто используются сигмоиды, производные которых могут быть выражены через саму функцию. Это позволяет существенно сократить вычислительную сложность метода обратного распространения ошибки, сделав его применимым на практике: ${\displaystyle \sigma '(x)=(1+\sigma (x))\cdot (1-\sigma (x))}$ — для гиперболического тангенса; ${\displaystyle \sigma '(x)=\sigma (x)\cdot (1-\sigma (x))}$ — для логистической функции. Логистическая регрессия Логистическая функция ${\displaystyle f(x)={\frac {1}{1+e^{-x}}}}$ используется в решении задач классификации с использованием логистической регрессии. Пусть решается задача классификации с двумя классами (${\displaystyle y=0}$ и ${\displaystyle y=1}$, где ${\displaystyle y}$ — переменная, указывающая класс объекта). Делается предположение о том, что вероятность принадлежности объекта к одному из классов выражается через значения признаков этого объекта ${\displaystyle x_{1},x_{2},...,x_{n}}$ (действительные числа): ${\displaystyle \mathbb {P} \{y=1\mid x_{1},\ldots ,x_{n}\}=f(a_{1}x_{1}+\ldots +a_{n}x_{n})={\frac {1}{1+\exp(-a_{1}x_{1}-\ldots -a_{n}x_{n})}}}$, где ${\displaystyle a_{1},...,a_{n}}$ — некоторые коэффициенты, требующие подбора, обычно, методом наибольшего правдоподобия. Именно такая функция ${\displaystyle f(x)}$ получается при использовании обобщённой линейной модели и предположения, что зависимая переменная ${\displaystyle y}$ распределена по закону Бернулли. См. также Искусственная нейронная сеть Перцептрон Модифицированный гиперболический тангенс Литература Mitchell, Tom M. Machine Learning. — WCB–McGraw–Hill, 1997. — ISBN 0-07-042807-7. Примечания Функции активации в нейронных сетях  (неопр.). Дата обращения: 11 сентября 2014. Архивировано из оригинала 24 июля 2014 года. Ссылки Сравнение быстроты нескольких программных реализаций гиперболического тангенса Humphrys, Mark. Continuous output, the sigmoid function (англ.).