7.激勵函數(shù)(激活函數(shù))

翻譯為激活函數(shù)（activation function）會更好。激活函數(shù)是用來加入非線性因素的，因為線性模型的表達能力不夠。

成都創(chuàng)新互聯(lián)是一家專業(yè)提供瀘水企業(yè)網(wǎng)站建設(shè),專注與網(wǎng)站建設(shè)、成都網(wǎng)站制作、HTML5建站、小程序制作等業(yè)務(wù)。10年已為瀘水眾多企業(yè)、政府機構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)站建設(shè)公司優(yōu)惠進行中。

每個節(jié)點代表一種特定的輸出函數(shù)，稱為激勵函數(shù)（activation function）。每兩個節(jié)點間的連接都代表一個對于通過該連接信號的加權(quán)值，稱之為權(quán)重，這相當于人工神經(jīng)網(wǎng)絡(luò)的記憶。

Swish 函數(shù)是一種自門控激活函數(shù)，其定義如下： 其中， 為 Logistic 函數(shù)， 為可學習的參數(shù)（或一個固定的超參數(shù)）。

非線性激活函數(shù)能夠使神經(jīng)網(wǎng)絡(luò)逼近任意復雜的函數(shù)。如果沒有激活函數(shù)引入的非線性，多層神經(jīng)網(wǎng)絡(luò)就相當于單層的神經(jīng)網(wǎng)絡(luò) sigmoid 梯度消失：sigmoid函數(shù)在0和1附近是平坦的。也就是說，sigmoid的梯度在0和1附近為0。

sigmoid函數(shù)、tanh函數(shù)和relu函數(shù)對比

1、relu函數(shù)的導數(shù)計算更快，程序?qū)崿F(xiàn)就是一個if-else語句；而sigmoid函數(shù)要進行浮點四則運算，涉及到除法；relu的缺點：在訓練的時候，ReLU單元比較脆弱并且可能“死掉”。

2、Tanh 函數(shù)能夠?qū)?∈ 的輸入“壓縮”到[1，1]區(qū)間，tanh 激活函數(shù)可通過Sigmoid 函數(shù)縮放平移后實現(xiàn)。使用tensorflow實現(xiàn) 它具有單側(cè)抑制、相對寬松的興奮邊界等特性。

3、與Sigmoid類似，冪函數(shù)運算較慢，激活函數(shù)計算量大；與Sigmoid類似，求取反向梯度時，Tanh的梯度在飽和區(qū)域非常平緩，很容易造稱梯度消失的問題，減緩收斂速度。

4、ReLU比sigmoid和tanh好是因為它的收斂速度快（sigmoid、tanh函數(shù)在自變量比較大的時候 導數(shù)很小，采用梯度下降法 變化緩慢，特別是多層網(wǎng)絡(luò) 就更慢了），計算量比較小（只需要一個閾值進行比較 而不需要做函數(shù)運算）。

5、ReLu函數(shù)是一個通用的激活函數(shù)，目前在大多數(shù)情況下使用。但是，ReLU函數(shù)只能在隱藏層中使用。用于分類器時，sigmoid函數(shù)及其組合通常效果更好。由于梯度消失問題，有時要避免使用sigmoid和tanh函數(shù)。

6、常用的激活函數(shù)包括：sigmoid函數(shù)、tanh函數(shù)、ReLU函數(shù)。當目標是解決一個二分類問題，可在輸出層使用sigmoid函數(shù)進行二分類。

神經(jīng)網(wǎng)絡(luò)之Sigmoid、Tanh、ReLU、LeakyReLU、Softmax激活函數(shù)

Tanh 函數(shù)能夠?qū)?∈ 的輸入“壓縮”到[1，1]區(qū)間，tanh 激活函數(shù)可通過Sigmoid 函數(shù)縮放平移后實現(xiàn)。使用tensorflow實現(xiàn) 它具有單側(cè)抑制、相對寬松的興奮邊界等特性。

激活函數(shù)是每一層神經(jīng)網(wǎng)絡(luò)之后用的非線性函數(shù)，因為神經(jīng)網(wǎng)絡(luò)本身是線型的，利用激活函數(shù)可以使之實現(xiàn)非線性。激活函數(shù)主要有四個： sigmoid， tanh， RELU， Leaky RELU. 還有一位博主將softmax 也加了進來。

與Sigmoid類似，求取反向梯度時，Tanh的梯度在飽和區(qū)域非常平緩，很容易造稱梯度消失的問題，減緩收斂速度。

sigmod函數(shù)、tanh函數(shù)、修正線性單元ReLU函數(shù)、Leaky ReLU、參數(shù)化ReLU、隨機化ReLU、指數(shù)化線性單元ELU函數(shù)和PReLU函數(shù)。具體介紹參考如下文章：激活函數(shù)又稱為“”非線性映射函數(shù)“，是深度卷積神經(jīng)網(wǎng)絡(luò)不可或缺的模塊。

Maxout 單元也是一種分段線性函數(shù)，Sigmoid 型函數(shù)、ReLU 等激活函數(shù)的輸入是神經(jīng)元的凈輸入 ，是一個標量。而 Maxout 單元的輸入是上一層神經(jīng)元的全部原始輸出， 是一個向量 。

網(wǎng)頁名稱：relu函數(shù)c語言代碼 c語言中rem函數(shù)
新聞來源：http://chinadenli.net/article16/depcegg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)網(wǎng)站制作、服務(wù)器托管、全網(wǎng)營銷推廣、靜態(tài)網(wǎng)站、營銷型網(wǎng)站建設(shè)、搜索引擎優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)