要理解深度學(xué)習(xí)，首先必須理解“深度學(xué)習(xí)”的概念：神經(jīng)網(wǎng)絡(luò)和神經(jīng)元的概念。

關(guān)于神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)之間的概念和差異，我不會詳細介紹“機器學(xué)習(xí)（一）”文章。

深度學(xué)習(xí)可以說是當(dāng)前“人工智能浪潮”的根本原因，因為它的興起，包括深度神經(jīng)網(wǎng)絡(luò)，循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的突破，允許語音識別，自然語言處理和基本技術(shù)，如計算機視覺已經(jīng)突破了以前的瓶頸。要理解深度學(xué)習(xí)，首先必須理解“前身，神經(jīng)網(wǎng)絡(luò)和神經(jīng)元”的概念。

一，神經(jīng)元的組成

神經(jīng)元可以說是深度學(xué)習(xí)中最基本的單元。幾乎所有的深度學(xué)習(xí)網(wǎng)絡(luò)都以不同的方式由神經(jīng)元組成。

完整的神經(jīng)元由兩部分組成，即“線性模型”和“激勵函數(shù)”。如果您已閱讀上一篇文章，我相信您可以回想起“線性回歸”和“激勵函數(shù)”的概念。

1.線性模型

（1）作文

假設(shè)這個線性模型的函??數(shù)：y=wx + b（木材很熟悉），其中x是1xn向量矩陣，矩陣中的每個向量值代表樣本特征的值，w是權(quán)重nx1的矩陣（對應(yīng)于矢量的比例），b是偏移項。

（2）工作流程

以蘋果的質(zhì)量為例，我們假設(shè)y代表質(zhì)量變量，x是1× 3矩陣，w是3&次; 1個矩陣（當(dāng)忽略偏移量為0時），如下：

x矩陣中的矢量值< 1,2,3"表示分別從數(shù)據(jù)中提取的特征向量的值。

w矩陣中的“0.2,0.6,0.7”表示每個特征向量的權(quán)重。

將這兩個矩陣相乘最終將得到一個實數(shù)（涉及數(shù)學(xué)矩陣運算，并非所有都是實數(shù)）。

1X0.2 + 2X0.6 + 3X0.7=3.5

獲得的3.5是我們已經(jīng)適合假設(shè)y1的蘋果的質(zhì)量。使用此值與已校準的真實質(zhì)量y0產(chǎn)生差異，我們可以得到擬合值與數(shù)據(jù)真值之間的誤差。當(dāng)然，實際計算這是一個海量數(shù)據(jù)計算

我用第一章分享了線性回歸

該函數(shù)用于描述所有數(shù)據(jù)擬合值與實際值之間的關(guān)系。目的是與機器學(xué)習(xí)相同。最后，我們需要找到所需的Loss和w，b之間的映射關(guān)系。

“線性模型”中上述單神經(jīng)元的操作流程與機器學(xué)習(xí)中的“線性回歸”過程基本相同。

2.激勵功能

（1）激勵功能的作用

激勵函數(shù)位于神經(jīng)元線性模型之后，并且還被轉(zhuǎn)換為激活函數(shù)。它有兩個功能：

加入“非線性”因子

根據(jù)不同培訓(xùn)目的的需要進行數(shù)學(xué)函數(shù)映射

為什么加入“非線性”因子，因為“真實世界”的數(shù)據(jù)不能是線性的，如果強迫“線性模型”擬合非線性數(shù)據(jù)，最終結(jié)果肯定是“不合適””

如何理解數(shù)學(xué)函數(shù)映射，采取最常用的Sigmoid函數(shù)示例

Sigmoid函數(shù)定義：

激勵函數(shù)前的線性模型“y=wx + b”;已被計算得到一個實數(shù)（即前3.5）

可以推導(dǎo)如下

然后激勵函數(shù)sigmoid變?yōu)?/p>

下圖顯示了Sigmoid函數(shù)圖。從圖像中可以看出，初始x被線性建模為z（z理論上可以是任意大小的實數(shù)），并且z由激勵函數(shù)再次映射，最后輸出必須是實數(shù)的[0,1]間隔，它實現(xiàn)了數(shù)學(xué)函數(shù)的映射。

它可以實現(xiàn)簡單的概率分類判斷，假設(shè)“0”為“0”。并且“ 1”每個代表一個概念，然后最終輸出在區(qū)間[0,1]，更接近“1”，這意味著它更可能是由“1”代表的概念;

（2）激勵功能的類型

激勵功能有很多種，應(yīng)用場景也不同。除了上面提到的Sigmoid函數(shù)之外，還有許多用于RNN（圓形神經(jīng)網(wǎng)絡(luò)）的Tanh函數(shù)，其中大部分用于CNN（卷積神經(jīng)網(wǎng)絡(luò)）。網(wǎng)絡(luò)）ReLU功能，以及線性功能等。

這里不列出他們的公式和功能圖像。簡而言之，每個刺激功能都有自己的“個性”（特征）。根據(jù)不同的算法模型和應(yīng)用場景，將使用不同的激勵函數(shù)。當(dāng)然，最終目標只有一個，即算法模型收斂得越快，擬合越好

二，神經(jīng)網(wǎng)絡(luò)

1.神經(jīng)網(wǎng)絡(luò)的組成

神經(jīng)網(wǎng)絡(luò)實際上是多個神經(jīng)元的水平和垂直堆疊。最簡單和最基本的神經(jīng)網(wǎng)絡(luò)可以用下圖表示

通常分為以下三層：

輸入層：負責(zé)直接接受輸入的向量。通常，不處理數(shù)據(jù)，并且不計算神經(jīng)網(wǎng)絡(luò)的層數(shù)。

隱式層：它是整個神經(jīng)網(wǎng)絡(luò)中最重要的部分。它可以是一層或N層。隱藏層中的每個神經(jīng)元都將處理數(shù)據(jù)。

輸出層：用于輸出整個網(wǎng)絡(luò)處理的值。該值可以是分類矢量值或類似于線性回歸的連續(xù)值。

2.神經(jīng)網(wǎng)絡(luò)工作流程

最初，神經(jīng)元通過圖中的端到端連接進行連接和連接。先前神經(jīng)元的輸出成為下一層神經(jīng)元的輸入。對于x向量中任何維度的分量，它在整個神經(jīng)網(wǎng)絡(luò)中逐層處理。

神經(jīng)網(wǎng)絡(luò)的優(yōu)點在于我們可以調(diào)整神經(jīng)網(wǎng)絡(luò)的層數(shù)，網(wǎng)絡(luò)的拓撲結(jié)構(gòu)和神經(jīng)元的參數(shù)，以改變輸入向量x的不同數(shù)學(xué)維度的處理，以實現(xiàn)不同的訓(xùn)練目的。 。這也是DNN，RNN和CNN成為當(dāng)今人工智能熱門話題的主要原因。 （事實上??，DNN，但在結(jié)構(gòu)上，可以簡單地理解為層數(shù)的增加，這反過來又會導(dǎo)致特征提取和抽象功能的增強）

當(dāng)然，隨著網(wǎng)絡(luò)層數(shù)的增加，拓撲結(jié)構(gòu)變得復(fù)雜，反過來又帶來整個神經(jīng)網(wǎng)絡(luò)的副作用和問題，例如容易陷入局部最優(yōu)解和嚴重梯度消失等問題。這也是事后需要探索和深化的事情。

« 這種“以用戶為中心”的圖標設(shè)計方法，只是很多設(shè)計師不會 | 專業(yè)軟文推廣經(jīng)典案例分析 »