我愛你文摘 / 文件夾1 / 機器學習、深度學習、神經網絡、深度神經...

0 0

   

機器學習、深度學習、神經網絡、深度神經網絡之間有何區別?

2018-02-10  我愛你文摘

真應了《笑傲江湖》里那句:“有人的地方就會有江湖,有江湖就有恩怨。”只是這次的江湖和恩怨都源自人工智能而不是人。

1月中旬,紐約大學教授馬庫斯發表一篇萬字長文,以問答形式,分14個問題回應那些對他的觀點表示質疑的人,其中涉及紐約大學教授、臉書首席AI科學家楊立昆、AAAI前主席托馬斯·迪特里奇,魁北克大學教授、谷歌的數學博士等也卷入了論戰中。

這不是論戰的第一回合,1月初,馬庫斯就提出了自己關于深度學習的十大觀點,引得楊立昆直擺手:他說的都不對。

究竟是什么樣的爭議讓AI界的大神們辯論火力如此密集,連戰數日,費勁口舌、逐字力爭呢?

機器學習和深度學習變得越來越火。突然之間,不管是了解的還是不了解的,所有人都在談論機器學習和深度學習。無論你是否主動關注過數據科學,你應該已經聽說過這兩個名詞了。

為了展示他們的火熱程度,我在 Google trend 上搜索了這些關鍵字:

機器學習、深度學習、神經網絡、深度神經網絡之間有何區別?

如果你想讓自己弄清楚機器學習和深度學習的區別,請閱讀本篇文章,我將用通俗易懂的語言為你介紹他們之間的差別。下文詳細解釋了機器學習和深度學習中的術語。并且,我比較了他們兩者的不同,別說明了他們各自的使用場景。

什么是機器學習和深度學習?

讓我們從基礎知識開始:什么是機器學習?和什么是深度學習?如果你對此已有所了解,隨時可以跳過本部分。

什么是機器學習?

一言以蔽之,由 Tom Mitchell 給出的被廣泛引用的機器學習的定義給出了最佳解釋。下面是其中的內容:

“計算機程序可以在給定某種類別的任務 T 和性能度量 P 下學習經驗 E ,如果其在任務 T 中的性能恰好可以用 P 度量,則隨著經驗 E 而提高。”

是不是讀起來很繞口呢?讓我們用簡單的例子來分解下這個描述。

示例 1:機器學習和根據人的身高估算體重

假設你想創建一個能夠根據人的身高估算體重的系統(也許你出自某些理由對這件事情感興趣)。那么你可以使用機器學習去找出任何可能的錯誤和數據捕獲中的錯誤,首先你需要收集一些數據,讓我們來看看你的數據是什么樣子的:

機器學習、深度學習、神經網絡、深度神經網絡之間有何區別?

圖中的每一個點對應一個數據,我們可以畫出一條簡單的斜線來預測基于身高的體重。

什么是深度學習?

“深度學習是一種特殊的機器學習,通過學習將世界使用嵌套的概念層次來表示并實現巨大的功能和靈活性,其中每個概念都定義為與簡單概念相關聯,而更為抽象的表示則以較不抽象的方式來計算。”

這也有點讓人混亂。下面使用一個簡單示例來分解下此概念。

示例: 貓 vs. 狗

我們舉一個動物辨識的例子,其中我們的系統必須識別給定的圖像中的動物是貓還是狗。閱讀下此文,以了解深度學習在解決此類問題上如何比機器學習領先一步。

1.模式識別、機器學習、深度學習的區別與聯系 模式識別:過去、程序/機器做智能的事、決策樹等 機器學習:熱點領域、給數據+學習數據 深度學習:前言領域、強調模型

2.早年神經網絡被淘汰的原因 耗時、局部最優、競爭對手、over-fitting、參數

3.深度學習的實質 及其 與淺層學習的區別 深度學習實質:多隱層+海量數據——>學習有用特征—–>提高分類或預測準確性 區別:(1)DL強調模型深度 (2)DL突出特征學習的重要性:特征變換+非人工

4.神經網絡的發展(背景之類的) MP模型+sgn—->單層感知機(只能線性)+sgn— Minsky 低谷 —>多層感知機+BP+sigmoid—- (低谷) —>深度學習+pre-training+ReLU/sigmoid

5.DL解決過擬合的方法 數據擴容、dropout技術

6.介紹dropout技術 修改神經網絡本身來避免過擬合、訓練網絡的一種trike。 步驟:repeat { 隨機‘刪除’+BP獲權值} 為何會避免過擬合:訓練多個“半數網絡”,隨著訓練的進行,大部分正確,小部分錯誤(不影響)

7.推導BP算法 http://blog.csdn.net/hungryof/article/details/50436231

8.BP算法為什么不能適應于深度學習 BP為傳統多層感知機的訓練方法,<=5層>

(1)梯度越來越稀疏(梯度擴散<—-非凸目標函數) (2)局部最小="">

NOTE:解決其中局部最小值的方法:(1)多組不同隨機參數,取最好參數 (2)啟發式優化算法:模擬退火 或 遺傳 (3)隨機梯度下降

9.深度學習與傳統神經網絡之間的區別與聯系 聯系:分層結構 區別:訓練機制(初始值)

10.介紹DNN(原理和應用) DNN:深度神經網絡,廣義上包含CNN,DBN,RNN等 優點:層數多,抽象能力強,模擬更復雜模型 應用:圖像處理、語音識別、文本分類。。。

11.什么是深度學習、深度學習的訓練過程是什么 無監督預訓練(Layerwise Pre-Training)+有監督微調(fine-tune) 過程:(1)自下而上非監督學習特征 (2)自頂向下有監督微調

12.深度學習常用方法 全連接DNN(相鄰層相互連接、層內無連接): AutoEncoder(盡可能還原輸入)、Sparse Coding(在AE上加入L1規范)、RBM(解決概率問題)—–>特征探測器——>棧式疊加 貪心訓練 RBM—->DBN 解決全連接DNN的全連接問題—–>CNN 解決全連接DNN的無法對時間序列上變化進行建模的問題—–>RNN—解決時間軸上的梯度消失問題——->LSTM

13.RBM用途 (1)編碼、降維 (2)得到權重矩陣和偏移量,供BP網絡初始化訓練 (3)可作為生成模型使用 (4)可作為判別模型使用

14.介紹DBN DBN是一個概率生成模型。 組成:多個RBM+BP網絡 訓練過程:(1)無監督訓練每一層RBM網絡、特征向量映射到不同特征空間、盡可能保留特征信息(貪心算法) (2)DBN最后一層設置為BP網絡,有監督微調 RBM訓練可以看作對一個深層BP網絡的網絡權值參數的初始化—->克服容易局部最優+訓練時間長 優點:不用人工選取特征 缺點:(1)有標簽樣本集 (2)學習過程慢 (3)參數不當可能導致局部最優 公式推導: http://blog.csdn.net/app_12062011/article/details/54313082

15.介紹CNN 重點:局部感受域、權值共享 組成:卷基層、子采樣層(池化層) 訓練過程:不同小隨機數初始參數—->repeat{ 前向傳播(特征提取層C層—->特征映射層S層) + 后向傳播 }

廣義上的優點:(1)識別位移、縮放及其他形式扭曲不變性的二維圖形 (2)隱式從訓練數據中學習特征 (3)同一特征映射面的神經元權值相同—–>課并行學習 (4)局部權值共享—->在語音識別、圖像處理方面有優勢、更接近實際生物神經網絡、降低網絡復雜性、避免特征提取和分類過程中的數據重建復雜度

較一般神經網絡在圖像處理方面的優點:(1)圖像和網絡拓撲更好吻合 (2)特征提取和模式分類同時進行,并同時在訓練中產生 (3)權值共享—–>減少參數、結構簡單、適應性更強 應用:語音分析、圖像識別等

    本站是提供個人知識管理的網絡存儲空間,所有內容均由用戶發布,不代表本站觀點。如發現有害或侵權內容,請點擊這里 或 撥打24小時舉報電話:4000070609 與我們聯系。

    猜你喜歡

    0條評論

    發表

    請遵守用戶 評論公約

    類似文章 更多
    喜歡該文的人也喜歡 更多

    betway <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <文本链> <文本链> <文本链> <文本链> <文本链> <文本链>