發布日期:2022-10-09 點擊率:125
大V吳恩達曾經說過:做AI研究就像造宇宙飛船,除了充足的燃料之外,強勁的引擎也是必不可少的。假如燃料不足,則飛船就無法進入預定軌道。而引擎不夠強勁,飛船甚至不能升空。類比于AI,深度學習模型就好像引擎,海量的訓練數據就好像燃料,這兩者對于AI而言同樣缺一不可。
深度學習是一個近幾年備受關注的研究領域,在機器學習中起著重要的作用。 深度學習通過建立、模擬人腦的分層結構來實現對外部輸入的數據進行從低級到高級的特征提取,從而能夠解釋外部數據。
深度學習
深度學習(Deep Learning)的概念源于人工神經網絡的研究。含多隱層的多層感知器就是一種深度學習結構。
深度學習也稱為深度結構學習【Deep Structured Learning】、層次學習【Hierarchical Learning】或者是深度機器學習【Deep Machine Learning】)是一類算法集合,是機器學習的一個分支。它嘗試為數據的高層次摘要進行建模。
機器學習通過算法,讓機器可以從外界輸入的大量的數據中學習到規律,從而進行識別判斷。機器學習的發展經歷了淺層學習和深度學習兩次浪潮。深度學習可以理解為神經網絡的發展,神經網絡是對人腦或生物神經網絡基本特征進行抽象和建模,可以從外界環境中學習,并以與生物類似的交互方式適應環境。神經網絡是智能學科的重要部分,為解決復雜問題和智能控制提供了有效 的途徑。神經網絡曾一度成為機器學習領域備受關注的方向。
我們用一個簡單的例子來說明,假設你有兩組神經元,一個是接受輸入的信號,一個是發送輸出的信號。當輸入層接收到輸入信號的時候,它將輸入層做一個簡單的修改并傳遞給下一層。在一個深度網絡中,輸入層與輸出層之間可以有很多的層(這些層并不是由神經元組成的,但是它可以以神經元的方式理解),允許算法使用多個處理層,并可以對這些層的結果進行線性和非線性的轉換。
深度學習的由來
1、人腦視覺機理啟示
人類每時每刻都面臨著大量的感知數據,但大腦總能很容易地捕獲重要的信息。人工智能的核心問題就是模仿大腦這種高效準確地表示信息的能力。通 過 近些年的研究,我們對大腦機理已有了一些了解,這些都推動了人工智能的發展。
神經學研究表明,人的視覺系統的信息處理是分級的,從低級的V1區提取邊緣特征,到V2區的形狀,再到更高層。人類大腦在接收到外部信號時,不是直接對數據進行處理,而是通過一個多層的網絡模型來獲取數據的規律。這種層次
結構的感知系統使視覺系統需要處理的數據量大大減少,并保留了物體有用的結構信息。
2、現有機器學習的局限性
深度學習與淺層學習相對。現在很多的學習方法都是淺層結構算法,它們存在一定的局限性,比如在樣本有限的情況下表示復雜函數的能力有限,針對復雜的分類問題其泛化能力受到一定制約。
而深度學習可通過學習一種深層非線性網絡結構,實現復雜函數逼近,表征輸 入數據分布式表示,并且能在樣本集很少的情況下去學習數據集的本質特征。
雖然淺層學習的應用也很廣泛,但它只對簡單的計算才有效,并不能到達人腦的反應效果,這就需要深度的機器學習。這些都表明淺層學習網絡有很大的局限性,激發了我們對深度網絡建模的研究。
深度機器學習是數據分布式表示的必然結果。有很多學習結構的學習算法得到的學習器是局部估計算子,例如,由核方法構造的學習器,是由對模板的匹配度加權構成的。對于這樣的問題,通常我們有合理的假設,但當目標函數非常復雜時,由于需要利用參數進行描述的區域數目也是巨大的,因此這樣的模型 泛化能力很差。在機器學習和神經網絡研究中分布式表示可以處理維數災難和局部泛化限制。分布式表示不僅可以很好地描述概念間的相似性,而且合適的分布式表示在有限的數據下能體現出更好的泛化性能。理解和處理接收到的信 息是人類認知活動的重要環節,由于這些信息的結構一般都很復雜,因此構造
深度的學習機器去實現一些人類的認知活動是很有必要的。
3、特征提取的需要
機器學習通過算法,讓機器可以從外界輸入的大量數據中學習到規律,從而進行識別判斷。機器學習在解決圖像識別、語音識別、自然語言理解等問題時的 大致流程如圖 1 所示。
首先通過傳感器來獲得數據,然后經過預處理、特征提取、特征選擇,再到推理、預測和識別。良好的特征表達影響著最終算法的準確性,而且系統主要的計算和測試工作都在這一環節。這個環節一 般都是人工完成的,靠人工提取特征是一種非常費力的方法,不能保證選取的質量,而且它的調節需要大量的時間。然而深度學習能自動地學習一些特征,不需要人參與特征的選取過程。
深度學習是一個多層次的學習,如圖2所示,用較少的隱含層是不可能達到與 人腦類似的效果的。這需要多層的學習,逐層學習并把學習的知識傳遞給下一 層,通過這種方式,就可以實現對輸入信息進行分級表達。深度學的實質就是通過建立、模擬人腦的分層結構,對外部輸入的聲音、圖像、文本等數據進行從低級到高級的特征提取,從而能夠解釋外部數據。與傳統學習結構相比,深 度學習更加強調模型結構的深度,通常含有多層的隱層節點,而且在深度學習中,特征學習至關重要,通過特征的逐層變換完成最后的預測和識別。
下一篇: PLC、DCS、FCS三大控
上一篇: 索爾維全系列Solef?PV