什麼是深度學習以及為什麼你要了解它?

譯者:王迎新   |   2016 / 07 / 03

文章來源:華爾街見聞   |   圖片來源:Joseph Wang


本文作者是Google TensorFlow移動小組負責人Pete Warden

以下為全文:

第一次看到Kaggle圖像識別大賽的結果時,我不相信它是真的。我在機器視覺領域已經投入了幾年的時間,在圖片中區分貓和狗這種很棘手的問題上,大賽結果顯示的精確度是我從未見過的,甚至不敢想像在未來的幾年能夠達到的。為了了解更多,我約見了一位參賽者,Daniel Nouri,他給我展示了他是如何使用開源項目Decaf達到這麼好的結果的。他還向我展示如何快速將它應用到我們在Jetpac上遇到的圖像識別問題上,而且結果遠比我之前的方法要好。

我從未見過一項技術,幾年前還不被熟知,而短時間內竟有如此大的進步,我對此產生了濃厚的興趣,想要深入了解一下。為了能夠將它用於數以百萬計的商業圖片中,我建造了自己的特殊圖庫,用高效率在低端機器和嵌入式設備集群上跑預測,我也花了幾個月的時間學習如何訓練神經網路的黑暗藝術。現在我急切的想要分享一下我的發現,如果你很好奇到底什麼是深度學習,以及它會如何幫助你,我接下來會在Radar上發表一系列的博客文章來介紹一些基本概念,並會出版一個簡短的電子書。

shutterstock_276102950

到底什麼是深度學習?

它是涵蓋了建立和訓練神經網絡的特殊方法的一個術語。神經網絡最早在上世紀五十年代被提出,就像核聚變一樣,他們曾是很有前途但很不可思議的實驗室想法,遲遲未能在實際中應用。我會在稍後章節詳細介紹神經網絡是如何工作的,現在你可以把它當作一個作出決策的黑盒子。它們以一個陣列作為輸入(陣列可以代表像素,音頻微波,或者單詞),在這個陣列上運行一系列的函數,輸出一個或多個數字。輸出結果一般是對你試圖從輸入中得出的一些特性的預測,例如一張圖片上畫的是不是一隻貓。

在黑盒子裡運行的功能是由神經網絡的內存控制,權重陣列負責決定如何將輸入數據進行組合和重組來生成結果。像貓檢測這樣的實際問題,在處理時需要非常複雜的功能,也就是說它的這些權重數組會非常大。一個最近的計算機視覺網絡問題,其權重陣列包含大約6千萬的數據。使用神經網絡的一個最大障礙是如何給這些巨大的數組賦值,才能很好的將輸入信號轉換成輸出的預測結果。

訓練

研究人員一直致力於訓練神經網絡,主要原因是神經網絡理論上是可教的。在小規模的問題上,根據一系列的樣本輸入和期望輸出,通過機械加工,讓權重從一開始的隨機數逐步變成可以提供更精準的預測數字,是一個非常簡單的過程。問題的關鍵是如何在更複雜的問題上做好這件事,比如語音識別或計算機視覺這些權重數量巨大的問題。

這是在2012 Imagenet Paper 會議引發神經網絡復興以來的一個真正突破。Alex Krizhevsky,Ilya Sutskever 和Geoff Hinton 將很多不同的加速學習程序匯集在一起,包括卷積網絡(convolutional networks),巧妙運用GPU ,和一些新的數學計算技巧比如ReLU 和dropout 。結果顯示,他們可以在幾週內訓練出一個非常複雜的網絡,並且這個網絡在計算機視覺上可以達到和以往很出色的傳統方法幾乎一樣的效果。

這並不是一個單獨或偶然的事件,類似的方法已經在自然語言處理和語音識別上得到了很成功的應用。這就是深度學習的核心。這種新技術讓我們可以搭建和訓練神經網絡來解決以前無法解決的問題。

與其它方法的有何不同?

大多數機器學習方法的困難點在於從原始輸入數據中識別出特徵,比如用於識別圖片的SIFT或SURF。而深度學習去掉了這一環節,改為用訓練過程從輸入樣本中發覺最有用的模式(pattern)。雖然開始前你仍需要對網絡的內部佈局做出選擇,但自動挖掘特徵已經讓一切容易多了。另一方面,神經網絡比其它機器學習技術更通用。我已經成功的使用原來的Imagenet network識別它從未被訓練過的對象,甚至其它圖片相關的任務比如現場分析(scene-type analysis)。底層的架構和訓練網絡的技術對所有自然數據,如音頻,地震傳感器或自然語言等都通用。沒有任何其他方法可以如此靈活。

為什麼要深入研究?

最根本的原因是深度學習做的非常好,如果你處理過雜亂的真實數據,那麼在未來幾年這將是你工具包裡的基本要素。直到最近,他才被當作晦澀而且令人生畏的領域來學習,但是它的成功帶來了極為豐富的資源和項目,使得學習神經網絡變得比以往簡單很多。我很期待帶領你一起學習其中一部分,深入研究網絡的內部工作原理,在我們一起體驗這項新技術的同時能夠有一些有趣的探索。

華爾街見聞》授權轉載

(更多精彩財經資訊,點擊這裡下載華爾街見聞App)華爾街見聞-文末圖片連結

喜歡這篇文章?加入你的S夾!

華爾街見聞
華爾街見聞,中國領先的財經新媒體平台,提供全球經濟和金融資訊,幫助中國投資者理解國際金融市場。讀懂金融、理解各國宏觀政策,從華爾街見聞開始。
華爾街見聞的最新文章
More

社群熱門分享排行榜
本週
本月
追蹤股感的社群