一個星期前由 François Chollet 在 Twitter 引發的「深度學習是否進入平台期」討論，因為大神 Geffory Hinton 的參與達到了高潮。
Hinton：深度學習可能需要「推倒重來」
據科技媒體 Axios 報導，上週三在多倫多舉行的一個 AI 會議，Hinton 表示對反向傳播算法「深感懷疑」。這演算法是用來訓練人工神經網路的常見方法，對網路所有權重計算損失函數的梯度。這個梯度會回饋給最最佳化方法，用來更新權值以最小化損失函數。值得一提的是，Hinton 是反向傳播算法的早期提出者，1986 年，Hinton 一篇論文首次將反向傳播算法引入多層神經網路訓練。
儘管在會議上，不少與會科學家表示人工智慧的未來反向傳播仍處於核心地位，但 Hinton 的發言一錘定音：可能會有全新方法推出。Hinton 在現場參考普朗克的名言稱：「Max Planck 曾說：『科學之道，不破不立。』未來取決於對我所說一切持懷疑態度的研究生。」他還表示，如果要讓深神經網路變得更聰明，即向無監督學習過渡，「這可能意味著要徹底放棄反向傳播。」
這一觀點在 Twitter 引起廣泛討論，Pedro Domingos、李飛飛等多人紛紛轉推。李飛飛轉推的 Twitter上，前幾天的「few tools lives enternity」已悄然變成「no tool is eternal」，Hinton 這觀點對 AI 研究者的震撼之大可見一斑。
Agree! It’s only natural few tools live to eternity. The scientific quest on intelligence, human or machine, still has a loooong way to go. https://t.co/PjcbkzNvSh
— Fei-Fei Li (@drfeifei) 2017年9月10日
Echo Geoff’s sentiment no tool is eternal, even backprop or deeplearning. V. important to continue basic research. https://t.co/hi50qUC0Kn
— Fei-Fei Li (@drfeifei) 2017年9月15日
眾所周知，Hinton 於 2006 年在《Science》雜誌發表《Deep Belief Networks》論文，開啟了深度神經網路的新時代。十餘年來，基於 Hinton 及眾多先驅提出的深度學習理念框架，深度學習在有監督學習上取得一定突破，但同時也暴露出技術侷限，如資料需求大、環境適應弱、可解釋性差、效能差異大、資料分享難等。不少研究者認為，人工智慧的下一步發展有待無監督學習領域的進一步突破。
如何破局？Hinton 提出 Capsule
Hinton 近日對其 2011 年一篇論文《Transforming Auto-encoders》提出的 Capsule 概念重新思考及完善，關於 Capsule 的最新論文《Dynamic Routing Between Capsules》目前已被 NIPS 2017 收錄，這篇論文還未正式發表，但我們還是可從 Google Research Blog 發表的論文摘要及部分提到 Capsule 的 Slide 了解關於 Hinton 對 Capsule 的想法，摘編如下：
Capsule 是一組神經元，其現行向量的矢量方向及方向分別代表實體化程度及實例參數，相同水平下的活躍 Capsule 可透過矩陣變換預測更高階的 Capsule 實體化參數。當多個預測一致時，高階 Capsule 會更活躍。我們展示了用於判別訓練的多層 Capsule 系統在 MNIST 資料集表現臻於完美，相比高度重疊的數位卷積網路的效能更優越。為達到這目標，我們試著使用更新的路由協定機制，即低階 Capsule 傾向將預測結果匯出傳送至高階 Capsule，進而使高階 Capsule 的活動向量具備大標量積。論文最終版正在修訂，並會包含評論者的意見。
換言之，Capsule 嘗試在神經網路內形成和抽象建立子網路，也就是說，如果你看一個標準的神經網路，層與層之間完全連線（也就是說，層 1 每個神經元都可存取層 0 每個神經元，並且本身被第 2 層每個神經元存取，以此類推）， 這種更複雜的圖形拓墣似乎可更有效地提高生成網路的有效性和可解釋性。論文提到的 Dynamic Routing，就是希望能形成一種機制，讓網路將適合某層 Capsule 處理的內容，路由到對應的 Capsule 讓其處理，形成某種推斷鏈。
如何看待 Capsule ？
在知乎這問題下，得到讚同最高的 SIY.Z 這樣回答的：
首先這個工作成功或不成功都是正常的，就算 Capsule 真的成為以後的趨勢，Hinton 也未必這麼快找到正確的訓練算法；就算 Hinton 找到正確的訓練算法，也沒有人能夠保證，Capsules 的數量不到人腦 mini-columns 數量時，能有人類的辨識率（何況現在 CNN 雖然問題很多，但辨識率大多超過人類了）。
從目前已披露的資訊看，Capsule 的概念更仿生，更能模擬人類大腦神經元之間的複雜連線架構，但對這個框架具體的數學說明仍有待進一步研究。
最近幾年，深度學習得到廣泛應用，深度學習工程化的門檻逐步降低，導致諸多學術會議已開始呈現「不用深度學習都不好意思和人打招呼」的現象，在這種環境下，不少研究者也在探索深度學習之外的其他理論研究，Hinton 的「深度學習需要砍掉重練，可能需要拋棄反向傳播」的反思，更具備指導性意義，也會激勵更多人進一步探索其他理論研究。
不少中國學者已走在這個領域的前線。南京大學的周志華教授今年稍早發表關於多層隨機森林的論文《Deep Forest: Towards An Alternative to Deep Neural Networks》是關於用做深度學習的，也不需要反向傳播；而在去年，周志華教授也針對目前深度學習存在的技術侷限提出「學件」解決方案。在這波重新思考深度學習浪潮中，期望有更多學者有更多突破。