許多「人工」智慧進步也是「人造」!MIT 研究員揭露當代 AI 誇大的「進步假象」

30

轉載從: Tech News 科技新報

許多「人工」智慧進步也是「人造」!MIT 研究員揭露當代 AI 誇大的「進步假象」

AI 人工智慧某些例子是否不像我們想得那麼聰明?某研究生團隊發表論文指出,他們深入研究幾十種譽為 AI 研究里程碑的資訊檢索演算法後發現,這些演算法並沒有宣稱的那麼具革命性。事實上,這些演算法使用的 AI 通常只是先前建立常式的細微調校。

根據麻省理工學院(MIT)助理研究員(Graduate Student Researcher)Davis Blalock 表示,團隊檢驗 81 種通常認為比早期研究成果更好的神經網路演算法之後,表示無法確認真有達到宣稱的任何改進。「檢視 50 篇論文後,很明顯的,我們甚至看不出有較先進的地方。」Blalock 表示。

經過調校的舊 AI 演算法表現可輕鬆勝過全新 AI 模型

AI 技術過去 10 年的最大進展歸功於如圖形處理器、電腦處理單元(CPU)和攝影機等硬體改進,促進複雜搜尋計畫、臉部辨識、攝影、語言翻譯和語音辨識的等比級數成長,並取得虛擬實境在更精彩視覺效果的突破性進展。當然,演算法改進也有幫助。

但麻省理工學院研究團隊卻表示,至少 AI 演算法某些改進虛假不實。例如,他們發現只要稍加調校長期建立的舊 AI 演算法,舊程序便能高效運作,甚至達到可與備受吹捧的「全新優化」程序並駕齊驅的程度。但在某些情況下,新 AI 模型的表現甚至還不如舊演算法。

一篇刊登在《科學》期刊並評估研究的文章,引用 2019 年某項對搜尋引擎使用資訊檢索演算法進行整合分析(Meta-Analysis)的研究結論,發現「評獲的高分實際上是在 2009 年(比 2019 年早 10 年)設定的」。2019 年另項研究複製了媒體串流服務採用的 7 種推薦系統。他們還發現,有 6 種演算法的表現甚至比幾年前開發且簡單的演算法還差,至少在早期技術經微調後的結果是如此,這更進一步揭露了「進步的假象」。

10 年來某些 AI 領域缺乏重大進展

Blalock 指出,用來比較演算法優劣的技術本身有不一致性,這使得某演算法優於另一種演算法的說法準確性有待商榷。根據某位 MIT 電腦科學家的說法指出,過去 10 年來,某些 AI 領域顯然缺乏重大進展,這很大程度得歸咎於無法適當比較與評估相互競爭的演算法。Blalock 博士研究生指導教授 John Guttag 表示:「古有明訓,如果無法評量某事,就很難讓事情變得更好。」

卡內基美隆大學( Carnegie Mellon University)電腦科學家 Zico Kolter 推測,將自己的名字用在新演算法命名,遠比僅修補並調校已建立的較舊演算法會有更大的動機和社會回報。

Kolter 專門研究開發抵禦駭客所謂對抗攻擊(Adversarial Attack)的影像辨識模型。這類攻擊會採用經巧妙修改過的程式碼迴避系統安全防護機制。稱為投影梯度下降(Projected Gradient Descent,PGD)的早期方法,透過訓練 AI 系統區分真假範例碼來抵禦此類攻擊。這被認為是可靠的方法,但卻被更新、更好的協定取代。不過,Kolter 主導的研究員團隊發現,只要簡單調校舊 PGD 方法後,有效性與新方法相比幾乎沒有差別。

「很清楚的是,PGD 實際上就是最恰當不過的演算法,」Kolter 指出:「人們想尋求太過複雜的解決方案,一直都是顯而易見的人類通病。」

(首圖來源:shutterstock)