轉載從: Tech News 科技新報
12 月 24 日吳恩達在聖誕節之際回顧 2020 年 AI 重大發展，包括 AI 對付新冠疫情、訓練資料庫有種族偏見、對抗假消息演算法、AlphaFold 預測蛋白質 3D 結構、1750 億參數的 GPT-3 出現等。
吳恩達寄語：
親愛的朋友們，在過去的 10 年中，每年我都會飛往新加坡或香港，與我的母親一起慶祝她 12 月 22 日的生日。今年，我們透過 Zoom 線上慶生。儘管距離遙遠，我仍然感到很高興，我的家人可從美國、新加坡、香港和紐西蘭一起線上聚會，並演唱同步性很差的〈Happy Birthday To You〉。
我希望我也可以和大家一起用 Zoom 通話，以祝大家節日快樂，新年快樂！
節假日期間，我經常想一想重要的人，回顧他們為我或他人所做的事，並默默表示我對他們的感謝。這使我感到與他們的聯繫更緊密。
我覺得在遠離社交的假期思考這點非常有價值：誰是你生活中最重要的人，你可能出於什麼原因感謝他們？
無論面對面還是網路，我都希望你能找到屬於自己的方式──在假期裡培養與最重要人的關係。Keep learning!
2020 年回顧
凡是過往皆為序章
過去一年，突如其來的傳染性冠狀病毒破壞了人們的正常生活，導致的社會裂痕也威脅到我們的共同利益。
在這一年，有大量機器學習工程師參與，設計出用於新冠肺炎（Covid-19）診斷和治療的工具、建立辨識仇恨言論和假訊息的模型，並指出和強調整個 AI 社群有偏見存在。
但也有輕鬆一面：這一年可將睡衣一鍵換成西裝的在家辦公工具、GPT-3 語言模型、AI 輔助藝術和表演等引人入勝的實驗。
接下來就一起探討過去一年的艱辛和輝煌吧。
應付新冠疫情
AI 加快科學家對新冠病毒疫苗的搜尋，全球機器學習研究人員爭先恐後利用 AI 技術對抗新冠病毒，例如：
1、巴黎和坎城在公車站、公共汽車和市場使用計算機視覺評估法規的遵守情況。
2、多哥共和國政府訓練 AI 模型以辨識衛星圖像的貧困地區，並精準分配救濟金給最需要的人。
3、聊天機器人提供合成的虛擬朋友，提供因疫情封鎖的人們聊天交流。
4、視訊會議公司為線上工作提供 AI 模型，以過濾背景噪音，並將睡衣變成虛擬的商務西裝。
5、中國研究機構合作開發可在 CT 掃描檢測 Covid-19 的 AI 模型，準確度超過 90%。模型已在 7 國及地區部署，程式碼下載量超過 300 萬次。
6、美國生物技術公司 Moderna 疫苗於 12 月獲得美國食品藥品監督管理局批准，使用機器學習優化 mRNA 序列，以轉化為可測試的分子。
此外，AI 治療 Covid-19 的過程也發揮重要作用。例如，某非營利組織使用半監督深度學習平台篩選 14,000 種候選抗病毒藥物，驗證有望用於動物試驗的 4 種化合物。
我的立場：AI 不是萬能，但這種新型、高傳染性冠狀病毒已成為人類利用 AI 對抗傳染病能力的有力試驗對象。
Deepfake 偽造「一切」
當生成對抗網路滲透到文化、社會和科學領域，就悄悄散布無底洞的合成圖像到網路。
如我們所見，Deepfake 出現在主流娛樂活動、商業廣告、政治活動，甚至紀錄片，用來替換當事人的真實面貌以提供隱私保護。
起初，圖像生成器大肆使用並沒有引起人們注意，直到 2019 年，一張「This Person Does Not Exis」的逼真合成人像在網路盛傳，具幽默感的工程師受到啟發，開始利用生成式對抗網路（GAN）模仿現實世界的細節：
1、經過訓練的 Google Earth 可使「This City Does Not Exist」產生大大小小定居點的鳥瞰圖。
2、「This Horse Does Not Exist」可以生成各種姿勢、品種和形態的馬。
3、「This Pizza Does Not Exist」，與真實披薩相比，可能會缺少一些起士和醬汁的光澤感。
4、生成不存在的中國山水畫，欺騙眾多藝術愛好者。
（Source：Chinese Landscape Painting Creation Using Generative Adversarial Networks）
訓練資料庫有種族偏見
深度學習的基本資料庫開始受到廣泛關注。
由於資料庫的編譯、標記和使用方式不同，導致模型訓練過程會對社會邊緣化群體產生偏見。研究人員的審查促進 AI 改革，同時也加深人們對 AI 隱含的社會偏見認識。今年典型案例包括：
1、知名計算機視覺資料庫 ImageNet 被迫下架。ImageNet 的創建者李飛飛及同事重新整理資料庫，並刪除 WordNet 詞彙資料庫的種族主義、性別歧視和其他貶義標籤。
2、一項研究發現，即使使用未經標記的 ImageNet 資料庫訓練，模型也可能由於資料多樣性不足引起偏差。
3、麻省理工學院計算機科學與人工智能實驗室撤回 Tiny Images 資料庫，原因是有外部研究人員發現充斥性暗示、種族歧視等大量不良標籤。
4、訓練 StyleGAN 的資料庫 FlickrFaces-HQ（FFHQ）同樣缺乏多樣性。基於 StyleGAN 模型訓練的 PULSE 演算法，將前美國總統歐巴馬的肖像畫變成白人（PULSE 將提高低解析度照片轉化為高解析度的圖像）。
PULSE 事件出現後，Facebook 首席科學家 Yann LeCun 和當時 Google AI 倫理負責人 Timnit Gebru 展開辯論，爭論焦點在於：機器學習的社會偏見是出自 AI 資料庫，還是 AI 系統本身？
LeCun 的立場是，模型訓練「有偏見的資料庫」之前沒有偏見，也就是模型本身不會有偏見，且有偏見的資料庫可以修改。Gebru 則表示，正如信中所說，這種偏見是在社會差異的背景下產生，要消除 AI 系統的偏見，必須解決整個領域的差異。隨後關於偏見的進一步分歧，Gebru 和 Google 分道揚鑣。
我的立場：確保資料庫的偏見在任務開始時就刪除，這項重要的工作才剛開始。
對抗假訊息算法
全球新冠疫情和有爭議的美國大選掀起假訊息風暴，大型 AI 科技公司均受到影響。
面對大眾日益增加的壓力：阻止煽動性謊言，Facebook、Google 旗下 YouTube 及 Twitter 都爭相更新推薦引擎。據了解，Netflix 嚴厲痛斥；美國國會議員展開調查；民意測驗顯示，科技企業失去了大多數美國人的信任。
這幾家公司嘗試透過各種演算法和策略解決假訊息問題：
1、發現數百個含 AI 生成的假頭像個資後，Facebook 嚴厲打擊認為有誤導性的操縱媒體，並徹底禁止 Deepfake 影片，並繼續開發深度學習工具，以檢測仇恨言論，導致偏見的迷因及有關 Covid-19 的錯誤訊息。
2、YouTube 開發分類器辨識違規內容：包括仇恨言論、陰謀論、醫學錯誤訊息及其他惡意影片。
3、Facebook 和 Twitter 關閉認為是擾亂國家宣傳活動的帳戶。
4、這 3 家公司在含美國大選誤導性訊息內容均添加免責聲明。Twitter 採取最嚴格的政策，直接舉報川普的推文是假訊息。
不過，他們顯然沒有做到觸及底線的更改，且改革可能也不會持續很久，因為政策有的已鬆懈，有的發生了適得其反的效果：
- 6 月《華爾街日報》報導，一些 Facebook 高層停止使用部分監管工具，後來更撤銷選舉期間使用的修改演算法，因促進某些新聞消息來源的知名度。Facebook 誠意不足的做法導致一些員工辭職。
- YouTube 的演算法成功減少假訊息內容創作者的訪問量，但也增加某些經常傳播同樣可疑訊息的大型媒體訪問量，如 Forbes 新聞。
我的立場：目前在這場貓和老鼠的遊戲，尚無明確的方法贏過造謠者或假訊息傳播者，但貓在這場遊戲必須保持領先地位，否則將會失去大眾信任，或遭監管機構調查。
AlphaFold 預測蛋白質 3D 結構
AI 在醫學方面阻礙減少，為深度學習在醫療設備和治療的廣泛應用奠定基礎。
前不久，DeepMind 的 AlphaFold 模型短短幾小時就確定蛋白質的 3D 結構，對研發新型藥物的承諾和對生物學的洞察迅速引起人們的關注。據了解，醫療機構已採取行動，將此類技術納入主流醫學。
制度轉變提高醫療 AI 的知名度，也越來越受到認可：
1、美國最大醫療保險公司同意向某些使用機器學習設備的醫生提供補助。
2、美國食品藥品監督管理局（FDA）批准幾種基於 AI 的治療方法和設備，如心臟超音波檢查系統。
3、一跨學科國際醫學專家小組有兩個協議：Spirit 和 Consort，旨在確保基於 AI 的臨床試驗遵循最佳實踐，同時便於外部評審人驗證試驗成果並報告。
我的立場：AI 的醫學應用要求醫生和醫院重新組織工作流程，一定程度上延緩 AI 應用的進度。一旦 FDA 和醫療保障制度更明朗，臨床醫生就會獲得更大動力做出改變以適應。
GPT-3 解鎖寫作新方式
自然語言處理的神經網路體積越來越大，功能也越來越豐富有趣。如 GPT-3 可寫作畫圖、寫代碼、玩遊戲等，網友玩出 50 多種新用法。
GPT-3 是 OpenAI 打造包含 1,750 億參數的文本生成器，展示出自然語言處理的持續進步。它展現機器學習領域的廣泛趨勢：模型參數呈指數增長，無監督學習成為主流，且越來越普遍。
1、GPT-3 的寫作能力比上一代 GPT-2 更強大，以至於撰寫文章和 Reddit 評論時，成功騙到很多人類。也有很多人以不同方式展現 GPT-3 的創造性，如撰寫哲學文章、與歷史人物對話。 
▲ AI 生成的哲學文章。
2、語言模型促進商業工具發展，如幫助蘋果自動更正功能區分不同語言；讓亞馬遜的語音小助手 Alexa 跟隨對話內容切換；更新機器人律師，對非法自稱美國公民的電話銷售商提起訴訟。
3、OpenAI 的 GPT-2 訓練 Pixel 數據生成 iGPT，iGPT 透過填充部分模糊的內容生成怪異的圖像。
我的立場：語言模型顯然越大越好，但不止於此。iGPT 預告著圖像和文字訓練模型，至少 OpenAI 的工作，可能比 2020 年的巨型語言模型更聰明、更怪異。