5月18日凌晨，Google CEO Sundar Pichai 在 I/O 大會上正式公布了第二代 TPU，又稱 Cloud TPU 或 TPU 2.0，這一採用雲端計運算的硬體和軟體系統，將繼續支撐 Google 最前沿的人工智慧技術。
第一代 TPU 於 2016 年發表，它被做為一種特定目的晶片而專為機器學習設計，並用在 AlphaGo 的人工智慧系統上，是其預測和決策等技術的基礎。隨後，Google 還將這一晶片用在了其服務的各方面，比如每一次搜尋都有用到 TPU 的計算能力，最近還用在了 Google 翻譯、相簿等軟體背後的機器學習模型中。
今天凌晨，Google 宣布第二代的 TPU 系統已經全面投入使用，並且已經部署在 Google Compute Engine 平台上。它可用於圖像和語音辨識、機器翻譯和機器人等領域。
新的 TPU 包括了 4 個晶片，每秒可處理 180 萬億次浮點運算。Google 還找到一種方法，使用新的電腦網路將 64 個 TPU 組合到一起，升級為所謂的TPU Pods，可提供大約 11,500 萬億次浮點運算能力。
（Source：wired）
強大的運算能力為 Google 提供了優於競爭對手的速度，和做實驗的自由度。Google 表示，公司新的大型翻譯模型如果在 32 塊性能最好的 GPU 上訓練，需要一整天的時間，而八分之一個 TPU Pod 就能在 6 個小時內完成同樣的任務。之所以開發新晶片，部分也是因為 Google 的機器翻譯模型太大，無法如想要的那麼快進行訓練。
除了速度，第二代 TPU 最大的特色，是相比初代 TPU 它既可以用於訓練神經網路，又可以用於推理。初代的 TPU 只能做推理，要依靠 Google 雲來即時收集資料並產生結果，而訓練過程還需要額外的資源。
機器學習的能力已經逐漸在消費級產品中體現出來，比如 Google 翻譯幾乎可以即時將英語句子變成中文，AlphaGo 能以超人的熟練度玩圍棋。所有這一切都要靠訓練神經網路來完成，而這又需要計算能力。所以硬體越強大，得到的結果就越快。如果將每個實驗的時間從幾周縮短到幾天或幾個小時，就可以提高每個機器學習者快速反覆運算，並進行更多實驗的能力。由於新一代 TPU 可以同時進行推理和訓練，研究人員能比以前更快地部署 AI 實驗。
（Source：wired）
過去十多年來，Google 已經開發出很多新的資料中心硬體，其中包括伺服器和網路設備，主要目的是擴張自己的線上帝國。而過去幾年中，在 AI 方面 Google 也選擇開發自己的硬體，為其軟體做優化。神經網路是複雜的數學系統，通過分析大量資料來學習，這種系統從根本上改變了技術的構建和運行方式，影響範圍也包括硬體。
在某種程度上，初代的 TPU 被設計來是為了更好地支援 TensorFlow 機器學習框架。而歸功於 Google 在軟硬體上的進步與集成，TensorFlow 已經成為構建 AI 軟體的領先平台之一。這種優化，再加上 Google 大腦及其 DeepMind 子公司的內部人才，正是 Google 在 AI 領域保持領先的部分原因。
晶片廠商 Nvidia 的 GPU 幾乎主宰了機器學習的市場，而現在，Google 想透過專門設計用於訓練神經網路的晶片，來改變市場提升格局。
（Source：The Verge）
亞馬遜和微軟透過自己的雲端服務提供 GPU 處理，但他們不提供客製的 AI 晶片。
不過 Google 也不能因此而高枕無憂，因為短期內競爭就會加劇。目前已經有幾家公司，包括晶片巨擘英特爾和一大批新創公司，正在開發專門的 AI 晶片，它們都可能替代 Google TPU。
首先開發出新的晶片並不能保證 Google 成功，要使用 TPU 2.0，開發者要學習一種構建和運行神經網路的新方法。它不僅僅是一個新的晶片，TPU 2.0 也是專門為 TensorFlow 設計。雖然 Tensorflow 是開源軟體，但也有許多研究人員使用 Torch 和 Caffe 等類似的軟體。新硬體需要新的軟體優化，這需要不少時間。
在 Google 推出 TPU 2.0 的幾周之前，Facebook 的 AI 研究主管 Yann LeCun 質疑稱，市場可能不需要新的 AI 專用晶片，因為研究者已經對使用 GPU 所需的工具非常熟悉了。新的硬體意味著新的生態系統。
另外，Google 雲端服務的成功不僅取決於晶片的速度，以及使用的容易程度，還要考慮成本。所以，如果 Google 以比現有 GPU 服務更低的成本提供 TPU 服務，會得到更廣泛的用戶基礎。
Google 自己當然會使用新 TPU 系統，但也會將它的能力開放給其他公司使用。Google 表示，不會將晶片直接出售，而是會透過其新的雲端服務（年底前公布）提供，任何開發者都可以使用新處理器帶來的計算能力。
Google 也重申了其對開源模式的承諾，表示會向同意發布研究結果的研究人員提供 TPU 資源，甚至可能開原始程式碼。他甚至呼籲開發者加入 TensorFlow Research Cloud 計畫，它會免費提供一組 1,000 台 TPU。
新 TPU 的速度優勢肯定會吸引不少研究人員，畢竟 AI 研究要在大量硬體上廣泛試錯。就此而言，Google 願意免費提供計算資源對全世界的 AI 研究者來說都是有好處的，當然，這對 Google 來說也是有好處的。
- Google Rattles the Tech World With a New AI Chip for All
- Google’s next-generation AI training system is monstrously fast
延伸閱讀：