DeepMind 開源自己的「殺手鐧」了

19

轉載從: Tech News 科技新報

DeepMind 開源自己的「殺手鐧」了

眾所周知,強化學習(Reinforcement Learning)是一種人工智慧訓練技術,無論棋牌遊戲方面打敗人類選手的機器人,還是在訓練自動駕駛系統,強化學習都有至關重要的作用。

近日,Alphabet 旗下 DeepMind 發表一篇 27 位研究人員共同完成的論文,詳細介紹名為 OpenSpiel,針對遊戲的強化學習框架──正是 DeepMind 的長處所在。

OpenSpiel 厲害在哪?

OpenSpiel 框架可看作強化學習環境和演算法集合(大部分環境和演算法已全面測試),可用於通用強化學習的研究和遊戲搜尋/規劃研究;還為分析學習動態和其他常見評估指標提供工具。

論文發現,OpenSpiel 旨在許多不同的遊戲促進多智慧體強化學習,重點是學習,而不是競爭;且框架的建設基於兩個重要標準,即簡單和輕型──簡單主要體現在程式設計語言方面,即便來自不同領域的研究人員也能輕易理解;輕型則體現在 OpenSpiel 將依賴關係保持在最低限度,降低出現相容性問題的可能性。

就目前而言,OpenSpiel 框架包含 28 款遊戲和 24 種演算法。正如「Spiel」(棋牌遊戲)詞意,框架支援的也都是相關遊戲;而且遊戲也包括多種博弈方式,比如常和博弈、零和博弈、協調博弈和一般博弈。程式設計語言方面,OpenSpiel 遊戲透過 C++ 達成、演算法則透過 C++ 和 Python 達成,一個程式碼子集也移植到 Swift。

不過,DeepMind 研究人員指出,OpenSpiel 只在 Linux 系統測試(Debian 10 和 Ubuntu 19.04),但由於 MacOS 和 Windows 可自由使用程式碼,Openspiel 在這些平台編譯和執行時應該也不會出現問題。

怎麼安裝 OpenSpiel?

  • 論文中,DeepMind 說明了 OpenSpiel 的安裝方式,他們已經在 Debian 和 Ubuntu 兩個 Linux 系統測試過框架。安裝方式如下:

DeepMind 開源自己的「殺手鐧」了

值得一提的是,DeepMind 目前還沒有在 Linux 以外平台測試過 OpenSpiel,所以,一些程式檔和指令目前是假定基於 Debian 的發行版(Debian 和 Ubuntu)。如果使用其他 Linux 發行版,install.sh 裡安裝依賴項的指令依然可用,不過,安裝指令需自行修改。

  • 為了能從任何位置導入 Python 程式碼,需將根目錄和 open_spiel 目錄添加到 PYTHONPATH。

DeepMind 開源自己的「殺手鐧」了

  • 遵循上述步驟構建好 OpenSpiel 之後,從 build 目錄執行範例。

DeepMind 開源自己的「殺手鐧」了

  • 接下來就能看到框架裡的遊戲清單,並執行遊戲了。

DeepMind 開源自己的「殺手鐧」了

(本文由 雷鋒網 授權轉載;首圖來源:DeepMind / Github