人工智能頂會NeurIPS 2018正在如火如荼的進行著，并且首次在第一天增加了Expo Workshop。一共有十家公司有幸拿到了組織workshop的機會，其中中國有四家，分別是阿里巴巴，百度，Pony。AI和網易。其中，AI方面一向低調的網易首次公布了自主研發的創新性強化編程(Reinforced Programming)框架。下面我們就一起了解下網易在NeurIPS 2018的Workshop，以及這個強化編程框架吧。

　　Workshop簡介

　　隨著李世石與AlphaGO的巔峰對決，強化學習為越來越多的人所知曉。強化學習（Reinforcement Learning，RL）是機器學習中的一個重要分支，智能體（Agent）通過與環境不斷交互學習如何進行連續決策。Agent從環境中獲取狀態（State），決策要做的動作（Action），并得到環境反饋（Reward），逐漸學會更好的策略（Policy），從而最大化自己的收益。換句話說，強化學習可以通過人機訓練或者自我學習，不斷進步，找到解決問題的最佳方法。隨著強化學習的爆發性進展，它也被大家寄予了越來越大的期望。

強化學習發展歷程

　　既然強化學習這么厲害，已經在棋類游戲中打遍人類無敵手。是不是之后所有的事情就可以交給強化學習讓機器自己來學習了呢？其實大部分強化學習的研究都還局限在學術界，如何把強化學習落地到實踐中來依舊是個非常大的難題，受著很多條件的限制。因此網易伏羲AI實驗室組織舉辦了主題為“Make Reinforcement Learning in Touch with Industry”的Expo Workshop來討論如何更好的讓強化學習應用到產業界中來。在Workshop中，網易除了公布自主研發的強化編程框架外，還邀請了南京大學的俞揚教授，天津大學的郝建業教授，氪信科技的CEO朱明杰博士，和滴滴AI實驗室強化學習組負責人秦志偉博士等多位學術界和產業界著名專家學者共同探討強化學習落地產業應用的相關進展。

　　強化編程框架

　　強化學習之所以難在產業界落地，主要有以下幾個問題：1。知識依賴：強化學習這么前沿，對理論深刻理解的人自然少之又少，而僅僅想做應用也必需掌握一些基本的理論概念。2。 現實場景的復雜性和多變性：學術研究是把問題簡單和抽象化，而現實中產業應用問題通常更加復雜，需要結合大量的先驗知識，而且場景豐富多變。3。計算及數據量巨大：產業應用中問題的復雜性同樣帶來更大的計算量及數據樣本量需求。

　　強化編程框架的設計也正是為了解決這幾個問題。在解決知識依賴的問題上，新框架希望最終將學習成本降至最低，在傳統編程的基礎上，創新性的將函數概念擴展出可學習的“神經網絡函數”。也就是說，就算你不懂強化學習，你也可以像調用普通函數一樣簡單的調用神經網絡函數，而且這個神經網絡函數可以自我學習。在解決現實場景復雜性和多變性的問題上，新框架設計了一套可視化的流程圖前端工具，可以快速設計及維護上層邏輯，應對復雜多變的場景需求；同時，新框架讓傳統編程和強化學習無縫銜接，靈活的支持邏輯規則與強化學習混合編程，并支持多網絡的協同訓練。這通常對應了復雜問題的分解及分層結構的強化學習，在這里都可以通過流程圖輕松直觀的表達。在解決計算及數據量巨大的問題上，伏羲實驗室提供了一整套后端云平臺作為解決方案。之所以叫強化編程這個名字，實際上是一語雙關。首先是對現有編程方法的一種增強，其次是通過強化學習來實現這種能力。

伏羲強化編程框架

　　從整個框架來看，首先提供了一個面向業務方的流程圖工具，以流程圖的形式對強化學習問題進行建模，自動生成代碼（目前支持Lua、Python及C#語言），嵌入到各種類型的業務產品中，實現與環境交互，并具有調試功能。同時提供一個基于完整計算集群的容器云平臺，將各種RL算法（DQN、A3C、Impala等）通過容器化的方式進行封裝，支持所有主流的深度學習框架（TensorFlow、Mxnet、PyTorch等）?；赗PC連接環境和訓練集群，并對客戶端獲取的數據進行有效地封裝和轉發，同時將服務器產生的策略返回給客戶端，組包在服務器端進行，支持并行及動態擴容的訓練。網易伏羲實驗室還提供了一套完整的SDK方案，在平臺上完成訓練后，可以方便地將訓練結果導出，部署到服務器或客戶端。最后可以通過一個Web控制前端，查看訓練數據及效果、規劃計算資源、改進訓練方案，從而提升工作效率。

　　實際應用

　　伏羲實驗室先在Atari游戲Pong上驗證了該框架解決經典強化學習實驗問題的有效性。下圖為相應的流程圖和訓練效果：

Pong流程圖模型

Pong訓練效果

　　然后，伏羲實驗室使用一款1v1動作對戰游戲驗證了混合編程和多網絡編程在解決復雜問題上的的優勢。通過流程圖的方式可以引入專家經驗，也可以對訓練模型進行分層。實驗設置如下：實驗1為未經任何處理的端到端模型，直接由RL算法探索所有空間。實驗2為單個神經網絡與專家知識的混合編程模型，神經網絡先選擇技能大類，同一類技能內再靠人工規則實現選擇。實驗3為結合經驗的分層神經網絡模型，在這里，上層策略與底層策略都由神經網絡實現。

端到端模型、混合編程模型與分層模型

　　實驗結果顯示：藍色線條為端到端的模型，效果最差；紅色為網絡加規則的混合模型一開始上升很快，且始終優于藍色；綠色線條為分層模型，最初低于紅色，但在后續訓練過程中逐漸變成收益最高的一條曲線。驗證了復雜問題中引入人工經驗進行混合編程與問題分解進行分層網絡訓練的優勢。

實驗結果對比

　　在過去的一年多時間里，伏羲實驗室已經利用該框架將深度強化學習應用于游戲產業。目前已在網易的多款自研產品中取得成果并上線，涵蓋MMORPG、籃球、動作及休閑等眾多品類。

　　下面是強化編程框架在潮人籃球這款游戲中的應用實例。以多網絡的方式實現了籃球游戲內的AI設計，通過流程圖實現attack、defense、ball clear、free ball四個網絡的建模，編輯對應的神經網絡，調用RL插件接口，在Web前端申請計算資源進行訓練。

網易伏羲工作室強化編程框架 視頻1 流程圖工具建模實例 （來源：）

視頻1 流程圖工具建模實例

可以看到4個網絡的訓練隨著機器人的狀態進行切換

網易伏羲工作室強化編程框架 視頻2 網絡訓練實例 （來源：）

視頻2 網絡訓練實例

最終，在潮人籃球線上3V3模式中，3個AI Bot勝率達82%，2個AI與1個玩家人機合作勝率達70%。

網易伏羲工作室強化編程框架 視頻3 潮人籃球3v3強化學習AI Bot （來源：）

視頻3 潮人籃球3v3強化學習AI Bot

　　網易伏羲實驗室

　　網易伏羲實驗室是國內首家專業游戲AI研究機構，成立于2017年9月，目前已有160名成員。實驗室在強化學習、自然語言處理、計算機視覺和虛擬人等方向開展學術研究及產業落地嘗試。愿景是“以人工智能技術點亮游戲未來”，希望運用人工智能的尖端技術為玩家營造新世代的游戲體驗，同時借助游戲平臺的海量數據和仿真環境，推動人工智能技術發展。

　　在本屆NeurIPS Expo研討會上，伏羲實驗室提出了一種新的強化編程框架，能夠讓沒有任何強化學習背景知識的使用者也能將這項技術應用到現實問題，促進強化學習在產業界落地。該框架是對傳統編程的增強，使用者能夠以調用一種可學習函數的方式使用強化學習，方便的實現邏輯規則與強化學習的混合編程及多網絡協同學習，該框架還提供了可視化的流程圖前端工具和集成各種算法的后端云平臺，能夠更加快捷地實現上述編程模式。此外，很多后續工作也在進行，如集成AutoML、支持模仿學習等。

　　在該框架的工作中，南京大學LAMDA實驗室的俞揚教授團隊與伏羲團隊建立了合作，并計劃將該框架用于星際AI和基于環境建模的模仿學習研究中。該框架已經在多款網易的游戲中應用，并計劃和氪信科技一起將其推廣到金融領域。網易方面表示，希望這套強化編程框架不斷改進變得更加通用，讓強化學習技術更快的在產業應用中發揮價值，未來幫助用戶解決更多實際問題。同時也歡迎各界積極交流、探討，共同推進AI技術發展。