相比于一年舉辦數十場的各種類型的圖像識別/分割大賽而言，強化學習的頂級賽事可謂是寥寥可數，其技術報告更是鳳毛麟角。強化學習在賽事領域到底有哪些常用的解題思路以及黑科技呢？今天我們通過解讀NeurIPS強化學習賽事頒獎現場的技術報告，為大家帶來仿生人控制大賽這一國際頂尖賽事的冠軍解決方案。

訓練代碼的開源路徑：

　　在12月8日-14日于加拿大溫哥華舉辦的機器學習領域頂級會議NeurIPS 2019上，百度連續第二年拿下強化學習賽事冠軍。而在頒獎典禮現場，百度技術團隊分享了此次能夠獲得冠軍的關鍵3點：高性能的并行框架PARL、課程學習機制以及提升模型魯棒性的新算法。

　　據悉，斯坦福大學仿生動力學實驗室連續三年在NeurIPS上舉辦了關于仿生人的控制競賽---通過肌肉來控制仿生人來靈活運動，目標是將強化學習這項潛力巨大的技術應用到人體肌肉運動研究領域中，進一步理解對人體腿部的運動原理，為該領域研究拓展全新的研究思路。

　　今年賽事的任務是通過強化學習訓練一個模型來控制仿生人進行靈活運動，使得其可以朝著任意角度行走，并可以實時調整速度快慢。這一目標相比去年階段性地變化行走目標而言，主要變化在實時變換速度，任意行走角度上，給今年的參賽選手帶來了極大的挑戰(賽事結果報導見上一篇文章)。

　　如下為百度技術團隊在頒獎典禮上的技術報告：

　　PARL：最高可支持20000個計算節點并發計算的強化學習框架

　　歷屆賽事采用的是斯坦福實驗室設計的opensim仿生人模型，這一仿真器基于生物動力學原理，盡可能地還原了真實的物理情況。但是高仿真度意味需要耗費更多的計算資源，這使得它的運行速度相比主流強化學習仿真環境慢很多，平均速率只有4幀/秒(主流環境Mujoco最高可達到1000幀/秒)。要解決這個問題，最直接了當的方法是利用多個CPU進行并行計算，同時進行仿真。目前開源社區中已經有一部分RL框架支持并行計算，比如最為流行的baseline(OPENAI開源)，但是這類框架的并行計算是基于mpi4py通訊協議實現的。用戶不僅需要熟悉mpi的常用接口，還得用特定的命令才能啟動多機訓練，相對于單機版本的改動極大，用戶上手成本很高。

　　而在飛槳PARL框架下，并行計算代碼編寫幾乎沒有額外學習成本。PARL鼓勵用戶寫傳統的python多線程代碼來達到并行目的，開發者并不需要關注網絡傳輸的實現，只要增加一個并行修飾符就可以實現并行化(盡管python多線程受全局鎖GIL限制而不能實現真正的并行，但是這個修飾符的底層實現是獨立進程級別的，不受這一限制)。獲勝團隊實現了并行版本的DDPG/PPO算法，使用了上百個仿真環境在CPU集群上進行仿真，探索不同的狀態空間，并且通過網絡傳輸把數據收集到訓練機器上通過GPU預測以及訓練(見圖1)，將原先單CPU需要5小時迭代一輪的單機PPO算法時間壓縮到了不到1分鐘。

圖1

　　課程學習機制

　　本次比賽的一個重要挑戰是在高達117維度的連續空間上訓練一個可以靈活行走的模型，搜索空間極大，模型在訓練的過程中很容易陷入局部最優，例如圖2這種螃蟹一樣橫著走的情況。

圖2

　　如何才能避免這種情況，讓模型學習到一個靈活的走路姿勢，和普通人行走一樣正常呢？

　　在參賽過程中，該團隊注意到把強化學習的學習目標直接設定為低速向前的話，模型會抖機靈地探索到各種各樣奇怪的姿勢來達到低速行走的目標，比如拖著腿走，小步跳著走，甚至橫著走。這些奇怪的姿勢導致模型陷入局部最優，短期內雖然拿到了不錯打分，但效果卻無法進一步提升。如何學習到更接近于人類的穩定姿態？參賽團隊進一步發現，把目標設定為向前奔跑且跑得越快越好，模型學出來的姿勢較自然。仿真環境中的仿生人先邁出右腿，身體向前傾斜，然后向前沖刺，最后和普通人一樣向前跑起來(見圖3)！該團隊認為出現該情況的原因在于此：低速行走有非常多的姿勢能夠實現，也很容易陷入局部最優；但是目標設定為最快速度奔跑的時候，模型的可能選擇反倒更少了----像人類一樣沖刺。在學會了向前奔跑之后，參賽選手再逐步把目標速度降低，讓模型保持原先的姿勢的同時，逐步學會低速行走。有了這種課程式的訓練過程，模型可以學習到真正與人類一樣的行走姿勢，這也為后續的靈活變換方向奠定了基礎。

圖3

　　RAVE：提升魯棒性的新算法

　　RAVE的全稱是Risk-averse Value Expansion，是該團隊提出的基于模型的強化學習算法(model-based RL)，這個算法在本次奪冠過程中起到了極為關鍵的作用，最終也獲得了賽事的Best Machine Learning Paper榮譽。這次賽事的最為重要的一個挑戰是仿生人需要實時變換速度，reward是取決于仿生人的實時速度與指定速度之間的差值，但是未來的目標速度是無法提前得知的(賽事規則限制)。這一個問題給強化學習的學習機制帶來了很大的干擾：由于未來的目標速度無法預估，會使得在當前狀態下，模型錯誤地估計了未來風險，從而采取一些風險偏高的行為而很容易摔倒。針對這一個問題，PARL團隊從對環境的建模入手，在借鑒了發表在18年NeurIPS的Ensemble of Probabilistic Models(PE)工作后，他們采用了多個高斯模型對環境進行建模，同時捕捉建模的誤差以及環境的隨機性，并通過取多個預估值的置信度下界的方式，來解決值函數在計算過程中過于樂觀的情況。憑借著這個算法，百度參賽團隊最終訓練出了圖4這樣靈活的控制模型，連續兩年拿下該賽事的冠軍名次。

圖4

　　最后參賽團隊表示已經把相關訓練代碼開源到PARL倉庫中，方便大家了解強化學習競賽的訓練流程，具體可以參閱如下路徑(。