乒乓球運動可大大助推機器人學習研究?

在最近的一篇博文中表示，機器人學習現已應用到許多真實世界任務，但將其應用于需要緊密循環的動態、高速人機交互任務還并不常見。這方面的任務可體現在乒乓球訓練上。

乒乓球任務有兩個互補的屬性，其不僅需要速度和精度(對算法要求高)，還是高度結構化的(環境固定、可預測)。

另外，執行乒乓球任務的機器人可與人和其他機器人分別對戰，非常利于有關人機交互和強化學習方面的研究。因此，一些團隊已經開發了乒乓球研究平臺。

機器人團隊同樣搭建了一個類似平臺，使其能夠在多玩家、動態的環境中，研究機器人學習中出現的問題。

視頻 | (來源：)

對于該方面的研究，通過兩篇論文做了相關闡述，分別題為《i-Sim2Real：緊密人機交互循環中機器人策略的強化學習》()、《GoalsEye: 在一個物理機器人上學習高速精密乒乓球》()，且都已提交到 arXiv 上。

下面對的 i-Sim2Real 和 GoalsEye 兩個項目分別做一簡單介紹。

在 i-Sim2Real(i-S2R)項目中，機器人的目標本質上是有關合作的。即最大程度與人類玩家連續游戲。

由于在現實中通過人類訓練機器人既費時又費力，采用了一種基于仿真(模擬現實)的方法。但該方法較難準確模擬人類行為，尤其是在需要與人類進行緊密、閉環交互的任務上。

因此，開發出一種學習人類行為模型，專門用于人-機器人交互。最終，在與人對戰中，機器人能夠連續擊中乒乓球三百多次。

關于學習人類行為模型，其在官網 表示，該問題似乎是一個悖論。若起 初缺乏優良的機器人策略，便很難獲得人機交互方面的優質數據。但人類行為模型的缺失，又會得不到機器人策略。

為解決這個問題，i-S2R 以一般的人類行為模型為起點，并在模擬和真實訓練中不斷迭代，人類行為模型和策略都逐漸得到了優化。

還通過不同的人類對手重復訓練，來評估 i-S2R。并將它與通常的模擬到現實(S2R，sim-to-real)+微調(FT，fine-tuning)進行比較，發現 i-S2R 反彈長度比 S2R + FT 高約 9%。

i-S2R 和 S2R + FT 的反彈長度直方圖顯示，S2R + FT 的反彈大部分較短(即小于 5)，而 i-S2R 實現更長的反彈更頻繁。

圖 | i-S2R 結果摘要(來源：)

還在博文中表示，i-S2R 專注于模擬到真實學習，但有時需要僅使用真實世界的數據進行學習。在這種情況下，縮小模擬到真實的差距是不必要的。

研究人員還簡單分析了模仿學習(Imitation learning，IL)和強化學習(Reinforcement Learning，RL)存在的問題。

其認為，IL 提供了一種簡易、穩定的學習方法，但它需要獲得演示，并且幾乎不會超過被模仿者的表現。而在高速環境下，收集專業人員訓練時的精確目標定位非常困難。

RL 雖然十分適合這種高速、高精度任務，但它面臨著一個艱難的探索問題(特別是在一開始)，并且采樣效率很低下。

所以，在另外一個 GoalsEye 項目上，結合行為克隆技術，來塑造精確定位策略。該方法起始于一個結構薄弱的、非目標的小型數據集。其主要考慮乒乓球任務的精度。

關鍵詞： 谷歌通過乒乓球運動強化機器人學習 乒乓球運動強化機器人學習 乒乓球運動 機器人學習