DQN（Mnih等人，2015）結合了臨時差異學習、經驗回放和深度神經網絡函數近似。它在大部分Atari遊戲中實現了人類等級的表現，從原始感覺輸入中學習。但是，這些Atari遊戲的設定是單一代理環境，潛在對手固定，並由Atari模擬器控制。我們的實驗顯示，DQN 代理在 LHE 遊戲中沒法實現納什均衡，其中玩家允許進行動態適應。Yakovenko等人（2016）在計算機百家樂對戰中訓練了深度神經網絡機械手臂百家樂技巧，包括兩個在人類中非常流行的百家樂。他們的網絡與基於啟發式方法和簡單的計算機程相比表現更強。人類專家玩家可以超越他們的代理，雖然其樣本大小不具有統計學意義。他們的方法在現實或理論中是否會收斂是個未知數機械手臂百家樂技巧。與之對比，我們實證證明了 NFSP 在 LHE 遊戲中收斂至近似納什均衡。而且，我們的方法是有原則的，是基於擴展式博弈論表述中的虛擬對戰理論。6、結論我們引入了 NFSP，第一個端到端深度強化學習方法，在不完美信息遊戲中以自我對戰學習近似納什均衡。NFSP 解決三個問題。首先，NFSP 代理學習不需要具備原有知識。第二，他們不依賴於實時本地搜索。第三，DQN（Mnih等人，2015）結合了臨時差異學習、經驗回放和深度神經網絡函數近似。它在大部分Atari遊戲中實現了人類等級的表現，從原始感覺輸入中學習。但是，這些Atari遊戲的設定是單一代理環境，潛在對手固定，並由Atari模擬器控制。我們的實驗顯示，DQN 代理在 LHE 遊戲中沒法實現納什均衡，其中百家樂玩家允許進行動態適應機械手臂百家樂技巧。Yakovenko等人（2016）在計算機百家樂對戰中訓練了深度神經網絡，包括兩個在人類中非常流行的百家樂。他們的網絡與基於啟發式方法和簡單的計算機程相比表現更強。人類專家玩家可以超越他們的代理，雖然其樣本大小不具有統計學意義。他們的方法在現實或理論中是否會收斂是個未知數。與之對比，我們實證證明了 NFSP 在 LHE 遊戲中收斂至近似納什均衡。而且，我們的方法是有原則的，是基於擴展式博弈論表述中的虛擬對戰理論。6、結論我們引入了 NFSP，第一個端到端深度強化學習方法，在不完美信息遊戲中以自我對戰學習近似納什均衡。NFSP 解決三個問題。首先，NFSP 代理學習不需要具備原有知識。第二，他們不依賴於實時本地搜索。第三，他們在自我對戰中收斂至近似納什均衡。我們的實證結果提供了以下收獲：虛擬遊戲的表現隨著各種近似錯誤優雅地衰退；NFSP 在小百家樂中能可靠地收斂於近似納什均衡，而 DQN 的貪婪和平均策略不能；NFSP 在真實歐冠規模的信息不完美遊戲中，從零學會一種有競爭力的策略，不需要使用明確的原有知識。