finish gym

Author: xyliao

README.md

@@ -65,7 +65,7 @@ Learn Deep Learning with PyTorch
 
 - Chapter 7: 深度强化学习
     - [Q Learning](https://github.com/SherlockLiao/code-of-learn-deep-learning-with-pytorch/blob/master/chapter7_RL/q-learning-intro.ipynb)
-    - Open AI gym
+    - [Open AI gym](https://github.com/SherlockLiao/code-of-learn-deep-learning-with-pytorch/blob/master/chapter7_RL/open_ai_gym.ipynb)
     - [Deep Q-networks](https://github.com/SherlockLiao/code-of-learn-deep-learning-with-pytorch/blob/master/chapter7_RL/dqn.ipynb)
 
 - Chapter 8: PyTorch高级

chapter7_RL/dqn.ipynb

@@ -9,6 +9,8 @@
     "\n",
     "一个非常简单的办法就是使用深度学习来解决这个问题，所以出现了一种新的网络，叫做 Deep Q Networks，将 Q learning 和 神经网络结合在了一起，对于每一个 state，我们都可以使用神经网络来计算对应动作的值，就不在需要建立一张表格，而且网络更新比表格更新更有效率，获取结果也更加高效。\n",
     "\n",
+    "![](https://ws4.sinaimg.cn/large/006tKfTcgy1fni66at6jbj30xo0g1jut.jpg)\n",
+    "\n",
     "下面我们使用 open ai gym 环境中的 CartPole 来尝试实现一个简单的 DQN。"
    ]
   },
@@ -400,7 +402,9 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "我们画出 reward 的曲线，可以发现奖励在不断变多，说明我们的 agent 学得越来越好，同时我们也可以实实在在地看到 agent 玩得怎么样，gym 提供了可视化的过程，但是 notebook 里面没有办法显示，我们可以使用运行 `dqn.py` 来看到 agent 玩的可视化视频。"
+    "我们画出 reward 的曲线，可以发现奖励在不断变多，说明我们的 agent 学得越来越好，同时我们也可以实实在在地看到 agent 玩得怎么样，gym 提供了可视化的过程，但是 notebook 里面没有办法显示，我们可以使用运行 `dqn.py` 来看到 agent 玩的可视化视频。\n",
+    "\n",
+    "另外，我们这里只使用了简单的多层神经网络来作为 dqn 的网络结构，网络的输入是杆的位置信息和角度等等，我们当然可以使用更加一般的输入，比如说每个状态都是一个图片的输入，那么这种方式更具有一般性，实现上几乎是一模一样，只需要改一改网络结构，同时 gym 中也可以得到每个屏幕的输出，具体可以看看 pytorch 的[官方例子](http://pytorch.org/tutorials/intermediate/reinforcement_q_learning.html#)。"
    ]
   }
  ],

chapter7_RL/mount-car.py

@@ -0,0 +1,86 @@
+import numpy as np
+
+import gym
+
+n_states = 40  # 取样 40 个状态
+iter_max = 10000
+
+initial_lr = 1.0  # Learning rate
+min_lr = 0.003
+gamma = 1.0
+t_max = 10000
+eps = 0.02
+
+
+def run_episode(env, policy=None, render=False):
+    obs = env.reset()
+    total_reward = 0
+    step_idx = 0
+    for _ in range(t_max):
+        if render:
+            env.render()
+        if policy is None:  # 如果没有策略，就随机取样
+            action = env.action_space.sample()
+        else:
+            a, b = obs_to_state(env, obs)
+            action = policy[a][b]
+        obs, reward, done, _ = env.step(action)
+        total_reward += gamma ** step_idx * reward
+        step_idx += 1
+        if done:
+            break
+    return total_reward
+
+
+def obs_to_state(env, obs):
+    """
+    将观察的连续环境映射到离散的输入的状态
+    """
+    env_low = env.observation_space.low
+    env_high = env.observation_space.high
+    env_dx = (env_high - env_low) / n_states
+    a = int((obs[0] - env_low[0]) / env_dx[0])
+    b = int((obs[1] - env_low[1]) / env_dx[1])
+    return a, b
+
+
+if __name__ == '__main__':
+    env_name = 'MountainCar-v0'
+    env = gym.make(env_name)
+    env.seed(0)
+    np.random.seed(0)
+    print('----- using Q Learning -----')
+    q_table = np.zeros((n_states, n_states, 3))
+    for i in range(iter_max):
+        obs = env.reset()
+        total_reward = 0
+        ## eta: 每一步学习率都不断减小
+        eta = max(min_lr, initial_lr * (0.85 ** (i // 100)))
+        for j in range(t_max):
+            x, y = obs_to_state(env, obs)
+            if np.random.uniform(0, 1) < eps:  # greedy 贪心算法
+                action = np.random.choice(env.action_space.n)
+            else:
+                logits = q_table[x, y, :]
+                logits_exp = np.exp(logits)
+                probs = logits_exp / np.sum(logits_exp)  # 算出三个动作的概率
+                action = np.random.choice(env.action_space.n, p=probs)  # 依概率来选择动作
+            obs, reward, done, _ = env.step(action)
+            total_reward += reward
+            # 更新 q 表
+            x_, y_ = obs_to_state(env, obs)
+            q_table[x, y, action] = q_table[x, y, action] + eta * (
+                    reward + gamma * np.max(q_table[x_, y_, :]) -
+                    q_table[x, y, action])
+            if done:
+                break
+        if i % 100 == 0:
+            print('Iteration #%d -- Total reward = %d.' % (i + 1,
+                                                           total_reward))
+    solution_policy = np.argmax(q_table, axis=2)  # 在 q 表中每个状态下都取最大的值得动作
+    solution_policy_scores = [
+        run_episode(env, solution_policy, False) for _ in range(100)
+    ]
+    print("Average score of solution = ", np.mean(solution_policy_scores))
+    # Animate it
+    run_episode(env, solution_policy, True)

chapter7_RL/open_ai_gym.ipynb

@@ -0,0 +1,62 @@
+{
+ "cells": [
+  {
+   "cell_type": "markdown",
+   "metadata": {
+    "collapsed": true
+   },
+   "source": [
+    "# Gym 介绍\n",
+    "前面我们简单的介绍了强化学习的例子，从这个例子可以发现，构建强化学习的环境非常麻烦，需要耗费我们大量的时间，这个时候我们可以使用一个开源的工具，叫做 gym，是由 open ai 开发的。\n",
+    "\n",
+    "在这个库中从简单的走格子到毁灭战士，提供了各种各样的游戏环境可以让大家放自己的 AI 进去玩耍。取名叫 gym 也很有意思，可以想象一群 AI 在健身房里各种锻炼，磨练技术。\n",
+    "\n",
+    "使用起来也非常方便，首先在终端内输入如下代码进行安装。\n",
+    "\n",
+    "```\n",
+    "# Github源\n",
+    "git clone https://github.com/openai/gym\n",
+    "cd gym\n",
+    "pip install -e .[all]\n",
+    "\n",
+    "# 直接下载gym包\n",
+    "pip install gym[all]\n",
+    "```\n",
+    "\n",
+    "我们可以访问这个页面看到 gym 所[包含的环境和介绍](https://github.com/openai/gym/wiki)。"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "在上面的环境页面，可以 gym 内置了很多环境，我们可以使用前面讲过的 q learning 尝试一个 gym 中的小例子，[mountain car](https://github.com/openai/gym/wiki/MountainCar-v0)。在 mounttain car，我们能够观察到环境中小车的位置，也就是坐标，我们能够采取的动作是向左或者向右。\n",
+    "\n",
+    "为了使用 q learning，我们必须要建立 q 表，而这里的状态空间是连续不可数的，所以我们需要离散化连续空间，将 x 坐标和 y 坐标都平均分成很多份，具体的实现可以运行 `mount-car.py` 看看结果。\n",
+    "\n",
+    "如果运行完之后，可以看到 q 表的收敛非常慢，reward 一直都很难变化，我们需要很久才能将小车推到终点，这个时候我们需要一个更加强大的武器，那就 deep q network。"
+   ]
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "Python 3",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.6.3"
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 2
+}