模仿学习（ImitationLearning）完全介绍（一）

在传统的强化学习任务中，通常通过计算累积奖赏来学习最优策略（policy），这种方式简单直接，而且在可以获得较多训练数据的情况下有较好的表现。然而在多步决策（sequential decision）中，学习器不能频繁地得到奖励，且这种基于累积奖赏及学习方式存在非常巨大的搜索空间。而模仿学习（Imitation Learning）的方法经过多年的发展，已经能够很好地解决多步决策问题，在机器人、 NLP 等领域也有很多的应用。

模仿学习是指从示教者提供的范例中学习，一般提供人类专家的决策数据

在简单自动驾驶任务中（如下图），状态就是指汽车摄像头所观测到的画面

但是不是我们完成训练后模型就能够有比较好的效果？答案是否定的，这里存在复合误差（compounding errors），训练好的策略模型

数据增广（Data Augmentation）

为了解决误差随时间越来越大的问题，可以采用数据增广（Data Augmentation）方法，如下图，这是一个端对端的自动驾驶解决方案（NVIDIA 2016），汽车装配了左右两侧的摄像头与中央摄像头来获取当前观测的环境，并且能够通过 Back propagation 使其从错误状态中恢复。它在训练模型前人为地调整了环境不好时汽车的运动动作，另外，摄像头图像的识别采用的是卷积神经网络。

如果我们能够获取大量的训练数据形成一个合适的状态概率分布或者说样本空间，从而得到一个很好的策略模型同样能直接地解决这个问题（如图）。但这往往不太现实，因为需要耗费的成本太大。起初大部分研究者也几乎全在研究如何优化策略减少误差，并提出了很多方法，但都不是十分有效。

DAgger (Dataset Aggregation)

该方法则将研究目的从优化策略

案例二使用了前面提到的 DAgger 方法，图中红线的位置是每个状态的标记，第三步即人工拖拽红线到合适的位置。论文见文末参考资料[5]。

结构化预测（Structured prediction）

结构化预测问题由输入空间

除此之外，结构化预测在字幕生成、机器翻译等 NLP 领域也有应用。

下面是结构化预测在强化学习中的定义：

Sequence labelling

x = the monster ate the sandwich

y = Dt Nn Vb Dt Nn

• State: 输入序列 x 和已经生成的标签
• Actions: 下一个输出的标签
• Reward: 当预测值和真实值符合时
  

  标题：A blue monster is eating a COOKIE

  • State: 图像信息和已经生成词句
  • Actions: 下一个输出的词语
  • Reward: 当预测值和真实值符合时
    

    在 RNN 模型中，对训练数据
    

    具体关于这个应用的细节可以参见论文：参考资料[8]。

    再举一个使用 LSTMs 的有监督模仿学习案例，如下图，机器人需要通过模仿学习学会拣起并放置小物块，这里的输入 X 是所有对象的姿势、旋转和位置情况，以及操纵装置的状态，输出 y 是操纵装置的下一个 pose。具体实现论文见参考资料[9]。

    
    

    模仿学习的方法还有 Interaction & active learning，Inverse reinforcement learning（IRL） 等。IRL 是应用比较多的一种方法，与其它方法直接模仿人类行为不同，它是根据观测来确定奖励函数，之后的文章会具体展开。

    最后再说下模仿学习的局限，一是需要人类专家提供数据这点通常得花大量精力，而且采用深度网络的学习方式又需要大量的数据；二是在一些复杂困难的行为里，我们无法提供相关的行为数据，比如飞机的花式表演。另外，人类可以自身的实践里获得越来越多的数据来实现自我的一步步提升，机器应该也可以逐渐达到这个效果。

    参考资料：

    1. CMU 10703: Deep RL and Control (Lecture 3/6)
    2. CS 294 Lecture 2-3
    3. 周志华《机器学习》强化学习-模仿学习部分
    4. Alessandro Giusti et al., A Machine Learning Approach to Visual Perception of Forest Trails for Mobile Robots
    5. Shreyansh Daftry et al.,Learning Transferable Policies for Monocular Reactive MAV Control
    6. Bagnell, An Invitation to Imitation
    7. Bojarski et al., End to End Learning for Self-Driving Cars
    8. &＃8220;https://arxiv.org/abs/1607.05241&＃8221;>Nguyen, Imitation Learning with Recurrent Neural Networks
    9. Rouhollah et al., Learning real manipulation tasks from virtual demonstrations using LSTM