2017年5月15日17:30-19:30，TOPS课题组如期举行了第31期组会，本期组会由15级硕士生叶颖俊介绍深度学习、强化学习的基本知识及关于智能网联汽车自我学习平台的研究进展，参会成员有孙剑老师和全体同学。

面对日益恶化的交通环境，互联网时代下，智能网联汽车正受到越来越多的关注。由于在解决交通安全、道路拥堵、能耗排放以及改善用户体验上具有巨大潜力，智能网联汽车被视为未来交通的趋势及核心。目前业界和学界普遍关注智能车辆行为决策的智力水平，尽管自动驾驶的两大阵营（传统汽车产业和IT产业）采取不同的发展路线，但他们都认为深度学习是实现全自动驾驶的唯一途径。在此大背景下，叶颖俊从深度强化学习（DRL）简介、VISSIM智能汽车仿真接口、智能网联汽车自我训练平台（VISSIM+DRL）三个方面展开研究汇报，最后总结了当前研究并展望下一步工作。

第一部分，深度强化学习（DRL）简介。叶颖俊首先介绍深度学习的网络结构（卷积、池化）、训练目标（交叉熵、激活函数）、参数学习（批处理、学习率、丢失率）与传统多层神经网络的区别，由于传统深度学习数据难以标签化、调参工作量大、训练耗时长，需要引入深度强化学习，从而更有效地解决训练数据集中未包含的特殊情况，把整个系统进行长期考虑，全局观念更强。同时，他介绍了当前流行的深度学习平台和几个经典的深度学习应用案例。

第二部分，VISSIM智能汽车仿真接口介绍。有4种途径可以控制VISSIM的智能汽车：内部参数、COM接口、外部驾驶员接口、驾驶模拟器接口。如果无需修改驾驶模型，使用内部参数即可；如果无需修改换道模型，则使用COM接口即可；无需考虑多link上的车辆，使用外部驾驶员接口即可；以上需求都有的话则需要使用驾驶模拟器接口。

第三部分，智能网联汽车自我训练平台（VISSIM+DRL）。深度强化学习在自动驾驶中的应用逻辑是：智能体学习环境的不同状态并做出相应可能的动作，评价每个动作的作用在该状态下的效果并建立奖励/惩罚函数，通过不断地迭代学习驾驶行为。在本次研究中，VISSIM提供虚拟仿真环境，TensorFlow平台提供深度强化学习算法，对车辆的跟驰行为进行学习。

其后，李铁男、王尔根、黄秀玲、李旭红、秦国阳、张小卉、刘启远就模型的input数据形式、单步reward与全局reward的概念、深度学习与强化学习的差异、reward的设置目标和精细化建模等方面提出问题并展开讨论。

孙剑教授就以上研究总结了三点：其一，深度学习的算法虽然复杂，但用起来不难，正如我们是要研究怎么开车而不需要怎么造车；其二，深度学习不可滥用，深度学习在解决驾驶行为等复杂现象时确实有优势，但并不是任何交通问题都适合用深度学习来解决的，如行程时间；其三，作为交通研究，我们重点不是关注深度学习平台，而是核心的驾驶行为学习模型。