登录TOPS×

*


*

验证码加载中……

请先拖动验证码到相应位置


——  孙  剑  教  授  课  题  组  ——
自动驾驶人机共融

驾驶人始终是交通系统的核心要素,随着车辆从人工驾驶向组合辅助驾驶乃至高等级自动驾驶迈进,驾驶人角色正由“操控者”转变为“监管者”,驾驶人和车辆的交互形式和层次发生了巨大改变,车辆在多数时段承担横纵向控制,驾驶人则在监视、接管以及其他非驾驶任务之间切换。在人机共驾形态下,安全风险不再主要来自单一驾驶操作失误,而更多来自人机交互机制设计过程对人类行为的假设偏差,并集中体现在三个关键环节:驾驶人状态是否被稳定实时地识别、控制权分配与切换的交互设计是否符合人的反应规律、系统是否具备可计算可解释的人因机理模型来支撑闭环决策。


自动驾驶新型人机关系引发新的研究挑战:其一,有效的人机协同依赖对驾驶人状态的可靠感知,而驾驶人角色的频繁切换要求状态监测必须具备跨任务一致性与实时性;其二,人机共驾模式下,围绕驾驶控制权分配的人机交互模块直接影响驾驶安全,成为区别于驾驶控制算法的关键优化对象;其三,“人为中心”的智能系统需要可计算、可解释的驾驶人行为与认知模型作为决策依据,以支持“驾驶人”在环的人机交互闭环分析与优化。


面对上述挑战,团队聚焦自动驾驶人机交互三大技术难题:(1)驾驶人状态监测:人机交互中的驾驶人行为及心生理状态的检测、分析、预警与应急控制;(2)人机交互优化:面向不同等级的自动驾驶技术,结合驾驶人实时状态针对性优化驾驶控制权的分配与切换,并特别关注智驾系统的智能度提升与安全兜底能力;(3)数字驾驶人模型构建:构建打通感知、认知、执行的数字驾驶人模型,为面向“人为中心”的自动驾驶人机交互提供理论基础。


为支撑人机交互分析与优化的实证研究,课题组建设有驾驶人在环实车自动驾驶实验系统TransDriver,并分别研发了面向高风险场景可控安全测试的整车台架实验装备和面向车辆运动高保真测试的场地实验装备,为人机交互与优化研究提供了驾驶人在环与实车(包括量产车)数据收集及实验验证基础。



F62BC

驾驶人在环实车自动驾驶实验系统TransDriver及人机交互实验方案


1 驾驶人状态监测与分析

在自动驾驶人机共驾情境下,需要对驾驶人的行为、心生理反应与认知状态开展非侵入式、车规可部署的连续感知与分析,为人机交互策略的触发与调整提供实时、可解释、可闭环的状态输入。围绕这一目标,团队以车内多源非侵入式传感为基础,构建“原始特征采集—状态间接推断”的状态监测技术框架,并引入多模态大模型增强对复杂座舱交互情境的整体理解能力,在工程可落地的前提下提升驾驶人状态特征的监测精度与决策可用性。


  • 驾驶人监测技术:面向人工驾驶车辆,在传统驾驶人监测基础上,利用视觉传感器潜在的空间理解能力,高精度识别驾驶人分心、疲劳、不舒适等典型特征,探究行车风险早期预测与预警技术、驾驶能力评测以及应急避险技术等。面向自动驾驶车辆,进一步结合车辆运行信息和车外环境信息,研究驾驶人信任度、驾驶偏好预测、接管就绪度、情绪识别等。

  • 跨模态驾驶人状态表征:人机共驾接管过程中,驾驶人认知状态具有显著动态性,接管行为绩效分析依赖于认知状态相关的心生理特征。视觉监测方案难以直接获取此类特征,而侵入式的心生理监测无法车规级部署。针对该问题,团队首先基于TransDriver采集兼具侵入与非侵入式信号的多模态驾驶事件样本,然后引入多模态大模型建立两类信号的跨模态对齐机制,探究视觉特征与驾驶人认知状态间的映射关系。


驾驶人状态检测与分析研究


2 人机交互优化

人机共驾过程中,安全风险往往来自控制权的动态分配、接管触发与交接失效。以驾驶人实时状态与场景风险为核心输入,团队聚焦接管冲突与误操作风险,提升控制权交接的安全性与驾驶绩效的稳定性,开展了面向不同自动驾驶等级的人机交互分析与优化。


针对早期辅助驾驶阶段,驾驶人长时间连续驾驶易出现疲劳、分心等异常状态并显著抬升风险的问题,团队利用配备驾驶人检测系统的实验车队采集大规模自然驾驶数据,在真实道路场景下建立多类异常状态的识别与检测能力,使系统能够在风险状态出现时及时发现并为告警提示、干预策略与安全功能联动提供触发依据,从而提升人机共驾条件下的基础安全保障能力。


L2组合辅助驾驶阶段,驾驶人仍为驾驶任务的责任主体,研究聚焦从监管到操控的任务切换,通过状态评估、提示及协同策略提升接管质量。


  • 接管反应时间预测:针对非预期紧急接管场景下驾驶人接管能力受注意力、负荷与情境等因素影响而动态波动、静态阈值难以可靠覆盖的问题,团队基于认知资源理论,构建分阶段接管反应时间预测模型,整合驾驶人多模态输入信息并随时间动态估计接管准备度与接管能力,从而为接管过程中的针对性介入(如增强提示、主动安全或协同控制)提供关键量化依据,提升紧急接管的人机协同效率与安全性。

  • 接管提示优化:针对高风险紧急接管场景下接管提示在提示强度、提示模态与语义内容三个层面上难以针对性匹配,从而导致接管质量不稳定或人机冲突风险上升的问题,团队以驾驶人实时状态与场景风险为核心条件,构建可优化的接管提示策略框架。该框架通过瓶颈阶段在线识别与阶段-策略匹配机制在分级提示与多模态提示组合实现自适应决策,最终实现更短反应时、优化接管绩效。


面向L2组合辅助驾驶系统的人机交互研究


L3级自动驾驶阶段,驾驶人可处于间歇性脱环状态,研究围绕驾驶人“是否具备接管能力”与“接管过程中是否持续安全”,开展能力评估、过程监测与兜底决策,保障控制权安全交接。


  • 接管能力预测:针对L3阶段若在驾驶人能力不足时仍发出接管请求,可能引发“失能驾驶人”与紧急控车系统之间的人机冲突并进一步放大风险,聚焦“历史驾驶能力—任务难度”的动态匹配机制,通过对驾驶人既往能力与当前情境难度进行综合评估,判断其是否具备安全接管能力,并在无能力接管时直接进入最小风险方案,从而避免不必要且危险的接管提示,提高紧急情境下控制权分配的安全下界。

  • 接管能力动态评估:针对L3接管发出后驾驶人从脱环状态回归驾驶任务时能力波动引发的风险,提出融合驾驶行为、非侵入式驾驶人状态特征及驾驶环境动态的实时驾驶绩效预测方法,在接管过程中对驾驶能力进行连续监测,使系统能够及时发现绩效劣化并提供安全兜底等策略,从而提升控制权交接安全性。

  • 紧急控车:针对自动驾驶系统失效后的兜底安全决策面临紧急事件数据稀缺与动作决策空间难求解的双重挑战,提出“模式挖掘—交互建模—拟人规划”的紧急控车安全冗余架构。首先基于深度环境动力学模型显式建模多主体交互关系,然后引入人类先验知识引导规划算法在非常规但可行的行驶区域内寻找安全解,从而提升自动驾驶在极端紧急场景中的安全冗余能力。

  • 主动干预场景优化:人类主动干预往往反映了对自动驾驶策略的风险感知差异与偏好不一致,但传统运动规划方案难以直接吸收人类反馈而改进。针对该问题,基于视觉大语言模型解析驾驶人主动干预的致因与语境,将干预致因转化为可学习的偏好信号,并利用直接偏好优化对自动驾驶运动规划算法进行偏好对齐,使规划策略更贴近人类可接受的风险边界与驾驶风格,从而降低触发主动干预的概率并提升人机协同体验与安全一致性。


面向L3自动驾驶系统的人机交互研究


面向L4及更高等级自动驾驶,驾驶人角色进一步向乘员转变,其需求从接管安全拓展到风格舒适与情感体验,团队将人机交互系统的优化重点延伸到驾驶风格与交互风格的个性化匹配,通过构建用户画像与长期偏好建模机制,探索能够随个体差异自适应调整的信息呈现、交互节奏与系统行为表达方式,以提升可接受性、信任稳定性与乘坐体验,为高等级自动驾驶的规模化落地提供“人为中心”的持续适配能力。


3 数字驾驶人模型构建

为支撑“人为中心”的人机交互闭环分析与优化,亟需构建兼具可计算、可解释与可交互的数字驾驶人模型,用于对接管能力、交互效果与安全边界开展系统性评估,其核心功能可类比车辆安全研究中的“碰撞测试假人”。围绕该需求,基于人在环多模态行为与认知数据,提出打通“感知—认知—行动”的驾驶人计算认知行为建模方法,显式刻画注意分配、感知偏差与风险偏好等有界理性要素,并实现认知参数与驾驶行为的耦合推断与生成,为人机交互策略设计提供统一的计算和仿真基础,并可代替“真人”或者“物理假人”实验。



数字驾驶人模型构建研究


  • 基于强化学习的有界理性驾驶行为建模:针对不良认知状态下驾驶人行为表现出显著的有界理性特征,以认知心理学与有界理性理论为基础,在基于强化学习的理性行为框架中引入感知偏差、风险偏好与注意力分配等认知特性。同时,将认知因素与驾驶控制行为进行耦合,使模型能够机制化地复现不同认知状态下的差异化驾驶行为,并提供可解释的参数化表征,为状态驱动的人机交互策略设计与安全边界分析提供理论与计算基础。

  • 基于计算认知架构的分心驾驶行为建模针对人机共驾中分心等认知因素的机理难以被传统模型刻画的问题,构建多模态生理、行为表征与微观认知参数之间的动态映射,将基于排队网络的QN-MHP计算认知架构与接管过程耦合建模,实现对分心状态下驾驶人接管过程的精准复现与机理解释。


4 人机交互设计优化平台

当前自动驾驶人机交互功能多依赖经验设计和小规模实验验证,缺乏系统性的、可迁移的优化平台。团队以数字驾驶人为核心理论基础,整合团队自研的驾驶人状态监测与人机交互优化模块作为平台内的基准功能,并与自动驾驶系统模块、背景交通流模块进行统一集成,形成了一套自动驾驶人机交互设计优化平台(HAIDO, Human-Automation Interaction Design & Optimization platform)。平台支持在可控、安全、可重复的条件下,将待优化的人机交互功能接入平台,利用数字驾驶人在不同认知状态和行为模式下的反馈,对功能进行系统性评估与高效迭代,实现人机交互系统的快速闭环优化。


HAIDO平台架构总体分为“硬件采集真实人,软件抽象数字人,平台闭环评估与优化”三层结构。其中,底层硬件设施采集和存储真实驾驶行为数据,为驾驶人行为建模提供数据基础;中层软件要素以数字驾驶人模型为核心,实现可加速、可受控的“人机共驾”全要素仿真;上层开放试验接口,支持外部人机交互功能模块的插拔式接入,开展数字驾驶人“人机共驾”闭环仿真评估和验证。


3BB7F

HAIDO自动驾驶人机交互设计优化平台架构



科研课题

  1. 国家自然科学基金(52302442):险态场景人机交互机理与驾驶增强方法,2024-2026.

  2. 华为公司: 面向L3/L4自动驾驶下驾驶员安全接管模型研究,2024-2025.

  3. 上海市科技创新行动计划(23692123300):智能汽车人机交互安全影响评估与优化,2023-2024.

  4. 国家自然科学基金(52072262):机非混行环境非机动车交互行为建模与深度仿真,2021-2024.

  5. 国家自然科学基金青年基金(52002278): 混合交通流干扰行为建模与仿真,2021-2023.











阅读()  最近更新:2024年08月12日 12:21:41

电话:021-69583650  管理员邮箱:2015qgy@tongji.edu.cn  
地址:上海市曹安公路4800号同济大学交通运输工程学院A440  邮编:201804

Creative Commons License TOPS课题组 页面浏览465,829次/访客70,123人次