一种基于多模融合的智能交互方法及装置与流程
1.本发明实施例涉及人机交互领域，特别涉及一种基于多模融合的智能交互方法及装置。
背景技术：
2.人机交互是指人与机器或计算机系统通过某种对话语言，以一定的交互方式进行的信息交换过程。而汽车作为一种交通工具，其内也设置了人机交互系统以方便用户对汽车进行操控。因用户出行需求的变化，用车场景愈发复杂，且随智能化、网联化的发展，车载人机交互系统也开始逐渐智能化。
3.为实现车载人机交互系统的智能化，大屏显示、多屏互动、语音交互、车内摄像头、智能空调、智能音响、座椅按摩等一系列功能设备被配置在汽车当中，使车辆能够更加精准地接收用户指令，以满足用户的需求。
4.但车载人机交互系统的智能化仅增加了输入指令的方式，在原有的旋钮、按钮控制等方式的基础上，增加了触屏控制、语音控制、动作控制等方式，在进行交互时均需要用户主动进行操作。因此车载人机交互系统仍存在只能被动交互的问题，即交互系统仅会执行用户输入的指令，使车辆不能主动提供符合用户当前需求的交互服务。
技术实现要素：
5.本技术提供了一种基于多模融合的智能交互方法及系统，以解决车载人机交互系统无法主动提供符合用户当前需求的交互服务的问题。
6.第一方面，本技术提供了一种基于多模融合的智能交互方法，包括：获取多模态信息，所述多模态信息包括车辆状态信息、车辆位置信息、用户信息或环境信息中的至少一种；根据所述多模态信息，生成交互数据，所述交互数据包括车辆控制指令和/或交互提示信息；输出所述交互数据。
7.可选的，当所述多模态信息包括所述用户信息时，所述用户信息包括用户特征数据，以及用户语音数据和用户图像数据中的至少一种，所述根据所述多模态信息，生成交互数据，包括：通过所述用户图像数据和/或所述用户语音数据获取车辆内用户数量；根据所述用户数量和所述用户特征数据，生成乘车用户类型组合；根据所述乘车用户类型组合，生成交互提示信息，所述交互提示信息包括推荐目的地。
8.可选的，所述根据所述多模态信息，生成交互数据，包括：根据所述用户信息和/或所述环境信息，确定所述驾驶人员的疲劳程度和/或所述用户的情绪状态；根据所述驾驶人员的疲劳程度和所述车辆的位置信息，生成缓解所述驾驶人员疲劳程度的车辆控制指令和/或交互提示信息；所述车辆控制指令包括空调控制指令和座椅按摩指令，所述交互提示信息包括疲劳提醒和推荐休息地；和/或，根据所述用户的情绪状态，生成缓解所述用户情绪状态的交互提示信息。
9.可选的，当所述多模态信息包括所述环境信息、所述用户信息和所述车辆位置信
息时，所述环境信息包括车内温度，所述用户信息包括用户特征数据，所述根据所述多模态信息，生成交互数据，包括：根据所述用户图像数据和所述用户特征数据，确定特殊用户，以及所述特殊用户的乘坐位置；所述特殊用户包括大龄用户和幼龄用户；根据所述特殊用户的乘坐位置、所述车辆位置信息以及所述车内温度，生成车辆控制指令和交互提示信息，所述车辆控制指令用于控制所述车辆内所述特殊用户的乘坐位置的空调温度高于阈值温度且风量低于阈值风量，所述交互提示信息用于提示用户所述车辆的空调调节模式。
10.可选的，所述多模态信息还包括导航信息，所述根据所述多模态信息，生成交互数据，包括：根据所述车辆位置信息和导航信息，获取行驶路线信息；根据所述行驶路线信息，判断所述车辆是否接近特殊路段；所述特殊路段包括隧道路段；若所述车辆接近所述特殊路段，生成车辆控制指令和交互提示信息；所述车辆控制指令包括打开车灯指令、关闭车窗指令，以及所述车辆的空调运行模式调整指令，所述交互提示信息用于提示用户注意特殊路段。
11.可选的，所述车辆状态信息包括所述车辆的电池电量，所述多模态信息还包括导航信息，所述车辆位置信息包括车辆位置，所述根据所述多模态信息，生成交互数据，包括：根据所述车辆的电池电量，确定所述车辆的续航里程；根据所述车辆位置和所述导航信息，确定剩余里程；若所述车辆的续航里程小于所述剩余里程，生成交互提示信息，所述交互提示信息包括所述车辆续航里程范围内充电站的路线信息。
12.可选的，所述若所述车辆的续航里程小于所述剩余里程，生成交互提示信息，包括：若所述车辆的续航里程小于所述剩余里程，且所述车辆的电池电量小于或等于阈值电量，生成包括第一路线信息的交互提示信息，所述第一路线信息包括与所述车辆位置最近的充电站的路线信息；若所述车辆的续航里程小于所述剩余里程，且所述车辆的电池电量大于所述阈值电量，生成包括第二路线信息的交互提示信息，所述第二路线信息包括所述车辆续航里程范围内的目标充电站的路线信息；所述目标充电站包括充电价格低于阈值价格、和/或空闲率高于阈值空闲率、和/或具有停车休息服务的充电站。
13.可选的，所述用户信息包括所述用户的面部信息和/或所述用户的声纹信息，所述根据所述多模态信息，生成交互数据，包括：根据所述用户的面部信息和/或所述用户的声纹信息，识别所述用户身份；根据所述用户身份对应的车辆历史设置参数，生成与所述用户身份对应的车辆控制指令；所述车辆控制指令包括座椅位置调节指令、后视镜位置调节指令、多媒体音乐播放指令、导航指令、语音指令中的至少一项。
14.第二方面，本技术还提供一种智能交互装置，所述智能交互装置包括处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述任一所述基于多模融合的智能交互方法的操作。
15.第三方面，本技术还提供一种车辆，所述车辆包括上述任一所述智能交互装置，以及数据采集系统，所述数据采集系统用于采集所述多模态信息。
16.由以上技术方案可知，本技术提供一种基于多模融合的智能交互方法、及装置，所述方法通过获取多模态信息，并根据多模态信息生成交互数据，并将交互数据进行输出。其中多模态信息包括车辆状态信息、车辆位置信息、用户信息以及环境信息中的一种或多种的组合。所述方法通过对车辆本身和用户进行全方位的数据采集，进而生成交互数据，使交
互装置能够与用户进行主动交互，解决了车载人机交互系统无法对多维度用户及车辆信息进行有效融合的问题，使车载人机交互系统能够主动为用户提供符合当前需求的交互服务。
附图说明
17.为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本技术中一种基于多模融合的智能交互方法的流程示意图；
19.图2为本技术实施例中一种获取用户信息的流程示意图；
20.图3为本技术实施例中第一种生成交互数据的时序图；
21.图4为本技术实施例中第二种生成交互数据的时序图；
22.图5为本技术实施例中一种生成交互数据的流程示意图；
23.图6为图5中所示生成交互数据的交互示意图；
24.图7为本技术实施例中一种生成交互数据的流程示意图；
25.图8为图7中所示生成交互数据的交互示意图；
26.图9为本技术实施例中一种基于多模融合的智能交互系统的示意图；
27.图10为本技术实施例中另一种基于多模融合的智能交互系统的示意图。
具体实施方式
28.下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本技术相一致的所有实施方式。仅是与权利要求书中所详述的、本技术的一些方面相一致的装置和方法的示例。
29.本技术中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
30.人机交互指的是人与机器系统或计算机系统通过某种对话语言，以一定的交互方式进行的信息交换过程，下述使用机器代指人机交互过程中机器系统和/或计算机系统。在此过程中，用户对机器做出的任何操作及机统的后续响应动作都可视为交互。
31.交互分为主动式交互和被动式交互，值得说明的是，由于交互过程中具有至少两方，即用户的一方和机器的一方，主动式交互和被动式交互是以单方视角，即交互发起方单侧进行定义的，用户的主动式交互即代表机器的被动式交互，用户的被动式交互即代表机器的主动式交互，在本技术实施例中，主动式交互和被动式交互均从机器视角进行定义。本技术实施例中主动式交互为机器作为交互发起方主动为用户提供服务，被动式交互指用户作为交互发起方，机器响应用户操作指令进而为用户提供服务，且本技术实施例中的用户包括驾驶人员和乘车人员。
32.在机器视角中交互还可包括建议式交互，建议式交互指的是机器为用户提供一定针对当前应用场景的建议或提示，而用户根据建议或提示发出一定指示，以控制机器提供
服务。由于建议式交互过程中交互发起方为机器，但交互过程需要经过用户下发指令，因此建议式交互可被认为是一种特殊的主动式交互。本技术实施例中的主动交互既包括主动式交互也包括建议式交互。
33.汽车作为一种交通工具，也是一种机器，也需要与用户进行交互从而提供服务，汽车的交互系统被称为车载人机交互系统，下述说明中均用车载系统进行指代车载人机交互系统。基础的车载系统均采用被动式交互方式，即用户输入指令和/或进行操作后，车辆响应指令和/或操作为用户提供服务。包括方向盘、车内按钮(车内外灯光、空调、多媒体、导航等)、挡杆、手刹等在内的组件均可视为执行被动式交互的车载系统。
34.在上述车载系统的基础上，大部分车载系统还进行了智能化改进，在车载系统内添加了各种传感器，包括语音传感器、动作传感器、摄像头等以采集用户的信息，同时还添加了触摸屏等组件，用户可通过触摸屏对车辆进行控制以取代车内部分按钮控制，车辆在通过采集用户的触屏控制指令、语音指令、动作指令、手势指令甚至视线指令等信息后，为用户提供服务。通过采集用户的各种指令进行服务反馈的方式，使得智能化后的车载系统还属于被动式交互的车载系统。而智能化后的车载系统不能有效融合采集到的多维度信息，也使得智能化后的车载系统不能提供符合用户当前需求的交互服务。
35.参见图1，为本技术中一种基于多模融合的智能交互方法的流程示意图。如图1所示，本技术提供一种智能交互方法，以解决车载系统不能有效融合采集到的多维度信息使车载系统不能提供符合用户当前需求的交互服务的问题。所述交互方法包括：
36.s1：获取多模态信息；
37.多模态信息为智能交互装置通过车辆内置的各种传感器采集的数据，多模态信息可以包括车辆状态信息、车辆位置信息、用户信息以及环境信息中的一种或多种的组合。具体的，为了实现对不同数据的融合以获取多模态信息，车辆内部的各种传感器可整合为感知单元，使得感知单元包括各种传感器，能够采集周围的图片、视频、语音及位置等数据，进而使采集到的数据融合为多模态信息。
38.需要说明的是，本技术中所述基于多模融合的智能交互方法的执行主体可为所述智能交互装置，也可为服务器或其他具有联网高速运算能力的电子设备。本技术实施例中通过智能交互装置执行的动作，可通过服务器等电子设备进行实现。具体的，在本技术的部分实施例中，获取多模态信息的步骤可为：响应于车辆被激活，调用状态传感器、位置传感器以及环境传感器中的一种或多种；通过状态传感器采集车辆状态信息，和/或，通过位置传感器采集车辆位置信息，和/或，通过环境传感器采集环境信息；对采集的环境信息、车辆状态信息和车辆位置信息中的一种或多种进行融合，以获取与车辆相关的多模态信息。
39.其中，传感器的调用发生在车辆被激活后，即传感器在车辆被激活时采集数据。车辆的激活能够通过车钥匙远程开锁，以及用户在车辆内部通过按钮、指纹、语音等进行识别来实现，车辆的具体激活方式本技术中不做限制。需要说明的是，部分传感器也可以在车辆被激活前就被调用，例如用于实现防盗功能的位置传感器、门磁传感器等。
40.车辆状态信息是指车辆在运行状态中的车辆自身的数据，包括但不限于车辆的剩余能源情况、车辆的整体运行状态、车辆的行驶速度和行驶里程、车辆中门体的开关情况等数据。
41.在本实施例中，用于采集车辆状态信息的状态传感器可为振动传感器、门磁传感
器、速度传感器、胎压传感器、能源传感器等传感设备中的一种或多种。其中，振动传感器可用于感知车身运行时的振动状态，以对车辆的整体运行状态进行感知。门磁传感器设置在车门、后备箱门及发动机盖等具有开合结构的位置，用于检测上述开合结构的状态，以便为用户提供安全提醒。速度传感器能够采集车辆的运行速度信息。胎压传感器能够检测车辆轮胎的压力数据。能源传感器能够监测车辆的剩余能源状况，而不同种类的汽车使用不同的传感器，例如油量传感器用于传统的耗油汽车，电量传感器用于新能源汽车。
42.而位置传感器可为gps天线、北斗天线或其他带有定位功能的组件中的一种或多种，因此位置传感器能够通过定位卫星实现车辆位置信息的获取。在部分实施例中，由于定位卫星的精度和传输过程中的时延影响，车辆在行驶过程中位置获取相对于车辆真实位置可能会存在滞后现象，在获取车辆位置信息后可结合状态传感器和环境传感器采集到的信息对车辆位置信息进行实时修正。
43.环境传感器用于采集车辆内外的环境信息，可为摄像头、温度传感器、湿度传感器等传感器中的一种或多种的组合。但需要说明的是，为更好的采集环境信息，摄像头、温度传感器和湿度传感器具有车内外之分，车外摄像头、车外温度传感器和车外湿度传感器能够较全面的获取车外环境信息，而车内摄像头、车内温度传感器和车内湿度传感器能够更好的获取车辆空间内的环境信息，便于后续针对车内外环境信息对比，以对车辆内部服务进行调用。
44.在获取上述信息后，还需要对用户信息进行采集，上述信息主要是车辆中的传感器针对车辆自身和车内外的环境进行采集，而用户信息则是对车辆内用户采集的数据。用户信息包括图像数据、语音数据、用户识别结果数据以及登录账号信息中的一种或多种的组合。
45.用户信息可以由用户手动输入，也可以通过采集获取，即部分用户信息内的数据需要通过主机单元在采集数据后通过对进行分析计算获取。在本技术的部分实施例中，在获取用户信息前，所述方法还包括：响应于检测到用户进入车辆，获取在车辆内用户的图像数据及语音数据；从图像数据中提取用户面部特征信息，以及从语音数据中提取声纹信息；将面部特征及声纹信息与预先录入的模板信息进行比对，以根据比对结果生成用户识别结果数据。
46.由于用户在车辆外部时，车辆即使能够检测到用户的数据，也无法为用户提供服务，仅有当用户进入车辆后，车辆对用户的数据采集才具有实际意义，因此在部分实施例中，采集用户信息前需要检测用户是否已经进入车辆。而检测用户是否已经进入车辆可通过在门体内放置传感器、车辆内设置摄像头和/或语音采集器、座椅内放置压力传感器等一种或多种组合的方法实现，具体的检测方法本技术中不做限制。
47.当检测到用户进入车辆或检测到车辆内存在用户，车内摄像头和语音采集器等设备就能够对车辆内用户进行图像数据和语音数据的采集。在图像数据和语音数据采集完成后，在图像数据和语音数据中分别提取能够辨识用户特征的面部特征信息和声纹信息，再将提取获得的信息和预先录入的模板信息进行比对并根据比对结果生成用户识别数据。
48.需要说明的是，模板信息为用户提前录入的信息，在部分实施例中，车辆用户通过向车辆的云端或本地存储中上传清晰正面照片及清晰录音，就能够录入模板信息。所述正面照片用于提取模板面部特征信息，清晰录音用于提取模板声纹信息。显然，同一辆车的用
户可以不唯一，具有权限的用户可自行录入不同用户的模板信息，便于车辆应用于不同场景，所述具有权限的用户可为已录入模板信息的用户。
49.在一些实施例中，若车辆的云端和本地均未录入模板信息，可通过车钥匙或其他识别工具进行模板信息的上传录入，其中，识别工具可为磁卡、识别码等，具体识别方法本技术中不做限制。但为保证安全，通过非具有权限的用户录入模板信息的机会仅有一次。
50.在部分实施例中，提取面部特征信息的过程可简化为在图像数据中提取几帧图像，其中包括用户的正面清晰图像，通过对比预先录入的模板信息中的图像进行比对，相似度达到相似度阈值即可通过面部识别，相似度阈值可为75％或80％，相似度阈值可由用户自行设置，但不宜过低，本技术中不做其他限制。
51.由于验证声纹信息需要提取用户的语音数据，在仅有一个用户进入车辆的场景中，很难提取到有效的语音数据。因此在部分实施例中，在检测到车辆内用户为1时，进行用户识别时，仅提取用户的面部特征信息与模板信息进行比对，以根据比对结果生成用户识别结果数据。
52.用户识别结果数据是根据面部特征及声纹信息与模板信息进行比对的结果生成的，当比对成功通过时，用户识别结果数据中包含识别成功信息以及该用户提前录入的身份信息和车辆的专属登录账号；当比对失败时，用户识别结果数据中仅包括识别失败信息和车辆采集到的当前用户信息，即当前用户的图像数据和语音数据。
53.需要说明的是，车辆内包括识别成功信息的用户识别结果数据数量需要大于或等于1，在部分实施例中，在检测到车辆内有用户存在，但包括识别成功信息的用户识别结果数据数量小于1个时，车辆发出警报且无法启动。
54.s2：根据多模态信息，生成交互数据。
55.在采集完多模态信息后，为了实现主动式交互，还需要根据多模态信息，生成交互数据，而交互数据包括用于适应多模态信息的车辆控制指令和/或交互提示信息。具体的，车辆控制指令用于控制车辆中的器件为用户提供服务，而交互提示信息部分为车辆控制指令执行完成后的反馈结果，部分为根据多模态信息生成的针对用户当前所处场景的建议性信息。
56.交互提示信息是为了告知用户车辆已经做出的操作以及建议用户将要对车辆进行的交互。交互提示信息可通过语音和/或图片的方法通知至用户。在本技术的部分实施例中，车辆内设置了语音交互单元和/或显示模块，以实现交互提示信息的语音播放和/或图片显示。
57.s3：输出交互数据。
58.如果所述根据多模态信息，生成交互数据这一步骤在所述智能交互装置中进行，在生成交互数据后，所述智能交互装置可直接将交互数据输出至车辆的控制单元中，以控制车辆提供交互数据中包含的服务。
59.在部分实施例中，存在通过云端服务器等设备执行所述智能交互方法，在此基础上，智能交互装置与云端服务器无线连接，云端服务器用于获取多模态信息，根据多模态信息生成交互数据，并将交互数据输出至智能交互装置，再由智能交互装置将交互数据发送至车辆的控制单元中，以控制车辆提供交互数据中包含的服务。
60.而为了使生成的交互数据更加符合当前用户的喜好或使用习惯，当所述多模态信
息包括环境信息、用户信息、车辆位置信息时，所述环境信息包括车内温度，所述用户信息包括用户特征数据和用户图像数据，所述根据多模态信息，生成交互数据，包括：根据所述用户图像数据和所述用户特征数据，确定特殊用户，以及所述特殊用户的乘坐位置，所述特殊用户包括大龄用户和幼龄用户；根据所述特殊用户的乘坐位置、所述车辆位置信息以及所述车内温度，生成车辆控制指令和交互提示信息；所述车辆控制指令用于控制所述特殊用户的乘坐位置的空调温度高于阈值温度且风量低于阈值风量，所述交互提示信息用于提示用户所述车辆的空调调节模式。
61.需要说明的是，所述特殊用户可直接通过用户特征数据进行判断，用户特征数据中包括用户的年龄、职业、性别等用户个人的特征信息。但如果车辆内未存储用户的特征数据，则通过采集用户图像数据和/或用户语音数据判断用户年龄，进而判断出用户的用户类型。在部分实施例中，大龄用户可为年龄大于或等于60岁的用户，幼龄用户可为年龄小于或等于10岁的用户，大龄用户和幼龄用户的年龄可由用户自行设置。通过调节特殊用户所在区域的空调，防止特殊用户因空调温度过低或风量过大产生健康风险。所述阈值温度可通过用户自行进行设置，例如阈值温度可设为25℃。由于车内空调常设置档位以表示风量的大小，所述阈值风量可为阈值风量档位，例如车内空调的风量由低至高设有5档，可设置阈值风量档位为3档，使得风量不会过大。
62.例如，在晴天较热时，若用户为大龄用户或幼龄用户，则所述车辆控制指令会控制该用户所在位置的空调温度不会低于阈值温度，且风量不会大于阈值风量。若用户不属于上述的两种用户，则所述车辆控制指令不会控制该用户所在位置的空调。在部分实施例中，若用户为大龄用户或幼龄用户，还会对车辆内的湿度进行控制。
63.具体的，为了实现对不同用户的提供不同的服务，如图3所示，在本技术的部分实施例中，生成交互数据的步骤包括：根据用户识别结果数据，获取登录账号信息；依据登录账号信息查询用户习惯参数；根据用户习惯参数，结合多模态信息生成车辆控制指令；获取车辆执行车辆控制指令的反馈信号，以及根据反馈信号生成交互提示信息。
64.在本实施例中，能够通过用户识别结果数据，获取登录账号信息。具体的，在面部特征及声纹信息与模板信息进行比对，生成用户识别结果数据时，如果比对成功通过，还能够从云端或本地存储中获取当前用户的专属登录账号，通过专属登录账号执行登录操作。如果专属登录账号登录成功，则在账号内读取当前用户的登录账号信息。
65.登录账号信息包括用户习惯参数，根据当前用户的登录账号信息，能够查询到当前用户的用户习惯参数，用户习惯参数包括但不限于车辆空调温度、座椅位置、后视镜位置、多媒体音乐、导航等不同模式的参数。根据用户习惯参数，并结合多模态信息，进而生成车辆控制指令，车辆控制指令能够控制车辆按一定参数为用户提供服务。车辆在执行车辆控制指令后会生成反馈信号，根据反馈信号就可以生成交互提示信息。
66.在获取用户习惯参数后，结合多模态信息生成车辆控制指令是为了使交互服务更符合当前用户的需求。用户习惯参数仅代表当前用户的一种常用参数设置，而外界环境的变化也会影响用户所需要的交互服务发生变化，只使用用户习惯参数进行设置会缺少变通，使得车辆提供的交互服务不符合用户当前的需求。例如下雨时仍采用晴天时的用户习惯参数进行设置，可能会导致车内进水或车内空调温度过低等问题出现。因此在实际应用中，在获取到用户习惯参数后，还需要结合多模态信息，共同生成车辆控制指令。
67.本实施例中的交互提示信息主要用于提示用户车辆已按照用户习惯参数进行参数设置，交互提示信息可通过语音播放和/或图片显示的方式通知到用户，示例性的，在获取到反馈信号后，通过语音发出“已为您打开空调，并调整至舒适的温度模式”的提示。
68.在车辆内存在多人的场景中，为尽可能满足车内所有用户的需求以及为用户提供一定的规划建议，当多模态信息包括用户信息时，所述用户信息包括用户特征数据，以及用户语音数据和用户图像数据中的至少一种，所述根据所述多模态信息，生成交互数据，包括通过用户图像数据和/或用户语音数据获取车辆内用户数量；根据所述用户数量和所述用户特征数据，生成乘车用户类型组合；根据所述乘车用户类型组合，生成与用户出行需求对应的交互提示信息，所述交互提示信息包括推荐目的地。
69.在部分实施例中，生成交互数据，且交互数据中包括与用户出行需求对应的交互提示信息的步骤，包括：在用户识别结果数据中提取车辆内用户数量；如果用户数量大于1，获取针对车辆内所有用户的用户识别结果数据；根据位于车辆驾驶位用户的用户识别结果数据，获取登录账号信息；从多个用户识别结果数据中读取用户类型，以生成乘车用户类型组合；根据乘车用户类型组合，生成交互提示信息，交互提示信息包括推荐目的地。
70.在本实施例中，需要对车辆内部用户数量进行检测。通过用户识别结果数据的数量能够判断车辆内的用户数量，用户数量大于或等于2时，获取车辆内所有用户的用户识别结果数据。为了获取初步的设置参数，根据车辆驾驶位用户的用户识别结果数据能够登录以获取登录账号信息。
71.当获取多个用户识别结果数据后，从中读取用户类型，而后根据用户类型间的关系生成用户类型组合。用户类型主要根据用户识别结果数据中的用户性别、用户年龄等信息进行判断，示例性的，用户类型包括婴幼儿、儿童、青年男、青年女、中年男、中年女、老年男、老年女等类型，用户类型的名称并不固定，不同用户类型的用户仅存在年龄和/或性别差异。
72.用户性别和用户年龄等信息均根据用户识别结果数据中获取，而用户识别结果数据中可包括用户的图像数据和语音数据，因此综合用户的图像数据和语音数据能够对用户的年龄和性别进行判定。需要说明的是，对用户的年龄和性别进行判定存在一定的误判几率，且用户的年龄通常为一个年龄范围。
73.用户类型组合是对于车内用户体进行识别后的一种可能结果。在本实施例中，用户类型组合可包括家庭、朋友、情侣、同事等。例如，通过图像数据和语音数据，得到车辆内用户为4个，所有用户的年龄在同一个年龄范围内，由此即可判断用户类型组合为朋友。例如通过图像数据和语音数据，得到车辆内用户为3个，一个为中年男性，一个为中年女性，一个为儿童或青年，可判断用户类型组合为家庭。
74.在获取用户类型组合后，生成交互提示信息。在部分实施例中，为实现与用户的主动交互，在获取用户类型组合后，还需要获取时间，对用户的出行目的进行初步的判断，并通过初步判断结果与导航地图等数据生成推荐目的地列表，并将推荐目的地列表以语音和/或屏幕显示的方式呈现给用户，为用户提供出行推荐目的地的交互服务。例如获取到的用户类型组合为家庭，其中孩子的年龄位于儿童年龄范围内，时间为周末，可判断出行目的为家庭周末出游，生成的推荐目的地包括附近的大型商场、游乐场和公园等目标，并以语音形式播放和/或图片形式显示在显示模块上，以便于用户进行观看和判断。
75.在部分实施例中，所述根据所述多模态信息，生成交互数据，包括：
76.根据所述用户信息和/或所述环境信息，确定所述驾驶人员的疲劳程度和/或所述用户的情绪状态；根据所述驾驶人员的疲劳程度和所述车辆的位置信息，生成缓解所述驾驶人员疲劳程度的车辆控制指令和/或交互提示信息，所述车辆控制指令包括空调控制指令和座椅按摩指令，所述交互提示信息包括疲劳提醒和推荐休息地；和/或，根据所述用户的情绪状态，生成缓解所述用户情绪状态的交互提示信息。
77.具体的，环境信息可包括天气、时间、车辆外部温度等信息，所述用户信息可包括驾驶人员的面部信息、驾驶人员的驾驶时长、用户语音数据、用户图像数据以及用户特征数据等信息。
78.在车辆内存在多人的场景中，车内可能存在年龄较小的用户，为避免年龄较小的用户的情绪影响车辆内其他用户，特别是驾驶位用户，在本技术的部分实施例中，生成缓解所述用户情绪状态的交互提示信息，还可包括：从用户识别结果数据中读取用户年龄；如果用户年龄小于或等于年龄阈值，根据图像数据和语音数据识别用户情绪信息；根据用户情绪信息生成交互提示信息，交互提示信息包括互动语音和互动图像。
79.本实施例中，用户识别结果数据中包括用户年龄，用户年龄是通过图像数据和语音数据分析获取的预估值，用户识别结果数据中的用户年龄不代表用户的真实年龄。需要说明的是，在部分实施例中，用户在录入模板信息时，录入的模板信息中包含用户年龄，因此在获取用户识别结果数据后，根据用户识别结果数据是否包括识别成功信息，可对获取的年龄进行准确判断，若用户识别结果数据包括识别成功信息，则该用户的年龄为真实年龄；用户识别结果数据不包括识别成功信息则该用户的年龄为预估年龄。
80.获取用户年龄后，还需要通过用户年龄与年龄阈值进行比对，如果用户年龄小于或等于年龄阈值，根据图像数据和语音数据识别用户情绪信息。年龄阈值为系统默认的信息，默认值为10，但用户能够对年龄阈值进行变更，但为避免错误变更导致不识别用户情绪信息，年龄阈值可在8～14范围内进行选取。需要说明的是，用户情绪信息包括用户的表情信息，而用户的表情信息是通过用户的图像数据进行识别的。
81.在获取用户情绪信息后，根据获取到的用户情绪信息生成交互提示信息，交互提示信息包括互动语音和互动图像。生成交互提示信息的过程中，首先需要对用户情绪信息进行识别，如果用户情绪信息中包含哭闹或吵闹情绪信息，生成用于安抚的互动语音，同时显示模块能够显示与互动语音相配合的互动图像，增加安抚效果。具体的，互动语音可为猜谜、讲故事或闲聊，互动图像可为与互动语音配合的图像。
82.由于产生哭闹或吵闹信息的通常为年龄较小，而年龄较小的用户在乘坐车辆时需要坐在驾驶座后排座椅上，一旦产生哭闹或吵闹情绪，会导致驾驶位用户分心查看，为驾驶带来一定的危险，因此在本技术的部分实施例中，在获取用户情绪信息后，如果用户情绪信息中包含哭闹或吵闹情绪信息，还会在显示模块上显示哭闹用户的图像信息，使驾驶位用户不需要大幅动作即可观察到哭闹用户的情况，减少了驾驶过程中分心的情况。
83.在部分实施例中，车辆在进行长途运行或夜间运行的过程中，驾驶位用户可能存在困倦、疲惫的情况，为避免疲劳驾驶带来的安全风险，如图4所示，生成缓解所述驾驶人员疲劳程度的交互数据的步骤，还包括：从多模态信息中读取车辆状态信息和车辆位置信息，车辆状态信息包括单次行驶时间；如果单次行驶时间大于或等于时间阈值，根据图像数据
及语音数据，识别用户疲劳状态信息；根据用户疲劳状态信息和车辆位置信息，生成交互提示信息，交互提示信息包括疲劳提醒和推荐休息地。
84.在本实施例中，主机单元从多模态信息中读取车辆状态信息和车辆位置信息，并从车辆状态信息中获取单次行驶时间，具体的，单次行驶时间为当前驾驶位用户本次持续驾车行驶时间。将单次行驶时间与时间阈值进行对比，如果单次行驶时间大于或等于时间阈值，主机单元会对驾驶位用户的实时图像数据和语音数据进行提取分析，通过图像数据中的眨眼频率、闭眼时长及语音数据中的打哈欠数据进行分析，获取用户的疲劳状态信息。主机单元再根据用户疲劳状态信息和车辆位置信息结合，生成交互提示信息。交互提示信息能够通过语音提示、弹框提示以及形象交互等的形式进行实现。
85.需要说明的是，时间阈值的数值为预置在主机单元内的数据，且白天行驶与夜间行驶的时间阈值存在不同，晴天行驶与阴雨天行驶的时间阈值也不相同，例如晴朗白天行驶的时间阈值为1小时，夜间行驶的时间阈值为0.5小时，阴雨天行驶的时间阈值为0.5小时。
86.如图5所示，具体的，如果检测到用户的闭眼时长增加且检测到打哈欠数据，可判断用户处于疲劳状态，同时还可将疲劳状态划分为轻度疲劳、中度疲劳和重度疲劳，不同的疲劳状态间主要通过闭眼时长进行划分，闭眼时长越长则疲劳状态越重。同时针对不同的疲劳状态，生成的交互提示信息存在不同，例如主机单元检测到驾驶位用户处于轻度疲劳状态，自动播放用户喜爱的音乐和/或将车内空调调整至吹面冷风模式，以帮助驾驶位用户醒神，如果驾驶位用户的疲劳状态发展为中度或重度疲劳状态，获取车辆位置信息、目的地信息和导航信息，根据车辆位置信息、目的地信息和导航信息为驾驶位用户显示与目的地的间距，以及为驾驶位用户推荐最近的休息区域，并通过语音进行提示，避免用户疲劳驾驶。
87.示例性的，如果用户开车行驶在高速公路上，根据车辆位置信息和导航信息，距离目的地有300公里，且用户已连续行驶4小时，车速在100公里每小时以上。获取到驾驶位用户处于轻度疲劳状态且天气为小雨，此时语音提醒用户“雨天行车注意降低车速、保持车距”，并开启用户喜欢的音乐类型缓解疲劳。若驾驶位用户继续行驶的过程中疲劳程度加剧，进入中度或重度疲劳状态，此时开启空调吹面冷风或座椅按摩进行提神，并结合导航信息进行语音提示“疲劳驾驶危险，请到前方2公里处的xxx服务区休息”。
88.为了实现车载系统主动式交互的同时，还能够为用户提供更加贴合当前场景的交互服务，如图6所示，在本技术的部分实施例中，还能够通过目的地为用户推送目的地的相关服务，交互数据还包括场景推送信息，而生成交互数据的步骤，还包括：获取导航信息；从导航信息中读取目的地信息，以及从多模态信息中读取车辆位置信息；根据车辆位置信息和目的地信息计算剩余路程；如果剩余路程小于或等于路程阈值，根据目的地信息和用户信息生成场景推送信息。
89.在本实施例中，需要在车辆行驶过程中获取车辆的导航信息，导航信息中包含目的地信息，需要说明的是，目的地信息主要为目的地位置信息、目的地属性信息及目的地周边信息，通过目的地位置信息可得知目的地的具体方位；通过目的地属性信息可得知目的地的功能属性，例如商场、公园等；通过目的地周边信息能够获取目的地周围具有商业属性的建筑，例如旅馆、饭店、停车场等。
90.在通过导航信息获取目的地信息后，从多模态信息中获取车辆位置信息，并根据目的地信息、车辆位置信息以及导航信息计算车辆距离目的地的剩余路程。将剩余路程与车辆内置的路程阈值进行比较，如果剩余路程小于或等于路程阈值，主机单元根据目的地信息中的属性信息和周边信息与用户信息结合生成场景推送信息，并在车辆内语音播放场景推送信息和/或显示被推送的场景。具体的，路程阈值可为默认距离也可为用户录入的距离，默认距离为500m，即在检测到剩余路程小于或等于500m时，根据目的地信息和用户信息生成场景推送信息。而针对用户录入的距离，仅限制最小值不能小于50m，即用户录入的距离大于或等于50m即可。
91.例如，在用户驾驶车辆在周末中午前往商场，在检测到剩余路程小于或等于500m时，即可根据商场信息和用户信息，推送最近的停车场、评价较好的美食店以及购物场所，通过语音播放附近停车场位置，并通过显示模块显示美食店和/或购物场所及其评价。
92.在部分实施例中，所述多模态信息中还包括导航信息。在此基础上，所述根据所述多模态信息，生成交互数据，包括：根据车辆位置信息和导航信息，获取行驶路线信息；根据行驶路线信息，判断车辆是否接近特殊路段；特殊路段包括隧道路段；若车辆接近特殊路段，生成车辆控制指令和交互提示信息；车辆控制指令包括打开车灯指令、关闭车窗指令，以及车辆的空调运行模式调整指令，交互提示信息用于提示用户注意特殊路段。
93.具体的，通过导航信息中的路段信息及交通情况对路程中的特殊路段，例如隧道、高架桥、道口等，进行标注，在车辆的位置与特殊路段的间距小于路程阈值时，生成交互提示信息提醒用户即将经过特殊路段，例如语音提示“前方xxx米经过学校路段，请减速慢行”等。在检测到车辆即将进入特殊路段时，也可生成车辆控制指令对车辆进行控制，例如在车辆即将进入隧道时，通过语音提示用户“前方即将进入隧道，为您开启隧道模式”，并自动打开车灯，关闭车窗，将空调切换至内循环模式。
94.在实际应用中，由于新能源汽车的满能源续航里程相较于燃油车短，在行驶途中经常会出现电量过低的情况，因此在部分实施例中，所述根据所述多模态信息，生成交互数据，包括：
95.根据车辆的电池电量，确定车辆的续航里程；根据车辆位置和导航信息，确定剩余里程；若所述车辆的续航里程小于所述剩余里程，生成交互提示信息，所述交互提示信息包括所述车辆续航里程范围内充电站的路线信息。其中所述车辆的状态信息包括所述车辆的电池电量，所述车辆位置信息包括车辆位置，所述多模态信息还包括导航信息。
96.同时，在车辆剩余电量不同的条件下，在本技术部分实施例中，生成的路线信息存在不同。若所述车辆的续航里程小于所述剩余里程，且所述车辆的电池电量小于或等于阈值电量，生成包括第一路线信息的交互提示信息，所述第一路线信息包括与所述车辆位置最近的充电站的路线信息；若所述车辆的续航里程小于所述剩余里程，且所述车辆的电池电量大于所述阈值电量，生成包括第二路线信息的交互提示信息，所述第二路线信息包括所述车辆续航里程范围内的目标充电站的路线信息；所述目标充电站包括充电价格低于阈值价格、空闲率高于阈值空闲率、具有停车休息服务的充电站。具体的，阈值电量可为整体电量的5％。
97.如图7所示，在部分实施例中，生成交互数据的步骤，还包括：从多模态信息中读取车辆状态信息和车辆位置信息，车辆状态信息包括续航里程；响应于输入目的地信息，根据
车辆位置信息生成导航信息；如果续航里程满足导航信息中需求的里程，生成第三线路信息，第三线路信息为去往输入目的地的线路信息；如果续航里程不满足导航信息中需求的里程，生成第四线路信息，第四线路信息为去往车辆续航里程范围内的加油站或充电桩的路线信息。
98.在本实施例中，在获取车辆状态信息和车辆位置信息后，车辆的续航里程主要通过车辆状态信息中的剩余能源状况和车辆的功耗共同获取，如图8所示，通过输入的目的地信息以及车辆位置信息生成导航信息，将续航里程与导航信息的需求里程进行对比，如果续航里程满足需求，则会生成第三路线信息，第三路线信息即为导航信息中生成的路线；如果续航里程不满足需求，则会生成第四路线信息，第四路线信息是在导航信息的基础上，增加去往车辆续航里程范围内的加油站或充电桩的路线信息。
99.在本实施例中，在生成路线信息后，还可根据生成的路线信息，生成交互提示信息，例如生成第三路线信息时，可语音播放“当前续航里程满足出行需求，请放心行驶”；生成第四路线信息时，可语音播放“当前车辆能源不足，请前往前方n公里处的充电桩/加油站”。
100.在交互系统实际运行过程中，所述智能交互方法可在车辆中进行，也可在服务器中进行。而当所述智能交互方法在所述服务器中进行时，在进行智能交互的过程中，服务器就需要需要向车辆中的智能交互装置以及控制系统发送所述车辆控制指令和/或所述交互提示信息。
101.同时，当所述智能交互方法在车辆中的智能交互装置中执行时，如图2所示，所述方法还包括：根据所述用户的面部信息和/或所述用户的声纹信息，识别所述用户身份；根据所述用户身份对应的车辆历史设置参数，生成与所述用户身份对应的车辆控制指令；所述车辆控制指令包括座椅位置调节指令、后视镜位置调节指令、多媒体音乐播放指令、导航指令、语音指令中的至少一项。其中车辆历史设置参数可为其他实施例中的用户习惯参数。
102.具体的，基于上述一种基于多模融合的智能交互方法，本技术还提供一种基于多模融合的智能交互装置，所述智能交互装置包括处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行所述基于多模融合的智能交互方法中的操作。
103.同时，本技术还提供一种车辆，所述车辆包括所述智能交互装置，以及数据采集系统，所述数据采集系统用于采集所述多模态信息。所述智能交互装置能够在车辆端直接进行分析，从而获取交互数据。
104.需要说明的是，若所述智能交互装置设置在服务器端，车辆端需要同样设置收发器，用于发送多模态信息和接收交互数据。
105.基于上述一种基于多模融合的智能交互方法，本技术还提供一种基于多模融合的智能交互系统，如图9所示，所述系统可包括感知单元、车身控制单元和车载主机单元。需要说明的是，本实施例中，车载主机单元用于指代智能交互装置，感知单元用于指代数据采集系统，车身控制单元用于指代车辆的控制系统。
106.其中，感知单元能够采集多模态信息和用户信息，具体的，感知单元内置了状态传感器、位置传感器以及环境传感器中的一种或多种的组合，从而对多模态信息和用户信息
进行采集。
107.车身控制单元能够接收和响应车载主机单元生成的交互数据。具体的，车身控制单元中包含显示模块、语音模块及控制模块，显示模块和语音模块能够在接收到交互数据中的交互提示信息后，根据交互提示信息内容，语音播放或图像显示给用户；控制模块则在接收到交互数据中的车辆控制指令后，控制车辆的空调、座椅、后视镜、多媒体、导航等功能的开启和/或参数调整。
108.在部分实施例中，显示模块中可包括虚拟形象组件，使显示模块能够显示一个可视化形象与用户进行交互，这种通过形象交互进行提醒的方式，相较于普通的图像或弹框显示，能够增加车辆与用户的亲近感，近似实现与人交流的效果。可视化形象可为卡通形象、虚拟形象及3d真人形象，用户能够自行调整可视化形象的外观种类。同时不同种类的可视化形象还配有不同的语音程序，语音程序能够使语音模块进行语音播放过程中，声音更加符合当前的可视化形象。
109.而车载主机单元则能够通过感知单元获取多模态信息，根据多模态信息，生成交互数据，并将交互数据输出。其中的多模态信息包括车辆状态信息、车辆位置信息、用户信息以及环境信息中的一种或多种的组合；而用户信息包括图像数据、语音数据、用户识别结果数据以及登录账号信息中的一种或多种的组合；交互数据包括用于适应多模态信息的车辆控制指令和/或交互提示信息。
110.在本技术的部分实施例中，所述智能交互系统包括车辆和服务器；所述车辆用于采集多模态信息，所述多模态信息包括车辆状态信息、车辆位置信息、用户信息或所述车辆所处的环境信息中的至少一种；所述车辆向所述服务器发送所述多模态信息；所述服务器接收所述多模态信息，并根据所述多模态信息，生成交互数据，所述交互数据包括车辆控制指令和/或交互提示指令；所述服务器向所述车辆发送所述交互数据；所述车辆接收所述交互数据，根据所述车辆控制指令对所述车辆进行控制，和/或，根据所述交互提示指令生成交互提示信息。
111.具体的，在本实施例中，如图10所示，所述系统还包括云端服务单元，云端服务单元与车载主机单元无线连接。云端服务单元起到所述服务器的作用，即在部分实施例中，可通过云端服务单元进行接收多模态信息，根据多模态信息生成交互数据以及输出交互数据的步骤。同时云端服务单元接收车载主机单元通过感知单元采集的多模态信息时，还可以进行存储，通过存储的数据丰富当前用户的使用习惯，并通过用户的使用习惯更新算法，以使云端服务单元能够准确生成符合当前用户的交互数据并输出至车辆中。而车载主机单元在接收到云端服务单元输出的交互数据后，将交互数据发送至车身控制单元中，以控制车辆为用户提供服务。
112.若在云端服务单元执行所述智能交互方法的步骤，则在车载主机单元中需要配置与云端服务单元对应的收发器，以实现车端和云端的数据流通。
113.在部分实施例中，云端服务单元也可将更新后的算法下发至车载主机单元中，更新车载主机单元的算法。云端服务单元还能够用于对用户信息的存储，包括用户的登录账号信息、模板信息以及生成交互数据时需要的年龄阈值、时间阈值等信息。同时将面部特征及声纹信息与预先录入的模板信息进行比对可在云端服务单元进行，云端服务单元在比对完成后将比对结果下发给车载主机单元以便于其生成用户识别结果数据。
114.由以上技术方案可知，本技术提供一种基于多模融合的智能交互方法及装置，所述方法通过获取多模态信息，并根据多模态信息生成交互数据。其中多模态信息包括车辆状态信息、车辆位置信息、用户信息以及环境信息中的一种或多种的组合。所述方法通过对车辆本身和用户进行全方位的数据采集，进而生成交互数据，使交互装置能够与用户进行主动交互，解决了车载人机交互系统无法对多维度用户及车辆信息进行有效融合的问题，使车载人机交互系统能够主动为用户提供符合当前需求的交互服务。
115.本技术提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本技术总的构思下的几个示例，并不构成本技术保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本技术方案所扩展出的任何其他实施方式都属于本技术的保护范围。
技术特征：
1.一种基于多模融合的智能交互方法，其特征在于，包括：获取多模态信息，所述多模态信息包括车辆状态信息、车辆位置信息、用户信息和环境信息中的至少一种；根据所述多模态信息，生成交互数据，所述交互数据包括车辆控制指令和/或交互提示信息；输出所述交互数据。2.根据权利要求1所述的基于多模融合的智能交互方法，其特征在于，当所述多模态信息包括所述用户信息时，所述用户信息包括用户特征数据，以及用户语音数据和用户图像数据中的至少一种，所述根据所述多模态信息，生成交互数据，包括：通过所述用户图像数据和/或所述用户语音数据获取车辆内用户数量；根据所述用户数量和所述用户特征数据，生成乘车用户类型组合；根据所述乘车用户类型组合，生成交互提示信息，所述交互提示信息包括推荐目的地。3.根据权利要求1所述的基于多模融合的智能交互方法，其特征在于，所述根据所述多模态信息，生成交互数据，包括：根据所述用户信息和/或所述环境信息，确定所述驾驶人员的疲劳程度和/或所述用户的情绪状态；根据所述驾驶人员的疲劳程度和所述车辆的位置信息，生成缓解所述驾驶人员疲劳程度的车辆控制指令和/或交互提示信息；所述车辆控制指令包括空调控制指令和座椅按摩指令，所述交互提示信息包括疲劳提醒和推荐休息地；和/或，根据所述用户的情绪状态，生成缓解所述用户情绪状态的交互提示信息。4.根据权利要求1所述的基于多模融合的智能交互方法，其特征在于，当所述多模态信息包括所述环境信息、所述用户信息和所述车辆位置信息时，所述环境信息包括车内温度，所述用户信息包括用户图像数据和用户特征数据，所述根据所述多模态信息，生成交互数据，包括：根据所述用户图像数据和用户特征数据，确定特殊用户，以及所述特殊用户的乘坐位置；所述特殊用户包括大龄用户和幼龄用户；根据所述特殊用户的乘坐位置、所述车辆位置信息以及所述车内温度，生成车辆控制指令和交互提示信息；所述车辆控制指令用于控制所述车辆内所述特殊用户的乘坐位置的空调温度高于阈值温度且风量低于阈值风量，所述交互提示信息用于提示用户所述车辆的空调调节模式。5.根据权利要求1所述的基于多模融合的智能交互方法，其特征在于，所述多模态信息还包括导航信息，所述根据所述多模态信息，生成交互数据，包括：根据所述车辆位置信息和导航信息，获取行驶路线信息；根据所述行驶路线信息，判断所述车辆是否接近特殊路段；所述特殊路段包括隧道路段；若所述车辆接近所述特殊路段，生成车辆控制指令和交互提示信息；所述车辆控制指令包括打开车灯指令、关闭车窗指令，以及所述车辆的空调运行模式调整指令，所述交互提示信息用于提示用户注意特殊路段。6.根据权利要求1所述的基于多模融合的智能交互方法，其特征在于，所述车辆状态信
息包括所述车辆的电池电量，所述多模态信息还包括导航信息，所述车辆位置信息包括车辆位置，所述根据所述多模态信息，生成交互数据，包括：根据所述车辆的电池电量，确定所述车辆的续航里程；根据所述车辆位置和所述导航信息，确定剩余里程；若所述车辆的续航里程小于所述剩余里程，生成交互提示信息，所述交互提示信息包括所述车辆续航里程范围内充电站的路线信息。7.根据权利要求6所述的基于多模融合的智能交互方法，其特征在于，所述若所述车辆的续航里程小于所述剩余里程，生成交互提示信息，包括：若所述车辆的续航里程小于所述剩余里程，且所述车辆的电池电量小于或等于阈值电量，生成包括第一路线信息的交互提示信息，所述第一路线信息包括与所述车辆位置最近的充电站的路线信息；若所述车辆的续航里程小于所述剩余里程，且所述车辆的电池电量大于所述阈值电量，生成包括第二路线信息的交互提示信息，所述第二路线信息包括所述车辆续航里程范围内的目标充电站的路线信息；所述目标充电站包括充电价格低于阈值价格、和/或空闲率高于阈值空闲率、和/或具有停车休息服务的充电站。8.根据权利要求1所述的基于多模融合的智能交互方法，其特征在于，所述用户信息包括所述用户的面部信息和/或所述用户的声纹信息，所述根据所述多模态信息，生成交互数据，包括：根据所述用户的面部信息和/或所述用户的声纹信息，识别所述用户身份；根据所述用户身份对应的车辆历史设置参数，生成与所述用户身份对应的车辆控制指令；所述车辆控制指令包括座椅位置调节指令、后视镜位置调节指令、多媒体音乐播放指令、导航指令、语音指令中的至少一项。9.一种基于多模融合的智能交互装置，其特征在于，所述智能交互装置包括处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-8中任一项所述的基于多模融合的智能交互方法的操作。10.一种车辆，其特征在于，所述车辆包括如权利要求9所述的智能交互装置，以及数据采集系统，所述数据采集系统用于采集所述多模态信息。
技术总结
本发明实施例涉及人机交互领域，公开了一种基于多模融合的智能交互方法及装置，所述方法通过获取多模态信息，并根据多模态信息生成交互数据，并将交互数据进行输出。其中多模态信息包括车辆状态信息、车辆位置信息、用户信息以及环境信息中的一种或多种的组合。所述方法通过对车辆本身和用户进行全方位的数据采集，进而生成交互数据，使交互装置能够与用户进行主动交互，解决了车载人机交互系统无法对多维度用户及车辆信息进行有效融合的问题，使车载人机交互系统能够主动为用户提供符合当前需求的交互服务。前需求的交互服务。前需求的交互服务。
