一种交互方法和设备与流程
1.本技术涉及终端技术领域,尤其涉及一种交互方法和设备。
背景技术:
2.在智能手机进入全面屏时代之后,智能手机上的实体按键越来越少。这使得触发交互操作的主要部件从按键变成了智能手机屏幕。当用户在智能手机屏幕上通过屏幕触控这种方式与智能手机进行交互时,不可避免的会出现手指遮挡屏幕显示内容的现象,这样,会影响到用户的使用体验。
3.所以,现有的产品市场上,出现了背面敲击这种新的交互方式。例如,智能手机检测到用户在智能手机的背部触发敲击操作,智能手机执行预设的交互功能。这种交互方式是在智能手机的背面操作的,不会影响到智能手机正面的屏幕显示内容,从而避免了遮挡问题。
4.但是,现有的背面敲击仅识别敲击事件,而背面敲击不仅仅只包括敲击事件,所以对于背面敲击这种交互方式还可以继续拓展,以便于为用户提供更好的交互体验。
技术实现要素:
5.有鉴于此,本技术提供了一种交互方法和设备,能够丰富背面敲击功能,为用户提供更好的交互体验。
6.第一方面,本技术提供一种交互方法,应用于电子设备,电子设备包括加速度传感器和陀螺仪,该方法包括:电子设备获取加速度传感器输出的加速度信号以及陀螺仪传感器输出的陀螺仪信号;电子设备根据加速度信号和陀螺仪信号,得到背面敲击事件的检测结果以及背面敲击事件的敲击位置,背面敲击事件的检测结果包括发生背面敲击事件和背面敲击事件的敲击次数;电子设备根据背面敲击事件的敲击次数以及背面敲击事件的敲击位置,执行预设的交互操作。
7.本技术提供的电子设备,该方法能够识别出背面敲击丰富的属性信息,除了背面敲击事件之外,还能识别出背面敲击事件的敲击次数和敲击位置。之后可以利用背面敲击事件的敲击次数和敲击位置,来执行预设的交互操作。这样,不仅能够丰富背面敲击的功能,还能为用户提供多样化的交互选择,增强用户对于电子设备的依赖性。
8.在一种可能的实现方式中,背面敲击事件的敲击位置包括背面上部和背面下部。
9.在一种可能的实现方式中,加速度传输器输出的加速度信号包括z轴加速度信号,陀螺仪传感器输出的陀螺仪信号包括x轴陀螺仪信号;当背面敲击事件的敲击位置为背面上部时,检测到z轴加速度信号呈现先出现波峰再出现波谷的趋势,x轴陀螺仪信号呈现先出现波峰再出现波谷的趋势;当背面敲击事件的敲击位置为背面下部时,检测到z轴加速度信号呈现先出现波谷,然后再出现波峰最后出现波谷的趋势,x轴陀螺仪信号呈现先出现波谷,然后再出现波峰最后出现波谷的趋势。基于不同位置对应的加速度信号和陀螺仪信号,之后可以根据检测到的加速度信号和陀螺仪信号来判断用户在手机背面的敲击位置,从而
准确的唤醒预设的交互操作。
10.在一种可能的实现方式中,背面敲击事件的敲击位置还包括背面中部;当背面敲击事件的敲击位置为背面中部时,z轴加速度信号呈现先出现波峰再出现波谷的趋势,x轴陀螺仪信号呈现先出现波谷,然后再出现波峰最后出现波谷的趋势。根据加速度信号和陀螺仪信号的变化,还可以在手机背面划分出背面中部,从而丰富背面敲击功能。
11.在一种可能的实现方式中,根据加速度信号和陀螺仪信号,得到背面敲击事件的检测结果以及背面敲击事件的敲击位置,包括:电子设备对加速度信号进行筛选,得到第一加速度信号;电子设备将第一加速度信号和陀螺仪信号进行拼接,得到第一信号特征;电子设备将第一信号特征作为输入,运行背面敲击识别网络模型,输出背面敲击事件的检测结果以及背面敲击事件的敲击位置;运行背面敲击识别网络模型,输出背面敲击事件的检测结果以及背面敲击事件的敲击位置,包括:对第一信号特征进行特征提取处理和降维处理,得到一维向量;将一维向量分别输入第一多层感知机和第二多层感知机中,第一多层感知机输出背面敲击事件的检测结果,第二多层感知机输出背面敲击事件的敲击位置;当背面敲击事件的检测结果指示发生背面敲击事件时,对背面敲击事件的发生次数进行记录,得到背面敲击事件的敲击次数,背面敲击事件的敲击次数包括双击和三击。通过筛选加速度信号,从而使得到的第一加速度信号都是和敲击相关的信号,避免其它信号的干扰。之后利用第一加速度信号和陀螺仪信号,得到的背面敲击事件的检测结果以及背面敲击事件的敲击位置能够更加准确。
12.在一种可能的实现方式中,方法还包括:电子设备构建样本数据集,样本数据集包括多组样本数据对,每组样本数据对包括训练数据和目标数据,训练数据包括第一加速度样本信号和陀螺仪样本信号,目标数据包括背面敲击事件的样本检测结果和背面敲击事件的样本敲击位置;将每组样本数据中的训练数据输入初始背面敲击识别网络模型,得到预测数据,预测数据包括背面敲击事件的初始检测结果和背面敲击事件的初始敲击位置;基于损失函数、预测数据和目标数据,确定损失值;根据损失值和预设学习率,迭代更新初始背面敲击识别网络模型,得到背面敲击识别网络模型。通过第一加速度样本信号、陀螺仪样本信号、背面敲击事件的样本检测结果和背面敲击事件的样本敲击位置来训练初始背面敲击识别网络模型,可以使训练出的背面敲击识别网络模型的输出结果更加准确。
13.在一种可能的实现方式中,预设的交互操作包括启动系统应用、出示二维码、控制音量调节、控制播放进度调节、隐藏消息弹窗和拒接电话中的至少一个,系统应用包括镜子应用、手电筒应用、相机应用以及计算机应用中的至少一个。通过提供多种预设的交互操作,可以为用户提供更便捷的操作,也能丰富背面敲击的功能。
14.在一种可能的实现方式中,根据背面敲击事件的敲击次数以及背面敲击事件的敲击位置,执行预设的交互操作,包括:根据背面敲击事件的敲击次数和背面敲击事件的敲击位置,得到背面敲击组合,背面敲击组合包括双击背面上部、双击背面下部、三击背面上部和三击背面下部;若背面敲击组合是双击背面上部,电子设备执行放大音量的操作;若背面敲击组合是双击背面下部,电子设备执行减小音量的操作;若背面敲击组合是三击背面上部,电子设备执行视频快进的操作;若背面敲击组合是三击背面下部,电子设备执行视频后退的操作。提供一种应用于背面敲击功能,执行预设的交互操作的方案。
15.在一种可能的实现方式中,电子设备对加速度信号进行筛选,得到第一加速度信
号,包括:在加速度信号大于预设阈值时,加速度信号为第一加速度信号。
16.第二方面,提供了一种电子设备,该电子设备具有实现上述第一方面的方法的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
17.第三方面,提供了一种电子设备,包括:处理器和存储器;该存储器用于存储计算机执行指令,当该电子设备运行时,该处理器执行该存储器存储的该计算机执行指令,以使该电子设备执行如上述第一方面中任一项的交互方法。
18.第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机可以执行上述第一方面中任一项的交互方法。
19.第五方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机可以执行上述第一方面中任一项的交互方法。
20.第六方面,提供了一种装置(例如,该装置可以是芯片系统),该装置包括处理器,用于支持第一设备实现上述第一方面中所涉及的功能。在一种可能的设计中,该装置还包括存储器,该存储器,用于保存第一设备必要的程序指令和数据。该装置是芯片系统时,可以由芯片构成,也可以包含芯片和其他分立器件。
21.其中,第二方面至第六方面中任一种设计方式所带来的技术效果可参见第一方面中不同设计方式所带来的技术效果,此处不再赘述。
附图说明
22.图1为本技术实施例提供的一种电子设备的硬件结构示意图;
23.图2为本技术实施例提供的一种电子设备的软件结构示意图;
24.图3为本技术实施例提供的一种交互方法的流程示意图;
25.图4为本技术实施例提供的一种数据处理的流程示意图;
26.图5为本技术实施例提供的一种加速度信号的变化趋势示意图一;
27.图6为本技术实施例提供的一种陀螺仪信号的变化趋势示意图一;
28.图7为本技术实施例提供的一种加速度信号的变化趋势示意图二;
29.图8为本技术实施例提供的一种陀螺仪信号的变化趋势示意图二;
30.图9为本技术实施例提供的一种加速度信号的变化趋势示意图三;
31.图10为本技术实施例提供的一种陀螺仪信号的变化趋势示意图三;
32.图11为本技术实施例提供的一种背面敲击识别模型的结构示意图一;
33.图12为本技术实施例提供的一种背面敲击识别模型的结构示意图二;
34.图13为本技术实施例提供的一种显示示意图一;
35.图14为本技术实施例提供的一种显示示意图二;
36.图15为本技术实施例提供的一种显示示意图三;
37.图16为本技术实施例提供的一种显示示意图四;
38.图17为本技术实施例提供的一种显示示意图五;
39.图18为本技术实施例提供的一种显示示意图六;
40.图19为本技术实施例提供的一种显示示意图七;
41.图20为本技术实施例提供的一种芯片系统的结构示意图。
具体实施方式
42.需要说明的是,在本技术实施例中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
43.本技术实施例中所提到的方位用语,例如,“上”、“下”、“前”、“后”、“内”、“外”、“左”、“右”等,仅是参考附图的方向,或是为了更好、更清楚地说明及理解本技术实施例,而不是指示或暗指所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本技术实施例的限制。
44.在本技术实施例的描述中,除非另有明确的规定和限定,术语“连接”应做广义理解,例如,“连接”可以是可拆卸地连接,也可以是不可拆卸地连接;可以是直接连接,也可以通过中间媒介间接连接。
45.在本技术实施例的描述中,术语“包括”、“包含”或者其任何其他变体,意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
46.在智能手机进入全面屏时代之后,智能手机的屏占比越来越高,智能手机上的各种实体按键也逐渐减少。相应的,用户与手机的交互方式也从最初的实体按键变成了屏幕触控。并且使用屏幕触控这种交互方式被认为是目前最简单、方便、自然的一种人机交互方式。屏幕触控的普及也降低了人与电子设备之间的沟通门槛,提高了用户的使用体验。
47.其中,屏幕触控的实现原理是:用手指或其他物体触摸安装在智能手机的触摸屏,所触摸的位置(以坐标形式)由触摸屏控制器检测,触摸屏控制器将检测到的位置通过接口(如rs-232串行口)发送到智能手机的系统级芯片(system on chip,soc),soc根据检测到的位置确定用户输入的信息,并根据用户输入的信息,为用户提供相应的功能。
48.当用户通过手指或其它物体触摸智能手机的触摸屏时,不可避免的会遮挡触摸屏上的部分显示内容,这样,会直接影响到用户的使用体验。
49.随着触摸屏和传感器技术的发展,市面上也出现了新的交互方式,例如,通过背面敲击来实现人机交互。背面敲击具体是指用户通过指腹、指关节或其它物体敲击智能手机的手机背面,在检测到手机背面被敲击后,智能手机执行预设的交互功能。这种交互方式是在智能手机的背面操作的,不会影响到智能手机正面的触摸屏的显示内容,从而避免了遮挡问题。但是,市面上的背面敲击,仅在于识别出敲击事件即可。实际上,对于背面敲击而言,它不仅仅包括敲击事件,还包括敲击次数和敲击位置。如果合理的拓展背面敲击这种交互方式,能够为用户提供更加多样化的交互选择,从而提高用户的交互体验。
50.为此,本技术实施例提供一种交互方法,该方法能够识别出背面敲击丰富的属性信息,例如敲击次数和敲击位置。然后利用背面敲击的属性信息(如敲击次数和敲击位置),为用户提供新的交互方式。这样,不仅能够丰富背面敲击的功能,还能为用户提供多样化的交互选择,增强用户对于电子设备的依赖性。
51.本技术实施例提供的交互方法,可以应用于电子设备中。本技术实施例中的电子设备,可以是用于实现无线通信功能的设备,例如终端或者可用于终端中的芯片等。终端也
可以称为用户设备(user equipment,ue)、移动台、移动终端等。终端可以是手机、虚拟现实终端设备、增强现实终端设备、工业控制中的无线终端、无人驾驶中的无线终端、远程手术中的无线终端、智能电网中的无线终端、运输安全中的无线终端、智慧城市中的无线终端、智慧家庭中的无线终端等等。本技术的实施例对终端设备所采用的具体技术和具体设备形态不做限定。
52.下面将结合附图对本技术实施例的实施方式进行详细描述。请参考图1,为本技术实施例提供的一种电子设备100的结构示意图。如图1所示,电子设备可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,usb)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,sim)卡接口195等。其中传感器模块180可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,骨传导传感器等。
53.可以理解的是,本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
54.处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,ap),modem,图形处理器(graphics processing unit,gpu),图像信号处理器(image signal processor,isp),控制器,视频编解码器,数字信号处理器(digital signal processor,dsp),基带处理器,和/或神经网络处理器(neural-network processing unit,npu)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
55.充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。
56.电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。
57.电子设备的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调器以及基带处理器等实现。
58.天线1和天线2用于发射和接收电磁波信号。电子设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。
59.移动通信模块150可以提供应用在电子设备上的包括2g/3g/4g/5g等无线通信的解决方案。
60.无线通信模块160可以提供应用在电子设备上的包括无线局域网(wireless local area networks,wlan)(如无线保真(wireless fidelity,wi-fi)网络),蓝牙(bl电子设备tooth,bt),全球导航卫星系统(global navigation satellite system,gnss),调频(freq电子设备ncy modulation,fm),近距离无线通信技术(near field communication,nfc),红外技术(infrared,ir)等无线通信的解决方案。无线通信模块160
可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
61.电子设备通过gpu,显示屏194,以及应用处理器等实现显示功能。gpu为图像处理的微处理器,连接显示屏194和应用处理器。
62.显示屏194用于显示图像,视频等。电子设备的显示屏194上可以显示一系列图形用户界面(graphical user interface,gui)。
63.电子设备可以通过isp,摄像头193,视频编解码器,gpu,显示屏194以及应用处理器等实现拍摄功能。
64.摄像头193用于捕获静态图像或视频。
65.外部存储器接口120可以用于连接外部存储卡,例如micro sd卡,实现扩展电子设备的存储能力。
66.内部存储器121可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备的各种功能应用以及数据处理。
67.电子设备可以通过音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,以及应用处理器等实现音频功能。例如音乐播放,录音等。电子设备还可以包括压力传感器,气压传感器,陀螺仪传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,环境光传感器,指纹传感器,温度传感器,触摸传感器,骨传导传感器,按键190,马达191,指示器192等。
68.sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195,或从sim卡接口195拔出,实现和电子设备的接触和分离。电子设备可以支持1个或n个sim卡接口,n为大于1的正整数。sim卡接口195可以支持nano sim卡,micro sim卡,sim卡等。同一个sim卡接口195可以同时插入多张卡。sim卡接口195也可以兼容外部存储卡。电子设备通过sim卡和网络交互,实现通话以及数据通信等功能。
69.另外,在上述部件之上,运行有操作系统,例如ios
tm
操作系统,android
tm
操作系统,windows操作系统等。在该操作系统上可以安装运行应用程序。在另一些实施例中,电子设备内运行的操作系统可以有多个。
70.应理解,图1所示电子设备包括的硬件模块只是示例性地描述,并不对电子设备的具体结构做出限定。事实上,本技术实施例提供的电子设备中还可以包含其它与图中示意的硬件模块具有交互关系的其它硬件模块,这里不作具体限定。例如,电子设备还可以包括闪光灯、微型投影装置等。
71.上述电子设备的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的android
tm
系统为例,示例性说明电子设备的软件结构。
72.分层架构将软件分成若干个层,每一层都有清晰的角和分工。层与层之间通过接口通信。在一些实施例中,将android
tm
系统分为四层,从上至下分别为应用程序层,应用程序框架层,android runtime和系统库,以及内核层。
73.应用程序层可以包括一系列应用程序包。
74.如图2所示,应用程序包可以包括邮件,相机,日历,通话,音乐,导航,wlan,地图,蓝牙、天气和手电筒等应用程序。
75.应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface,api)和编程框架。应用程序框架层包括一些预先定义的函数。
76.应用程序框架层可以包括活动管理器、窗口管理器,内容提供器,视图系统,资源管理器,通知管理器等,本技术实施例对此不做任何限制。
77.本技术实施例中,应用程序框架层还可以包括监测模块、处理模块、拼接模块和背面敲击识别模块等。
78.其中,监测模块用于响应于处理模块发送的监测消息,监测并获取加速度传感器输出的加速度信号以及陀螺仪传感器输出的陀螺仪信号,并向处理模块发送监测回复消息。
79.处理模块用于向监测模块发送监测消息、对监测回复消息中的加速度信号进行筛选,得到第一加速度信号、向拼接模块发送拼接消息、响应于拼接回复消息,将第一信号特征输入背面敲击识别网络模型以及根据背面敲击事件的敲击次数和背面敲击事件的敲击位置,执行预设的交互操作等。
80.拼接模块用于对第一加速度信号和陀螺仪信号进行拼接,得到第一信号特征,并向处理模块发送拼接回复消息。
81.背面敲击识别模块用于对第一信号特征进行识别,输出背面敲击事件的检测结果和背面敲击事件的敲击位置以及向处理模块发送背面敲击事件的敲击次数和背面敲击事件的敲击位置。
82.活动管理器(activity manager):用于管理每个应用的生命周期。应用通常以activity的形式运行在操作系统中。对于每一个activity,在活动管理器中都会有一个与之对应的应用记录(activity record),这个activity record记录了该应用的activity的状态。活动管理器可以利用这个activity record作为标识,调度应用的activity进程。
83.窗口管理器(window manager service):用于管理在屏幕上使用的图形用户界面(graphical user interface,gui)资源,具体可用于:获取屏幕大小、窗口的创建和销毁、窗口的显示与隐藏、窗口的布局、焦点的管理以及输入法和壁纸管理等。
84.应用程序框架层以下的系统库和内核层等可称为底层系统,底层系统中包括用于提供显示服务的底层显示系统,例如,底层显示系统包括内核层中的显示驱动以及系统库中的surface manager等。
85.安卓运行时(android runtime)包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
86.系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),二维/三维图形处理库(opengl es),2d图像引擎(sgl)等。
87.表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2d和3d图层
的融合。
88.媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:mpeg4,h.264,mp3,aac,amr,jpg,png等。
89.opengl es用于实现三维图形绘图,图像渲染,合成,和图层处理等。
90.sgl是2d绘图的绘图引擎。
91.内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,蓝牙驱动,音频驱动,传感器驱动。硬件至少包含扬声器、显示器和蓝牙。
92.如图3所示,本技术实施例提供一种交互方法,以电子设备是手机为例,该方法包括:
93.301、监测模块响应于处理模块的监测消息,监测并获取加速度传感器输出的加速度信号以及陀螺仪传感器输出的陀螺仪信号,并向处理模块发送监测回复消息。
94.其中,监测消息用于指示监测模块监测并获取加速度传感器输出的加速度信号以及陀螺仪传感器输出的陀螺仪信号。监测回复消息包括加速度信号和陀螺仪信号。
95.处理模块向监测模块发送监测指令,监测模块接收到监测指令后,根据监测指令,监测手机中的加速度传感器和陀螺仪传感器是否出现信号波动。在监测到加速度传感器和陀螺仪传感器出现信号波动后,获取加速度传感器输出的加速度信号,以及陀螺仪传感器输出的陀螺仪信号。最后根据加速度信号和陀螺仪信号生成监测回复消息,并向处理模块发送监测回复消息。
96.示例性的,用户a在手机背部进行敲击,以唤醒手机中的预设交互功能。敲击后,手机中的加速度传感器和陀螺仪传感器出现信号波动。接着手机中的监测模块监测到加速度传感器和陀螺仪传感器出现信号波动,然后获取加速度传感器输出的加速度信号和陀螺仪传感器输出的陀螺仪信号,并将加速度信号和陀螺仪信号,以监测回复消息的方式发送给手机的处理模块。
97.302、处理模块响应于监测回复消息,对加速度信号进行筛选,得到第一加速度信号。
98.示例性的,参见图4,处理模块获取到加速度信号后,对加速度信号进行筛选,得到第一加速度信号。
99.当用户a敲击手机背面时,手机的加速度传感器会产生三轴加速度信号,分别是x轴加速度信号、y轴加速度信号和z轴加速度信号,陀螺仪传感器也会产生三轴陀螺仪信号,分别是x轴陀螺仪信号、y轴陀螺仪信号和z轴陀螺仪信号。并且随着用户a在手机背面敲击的位置不同,加速度传感器和陀螺仪传感器生成的信号也不同。
100.例如,当用户a敲击手机背面上部时,可以采集到如图5中的(a)所示的,三轴加速度信号的波形变化图。通过观察可知,x轴加速度信号和y轴加速度信号的变化幅度较小,z轴加速度信号的变化幅度较大。
101.在发生一次敲击事件时,三轴加速度信号的波形变化图会呈现固定时长的波形变化,所以图5中的(a)至少采集了4次背面敲击事件对应的三轴加速度信号的波形变化。具体的,该固定时长与敲击次数相关,敲击次数越多,固定时长越长。例如,在手机背面敲击三次对应的固定时长大于在手机背面敲击两次对应的固定时长。
102.放大其中一次背面敲击事件对应的三轴加速度信号的波形变化,可以得到图5中
的(b)。结合图5中的(b)可知,当用户a敲击手机背面上部时,z轴加速度信号呈现先出现波峰再出现波谷,波峰波谷交替出现的趋势,x轴加速度信号和y轴加速度信号的变化幅度较小。
103.当用户a敲击手机背面上部时,还可以采集到如图6中的(a)所示的,三轴陀螺仪信号的波形变化图。通过观察可知,x轴陀螺仪信号的变化幅度较大,y轴陀螺仪信号和z轴陀螺仪信号的变化幅度较小。
104.在发生一次敲击事件时,三轴陀螺仪信号的波形变化图会呈现固定时长的波形变化,则图6中的(a)至少采集了4次背面敲击事件对应的三轴陀螺仪信号的波形变化。
105.放大其中一次背面敲击事件对应的三轴陀螺仪信号的波形变化,可以得到图6中的(b),结合图6中的(b)可知,当用户a敲击手机背面上部时,x轴陀螺仪信号呈现先出现波峰再出现波谷,波峰波谷交替出现的趋势,y轴陀螺仪信号和z轴陀螺仪信号的变化幅度较小。
106.当用户a敲击手机背面中部时,可以采集到如图7中的(a)所示的,三轴加速度信号的波形变化图。通过观察可知,x轴加速度信号和y轴加速度信号的变化幅度较小,z轴加速度信号的变化幅度较大。
107.在发生一次敲击事件时,三轴加速度信号的波形变化图会呈现固定时长的波形变化,则图7中的(a)至少采集了4次背面敲击事件对应的三轴加速度信号的波形变化。
108.放大其中一次背面敲击事件对应的三轴加速度信号的波形变化,可以得到图7中的(b)。结合图7中的(b)可知,当用户a敲击手机背面中部时,z轴加速度信号呈现先出现波峰再出现波谷,波峰波谷交替出现的趋势,x轴加速度信号和y轴加速度信号的变化幅度较小。
109.当用户a敲击手机背面中部时,还可以采集到如图8中的(a)所示的,三轴陀螺仪信号的波形变化图。通过观察可知,x轴陀螺仪信号的变化幅度较大,y轴陀螺仪信号和z轴陀螺仪信号的变化幅度较小。
110.在发生一次敲击事件时,三轴陀螺仪信号的波形变化图会呈现固定时长的波形变化,则图8中的(a)至少采集了5次背面敲击事件对应的三轴陀螺仪信号的波形变化。
111.放大其中一次背面敲击事件对应的三轴陀螺仪信号的波形变化,可以得到图8中的(b),结合图8中的(b)可知,当用户a敲击手机背面中部时,x轴陀螺仪信号呈现先出现小幅波谷(即第三波谷),然后出现波峰最后出现波谷的趋势,y轴陀螺仪信号和z轴陀螺仪信号的变化幅度较小。其中,第三波谷的幅值小于第三阈值。
112.当用户a敲击手机背面下部时,可以采集到如图9中的(a)所示的,三轴加速度信号的波形变化图。通过观察可知,x轴加速度信号和y轴加速度信号的变化幅度较小,z轴加速度信号的变化幅度较大。
113.在发生一次敲击事件时,三轴加速度信号的波形变化图会呈现固定时长的波形变化,则图9中的(a)至少采集了5次背面敲击事件对应的三轴加速度信号的波形变化。
114.放大其中一次背面敲击事件对应的三轴加速度信号的波形变化,可以得到图9中的(b)。结合图9中的(b)可知,当用户a敲击手机背面下部时,z轴加速度信号呈现先出现小幅波谷(即第一波谷),然后出现波峰最后出现波谷的趋势,x轴加速度信号和y轴加速度信号的变化幅度较小。其中,第一波谷的幅值小于第一阈值。
115.当用户a敲击手机背面下部时,还可以采集到如图10中的(a)所示的,三轴陀螺仪信号的波形变化图。通过观察可知,x轴陀螺仪信号的变化幅度较大,y轴陀螺仪信号和z轴陀螺仪信号的变化幅度较小。
116.在发生一次敲击事件时,三轴陀螺仪信号的波形变化图会呈现固定时长的波形变化,则图10中的(a)至少采集了5次背面敲击事件对应的三轴陀螺仪信号的波形变化。
117.放大其中一次背面敲击事件对应的三轴陀螺仪信号的波形变化,可以得到图10中的(b),结合图10中的(b)可知,当用户a敲击手机背面下部时,x轴陀螺仪信号呈现先出现大幅波谷(即第二波谷),然后出现波峰最后出现波谷的趋势,y轴陀螺仪信号和z轴陀螺仪信号的变化幅度较小。其中,第二波谷的幅值小于第二阈值。
118.结合图5中的(a)到图10中的(b)可知,当用户在手机的背面敲击时,加速度传感器的z轴加速度信号的变化幅度相较于x轴加速度信号和y轴加速度信号的变化幅度更大,故忽略x轴加速度信号和y轴加速度信号的变化。陀螺仪传感器的x轴陀螺仪信号的变化幅度相较于y轴陀螺仪信号和z轴陀螺仪信号的变化幅度更大,故忽略y轴陀螺仪信号和z轴陀螺仪信号的变化。
119.因此,当用户在手机的背面上部敲击时,加速度传感器的z轴加速度信号呈现先出现波峰后出现波谷的变化趋势,陀螺仪传感器的x轴陀螺仪信号呈现先出现波峰后出现波谷的变化趋势。当用户在手机的背面中部敲击时,加速度传感器的z轴加速度信号呈现先出现波峰后出现波谷的变化趋势,陀螺仪传感器的x轴陀螺仪信号呈现先出现小幅波谷,然后出现波峰最后出现波谷的变化趋势。当用户在手机的背面下部敲击时,加速度传感器的z轴加速度信号呈现先小幅度波谷,后峰再谷的变化趋势,陀螺仪传感器的x轴陀螺仪信号呈现大幅度波谷,后峰再谷的变化趋势。
120.手机在使用过程中,会出现很多用户无意识的误触碰操作。例如,手机放置在用户的裤子口袋中,裤子口袋中还有钥匙。当用户在路上行走时,裤子口袋里的钥匙有可能会不小心触碰到手机的背面,从而使手机里的加速度传感器和陀螺仪传感器出现信号变化。所以为了避免这种误触碰操作,结合上述背面敲击事件发生时,加速度传感器和陀螺仪传感器的信号表现,手机的处理模块设置筛选条件,将符合筛选条件的加速度信号作为第一加速度信号。
121.通常,一次背面敲击耗时大约是25ms。根据一次背面敲击的耗时,处理模块设置信号筛选器,信号筛选器用于帮助处理模块筛选第一加速度信号。
122.示例性的,信号筛选器的采样窗口为10帧,步长为1的信号筛选器。信号筛选器设置的筛选条件为:当加速度传感器的z轴加速度信号的变化幅度超过预设阈值80时,将该加速度信号作为第一加速度信号。
123.303、处理模块向拼接模块发送拼接消息。
124.其中,拼接消息用于指示拼接模块将第一加速度信号和陀螺仪信号进行拼接。拼接消息中包括第一加速度信号和陀螺仪信号。
125.304、拼接模块响应于拼接消息,对第一加速度信号和陀螺仪信号进行拼接,得到第一信号特征,并向处理模块发送拼接回复消息。
126.其中,拼接回复消息中包括第一信号特征。
127.参见图4,处理模块将筛选后得到的第一加速度信号和陀螺仪信号输入拼接模块,
拼接模块将第一加速度信号和陀螺仪信号进行拼接,得到第一信号特征。示例性的,第一信号特征为60*1的一维特征。
128.305、处理模块响应于拼接回复消息,将第一信号特征输入背面敲击识别模块。
129.306、背面敲击识别模块对第一信号特征进行识别,输出背面敲击事件的检测结果和背面敲击事件的敲击位置。
130.其中,背部敲击位置包括背面上部、背面中部和背面下部。
131.背面敲击事件的检测结果包括发生背面敲击事件或未发生背面敲击事件。
132.在发生背面敲击事件的情况下,背面敲击事件的检测结果还包括背面敲击事件的敲击次数。
133.具体的,背面敲击识别模块利用背面敲击识别网络模型对第一信号特征进行识别,输出背面敲击事件的检测结果和背面敲击事件的敲击位置。
134.示例性的,参见图4,背面敲击识别模块中包括背面敲击识别网络模型。第一信号特征被输入背面敲击识别模块,背面敲击识别模块将第一信号特征被输入背面敲击识别网络模型,背面敲击识别网络模型输出背面敲击事件的检测结果和背面敲击事件的敲击位置。
135.背面敲击识别网络模型可以采用多层感知机(multilayer perceptron,mlp)、卷积神经网络(convolutional neural network,cnn)、长短期记忆人工神经网络(long-short term memory,lstm)等基础网络模型构建。
136.其中,mlp是一种前馈人工神经网络模型,用于将输入的多个数据集映射到单一的输出的数据集上。mlp通常包括:输入层、多个全连接层和输出层,输入层可以包括至少一个输入、输出层可以包括至少一个输出。输入层的输入数量、全连接层的层数和输出层的输出数量可以根据需求而定。
137.cnn通常包括:输入层、卷积层(convolution layer)、池化层(pooling layer)、全连接层(fully connected layer,fc)和输出层。一般来说,cnn的第一层是输入层,最后一层是输出层。卷积层(convolution layer)通常包含若干个特征平面,每个特征平面可以是由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重,共享的权重即为卷积核。池化层(pooling layer)通常在卷积层之后,池化层可以得到维度很大的特征,将特征切成几个区域,取其最大值或平均值,从而得到新的、维度较小的特征。全连接层(fully-connected layer)可以把所有局部特征结合变成全局特征,用来计算最后每一类的得分。
138.如图11所示,背面敲击识别网络模型可以包括输入层、多个卷积层、多个池化层和多个全连接层。其中,输入层和输出层未示出。
139.处理模块将第一信号特征输入背面敲击识别网络模型的输入层,输入层将第一信号特征输入到多个卷积层和多个池化层进行特征提取处理和降维处理,得到二维特征。具体的,卷积层用于特征提取。然后利用flatten将二维特征拉开,得到一维向量。接着,利用全连接层,使一维向量继续降维,得到降维后的一维向量。再接着将降维后的一维向量等分成两个向量,将两个向量分别输入到两个不同的多层感知机中,一个多层感知机用于输出背面敲击事件的检测结果,另一个多层感知机用于输出背面敲击事件的敲击位置。背面敲击事件的检测结果包括发生背面敲击事件或未发生背面敲击事件。背面敲击事件的敲击位置包括背面上部、背面中部以及背面下部。其中,两个不同的多层感知机均包括多个全连接
层。
140.示例性的,如图12所示,背面敲击识别网络模型包括输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四池化层、第一全连接层、第二全连接层、第三全连接层、第四全连接层、第五全连接层、第六全连接层和第七全连接层。其中,输入层和输出层未示出。
141.将第一加速度信号和陀螺仪信号通过拼接模块进行拼接,得到60*1的第一信号特征。然后将60*1的第一信号特征输入背面敲击识别网络模型的输入层,输入层将60*1的第一信号特征输入卷积核为3的第一卷积层,第一卷积层输出58*4的二维特征。第一卷积层将58*4的二维特征输入第一池化层,第一池化层输出29*4的二维特征。第一池化层将29*4的二维特征输入第二卷积层,第二卷积层输出27*8的二维特征。第二卷积层将27*8的二维特征输入第二池化层,第二池化层输出13*8的二维特征。第二池化层将13*8的二维特征输入第三卷积层,第三卷积层输出11*16的二维特征。第三卷积层将11*16的二维特征输入第三池化层,第三池化层输出5*16的二维特征。第三池化层将5*16的二维特征输入第四池化层,第四池化层输出3*16的二维特征,接着利用flatten将3*16的二维特征拉开,变成1*48的一维向量。
142.flatten将1*48的一维向量输入第一全连接层,第一全连接层输出1*16的一维向量。将1*16一维向量输入第一多层感知机中,第一多层感知机输出背面敲击事件的检测结果。将1*16一维向量输入第二多层感知机中,第二多层感知机输出背面敲击事件的敲击位置。
143.具体的,第一多层感知机包括第二全连接层、第三全连接层和第四全连接层。将1*16的一维向量输入第一多层感知机中,第一多层感知机输出背面敲击事件的检测结果具体是:第一全连接层将1*16的一维向量输入第二全连接层,第二全连接层输出1*8的一维向量。第二全连接层将1*8的一维向量输入第三全连接层,第三全连接层输出1*4的一维向量。第三全连接层将1*4的一维向量输入第四全连接层,第四全连接层输出1*2的一维向量。1*2的一维向量用于标识背面敲击事件的检测结果是发生背面敲击事件还是未发生背面敲击事件。
144.第二多层感知机包括第五全连接层、第六全连接层和第七全连接层。将1*16的一维向量输入第二多层感知机中,第二多层感知机输出背面敲击事件的敲击位置具体是:第一全连接层将1*16的一维向量输入第五全连接层,第五全连接层输出1*8的一维向量。第五全连接层将1*8的一维向量输入第六全连接层,第六全连接层输出1*4的一维向量。第六全连接层将1*4的一维向量输入第七全连接层,第七全连接层输出1*3的一维向量。1*3的一维向量用于标识背面敲击事件的敲击位置是背面上部、还是背面中部或者背面下部。
145.如图4所示,本技术实施例提供的电子设备还包括敲击计数器。在背面敲击识别模块输出背面敲击事件的检测结果为发生背面敲击事件后,背面敲击识别模块触发敲击计数器进行计数,以得到背面敲击事件的敲击次数。
146.示例性的,当背面敲击识别模块确定出发生背面敲击事件时,敲击计数器记录敲击次数为一次。若第一预设时长内,背面敲击识别模块再次指示发生背面敲击事件,敲击计数器记录的敲击次数为二次,则背面敲击事件的敲击次数为双击。若第二预设时长内,背面敲击识别模块仍指示发生背面敲击事件,敲击计数器记录的敲击次数为三次,则背面敲击
事件的敲击次数为三击。
147.其中,第一预设时长为两次敲击事件之间的时间间隔,第二预设时长为三次敲击事件的时间间隔总长。通常,双击间隔平均为150ms,三击大概总耗时为300ms左右。所以第一预设时长可以是140ms~160ms。第二预设时长可以是280ms~320ms。
148.可选的,在使用背面敲击识别网络模型之前,需要对背面敲击识别网络模型进行训练。具体的:构建样本数据集,样本数据集包括多个样本信号和每个样本信号的目标值。每个样本信号包括筛选后的第一加速度信号和陀螺仪信号;将第一加速度信号和陀螺仪信号拼接得到样本拼接信号。每个样本信号的目标值为背面敲击事件的检测结果和背面敲击事件的敲击位置。
149.采用背面敲击识别网络模型对样本拼接信号进行处理,得到样本拼接信号的预测值。根据预测值、目标值和损失函数,确定样本拼接信号的损失值;基于损失值,更新背面敲击识别网络模型中的参数。
150.基于大量的样本数据集对该背面敲击识别网络模型进行训练,可得到训练好的背面敲击识别网络模型,该训练好的背面敲击识别网络模型可以准确确定出背面敲击事件的检测结果和背面敲击事件的敲击位置。背面敲击事件的检测结果包括发生背面敲击事件和未发生背面敲击事件。
151.示例性的,电子设备获取样本信号,可以采用以下方法:在用户正常使用电子设备时,通过手指敲击电子设备的背面,并采集手指敲击电子设备的背面时,加速度传感器输出的加速度信号和陀螺仪传感器输出的陀螺仪信号。
152.然后对加速度信号进行筛选,得到第一加速度信号。接着将第一加速度信号和陀螺仪信号进行拼接,得到样本拼接信号。再然后将样本拼接信号输入未训练好的背面敲击识别网络模型中,输出样本拼接信号的预测值。在训练背面敲击识别网络模型的过程中,希望背面敲击识别网络模型能够输出真实预测结果,所以在当前背面敲击识别网络模型输出预测值后,根据预测值和目标值之间的差异,更新每一层神经网络的权重向量(当然,在背面敲击识别网络模型第一次更新之前通常会有初始化的过程,初始化具体是指背面敲击识别网络模型中的各层神经网络预先配置的参数)。
153.例如,背面敲击识别网络模型输出的预测值高于目标值,则调整权重向量以降低背面敲击识别网络模型输出的预测值。通过不断的调整,直到背面敲击识别网络模型输出的预测值符合阈值,即预测值和目标值之间的差异符合要求。所以,需要预先定义“如何比较预测值和目标值之间的差异”,目前,预测值和目标值之间的差异可以通过损失函数(loss function)来定义。其中,损失函数的输出值(loss)越高表示差异越大,那么背面敲击识别网络模型的训练就变成了尽可能缩小这个loss的过程。
154.实际上,根据样本拼接信号的预测值、目标值和损失函数不断对背面敲击识别网络模型进行调整,具体是调整各个卷积层的卷积核参数、全连接层的权重矩阵和偏置向量等。
155.此外,为了得到最终的背面敲击识别网络模型,需要将所有的数据集划分为训练集、验证集和测试集,训练集中的数据也就是训练数据,通过训练集训练背面敲击识别网络模型,根据情况调整背面敲击识别网络模型内的参数,选择出其中最好的模型,然后再用训练集和验证集训练出一个最终的模型,最后用测试集评估最终的模型。
156.307、背面敲击识别模块向处理模块发送背面敲击事件的检测结果和背面敲击事件的敲击位置。
157.其中,背面敲击事件的检测结果包括背面敲击事件的敲击次数。
158.308、处理模块根据背面敲击事件的敲击次数和背面敲击事件的敲击位置,执行预设的交互操作。
159.预设的交互操作可以是用户按照电子设备系统的指示设置的,还可以是电子设备预先设置的。预设的交互操作包括以下操作:
160.(1)出示二维码,例如健康码、
tm
支付码、支付宝
tm
支付码、公交车码、地铁码、核酸检测码等;
161.(2)当用户在使用游戏应用或视频应用时,拒接电话、隐藏弹出消息框等;
162.(3)控制音量调节,例如放大音量、减小音量、暂停播放等。
163.(4)控制播放进度调节,例如视频快进、视频快退等;
164.(5)控制游戏目标行为,例如控制游戏目标向左行进、向右行进、向前行进、向后行进等;
165.(6)启动系统应用,例如启动镜子、手电筒、相机、计算器、天气等系统应用;
166.(7)应用切换,例如视频切换为文本应用界面等;
167.(8)截屏、展开通知栏、分屏等。
168.预设的交互操作还可以是用户根据需求设置的其它功能,本技术对此不作限制。
169.由于敲击检测结果包括敲击次数和敲击位置,则预设的交互操作可以是根据敲击次数执行,还可以是根据敲击位置执行,或者时根据敲击次数和敲击位置执行。
170.若预设的交互操作是根据敲击次数唤醒,则电子设备可以预先设置背面敲击事件的敲击次数为双击时,对应的预设的交互操作以及背面敲击事件的敲击次数为双击时,对应的预设的交互操作。例如背面敲击事件的敲击次数为双击时,对应的预设的交互操作是支付码。背面敲击事件的敲击次数为三击时,对应的预设的交互操作是手电筒。双击和三击还可以对应其它预设的交互操作,本技术对此不作限制。
171.例如,如图13中的(a)所示,用户可以打开设置界面1301。该设置界面1301中可以包括“背面敲击设置”的功能选项1302。当用户点击该“背面敲击设置”功能选项1302时,如图13中的(b)所示,电子设备可以显示背面敲击设置界面1303,背面敲击设置界面1303中可以包括“双击”功能选项1304和“三击”功能选项1305。此时“双击”功能选项1304和“三击”功能选项1305均处于关闭模式。
172.由于电子设备预先配置了“双击”功能选项1304和“三击”功能选项1305对应的预设的交互操作。当用户依次打开“双击”功能选项1304和“三击”功能选项1305后,如图13中的(c)所示,电子设备可以显示背面敲击详情界面1306,背面敲击详情界面1306中显示“双击”功能选项1304可以唤醒支付码功能,“三击”功能选项1305可以唤醒手电筒功能。
173.又例如,当用户点击该“背面敲击设置”功能选项1302时,如图14中的(a)所示,电子设备可以显示背面敲击设置界面1401,背面敲击设置界面1401中可以包括“支付码”功能选项1402和“手电筒”功能选项1403。其中,电子设备预先配置了“支付码”功能选项1402和“手电筒”功能选项1403对应的背部敲击操作。
174.当用户点击“支付码”功能选项1402后,如图14中的(b)所示,电子设备可以显示支
付码详情界面1404,支付码详情界面1404中包括第一操作指引1405和支付码开启/关闭功能选项1406。第一操作指引1405用于指示用户如何快速启动支付码功能。第一操作指引1405中包括“指尖、指关节或其它物体双击手机背面启动支付码”的提示字符。支付码开启/关闭功能选项1406用于开启或关闭快速启动支付码功能。
175.当用户点击“手电筒”功能选项1402后,如图14中的(c)所示,电子设备可以显示手电筒详情界面1407,手电筒详情界面1407中包括第二操作指引1408和“手电筒”开启/关闭功能选项1409。第二操作指引1408用于指示用户如何快速启动手电筒功能。第二操作指引1408中包括“指尖、指关节或其它物体三击手机背面启动手电筒”的提示字符。手电筒开启/关闭功能选项1409用于开启或关闭快速启动手电筒功能。
176.若预设的交互操作是根据敲击位置唤醒,则电子设备可以预先设置敲击背面上部对应的预设的交互操作、敲击背面中部对应的预设的交互操作以及敲击背面下部对应的预设的交互操作。例如敲击背面上部对应的预设的交互操作是上一曲,敲击背面中部对应的预设的交互操作是暂停、敲击背面下部对应的预设的交互操作是下一曲。敲击背面上部、敲击背面中部和敲击背面下部还可以对应其它预设的交互操作,本技术对此不作限制。
177.例如,如图15中的(a)所示,用户可以打开设置界面1501。该设置界面1501中可以包括“背面敲击设置”的功能选项1502。当用户点击该“背面敲击设置”功能选项1502时,如图15中的(b)所示,电子设备可以显示背面敲击设备界面1503,背面敲击设备界面中可以包括“敲击背面上部”功能选项1504、“敲击背面中部”功能选项1505和“敲击背面下部”功能选项1506。此时“敲击背面上部”功能选项1504、“敲击背面中部”功能选项1505和“敲击背面下部”功能选项1506均处于关闭模式。
178.由于电子设备预先配置了“敲击背面上部”功能选项1504、“敲击背面中部”功能选项1505和“敲击背面下部”功能选项1506对应的预设的交互操作。当用户依次打开“敲击背面上部”功能选项1504、“敲击背面中部”功能选项1505和“敲击背面下部”功能选项1506后,如图15中的(c)所示,电子设备可以显示背面敲击详情界面1507,背面敲击详情界面1507中显示“敲击背面上部”功能选项1504可以唤醒上一曲功能,“敲击背面中部”功能选项1505可以唤醒暂停功能,“敲击背面下部”功能选项1506可以唤醒下一曲功能。
179.又例如,当用户点击该“背面敲击设置”功能选项1502时,如图16中的(a)所示,电子设备可以显示背面敲击设置界面1601,背面敲击设置界面1601中可以包括“上一曲”功能选项1602、“暂停”功能选项1603和“下一曲”功能选项1604。其中,电子设备预先配置了“上一曲”功能选项1602、“暂停”功能选项1603和“下一曲”功能选项1604对应的背部敲击操作。
180.当用户点击“上一曲”功能选项1602后,如图16中的(b)所示,电子设备可以显示上一曲详情界面1605,上一曲详情界面1605中包括第三操作指引1606和上一曲开启/关闭功能选项1607。第三操作指引1606用于指示用户如何快速启动播放上一曲功能。第三操作指引1606中包括“指尖、指关节或其它物体敲击手机背面上部播放上一曲”的提示字符。上一曲开启/关闭功能选项1607用于开启或关闭快速启动播放上一曲功能。
181.当用户点击“暂停”功能选项1603后,如图16中的(c)所示,电子设备可以显示暂停详情界面1608,暂停详情界面1608中包括第四操作指引1609和“暂停”开启/关闭功能选项1610。第四操作指引1609用于指示用户如何快速启动播放暂停功能。第四操作指引1609中包括“指尖、指关节或其它物体敲击手机背面中部播放暂停”的提示字符。暂停开启/关闭功
能选项1610用于开启或关闭快速启动播放暂停功能。
182.当用户点击“下一曲”功能选项1604后,如图16中的(d)所示,电子设备可以显示下一曲详情界面1611,下一曲详情界面1611中包括第五操作指引1612和下一曲开启/关闭功能选项1613。第五操作指引1612用于指示用户如何快速启动播放下一曲功能。第五操作指引1612中包括“指尖、指关节或其它物体敲击手机背面下部播放下一曲”的提示字符。下一曲开启/关闭功能选项1613用于开启或关闭快速启动播放下一曲功能。
183.可选的,结合前述602可知,敲击中部对应的加速度计的z轴的脉冲信号和敲击上部对应的加速度计的z轴的脉冲信号变化趋势一致,都是先出现波峰后出现波谷。敲击中部对应的陀螺仪的x轴的脉冲信号变化趋势为先出现小幅波谷,然后出现波峰最后出现波谷。敲击下部对应的陀螺仪的x轴的脉冲信号变化趋势为先出现大幅波谷,然后出现波峰最后出现波谷,则敲击中部和敲击下部对应的陀螺仪的x轴的脉冲信号变化趋势类似。所以,实际上电子设备的可以仅设置敲击上部和敲击下部对应的预设的交互操作。
184.若预设的交互操作是根据敲击次数和敲击位置唤醒的,处理模块在得到背面敲击事件的敲击次数和敲击位置后,可以根据背面敲击事件的敲击次数和背面敲击事件的敲击位置,得到背面敲击组合。其中,背面敲击组合包括:双击背面上部、双击背面中部、双击背面下部、三击背面上部、三击背面中部和三击背面下部。
185.然后电子设备可以预先设备双击背面上部对应的预设的交互操作、双击背面中部对应的预设的交互操作、双击背面下部对应的预设的交互操作、三击背面上部对应的预设的交互操作、三击背面中部对应的预设的交互操作、三击背面下部对应的预设的交互操作。例如双击背面上部对应的预设的交互操作是放大音量、双击背面中部对应的预设的交互操作是减小音量、双击背面下部对应的预设的交互操作是静音、三击背面上部对应的预设的交互操作是镜子、三击背面中部对应的预设的交互操作是手电筒、三击背面下部对应的预设的交互操作是相机。
186.例如,如图17中的(a)所示,用户可以打开设置界面1701。该设置界面1701中可以包括“背面敲击设置”的功能选项1702。当用户点击该“背面敲击设置”功能选项1702时,如图17中的(b)所示,电子设备可以显示背面敲击设备界面1703,背面敲击设备界面中可以包括“双击背面上部”功能选项1704、“双击背面中部”功能选项1705和“双击背面下部”功能选项1706、“三击背面上部”功能选项1707、“三击背面中部”功能选项1708和“三击背面下部”功能选项1709。此时“双击背面上部”功能选项1704、“双击背面中部”功能选项1705和“双击背面下部”功能选项1706、“三击背面上部”功能选项1707、“三击背面中部”功能选项1708和“三击背面下部”功能选项1709均处于关闭模式。
187.由于电子设备预先配置了“双击背面上部”功能选项1704、“双击背面中部”功能选项1705和“双击背面下部”功能选项1706、“三击背面上部”功能选项1707、“三击背面中部”功能选项1708和“三击背面下部”功能选项1709对应的预设的交互操作。当用户依次打开“双击背面上部”功能选项1704、“双击背面中部”功能选项1705和“双击背面下部”功能选项1706、“三击背面上部”功能选项1707、“三击背面中部”功能选项1708和“三击背面下部”功能选项1709后,如图17中的(c)所示,电子设备可以显示背面敲击详情界面1710,背面敲击详情界面1710中显示“双击背面上部”功能选项1704可以唤醒放大音量功能,“双击背面中部”功能选项1705可以唤醒减小音量功能,“双击背面下部”功能选项1706可以唤醒静音功
能,“三击背面上部”功能选项1707可以唤醒镜子功能,“三击背面中部”功能选项1708可以唤醒手电筒功能,“三击背面下部”功能选项1709可以唤醒相机功能。
188.又例如,当用户点击该“背面敲击设置”功能选项1702时,如图18中的(a)所示,电子设备可以显示背面敲击设置界面1801,背面敲击设置界面1801中可以包括“放大音量”功能选项1802、“减小音量”功能选项1803、“静音”功能选项1804、“镜子”功能选项1805、“手电筒”功能选项1806和“相机”功能选项1807。其中,电子设备预先配置了“放大音量”功能选项1802、“减小音量”功能选项1803、“静音”功能选项1804、“镜子”功能选项1805、“手电筒”功能选项1806和“相机”功能选项1807对应的背部敲击操作。
189.当用户点击“放大音量”功能选项1802后,如图18中的(b)所示,电子设备可以显示放大音量详情界面1808,放大音量详情界面1808中包括第六操作指引1809和放大音量开启/关闭功能选项1810。第六操作指引1809用于指示用户如何快速启动放大音量功能。第六操作指引1809中包括“指尖、指关节或其它物体双击手机背面上部放大音量”的提示字符。放大音量开启/关闭功能选项1810用于开启或关闭快速启动放大音量功能。
190.当用户点击“减小音量”功能选项1803后,如图18中的(c)所示,电子设备可以显示减小音量详情界面1811,减小音量详情界面1811中包括第七操作指引1812和“减小音量”开启/关闭功能选项1813。第七操作指引1812用于指示用户如何快速启动减小音量功能。第七操作指引1812中包括“指尖、指关节或其它物体双击手机背面中部减小音量”的提示字符。减小音量开启/关闭功能选项1813用于开启或关闭快速启动减小音量功能。
191.当用户点击“静音”功能选项1804后,如图18中的(d)所示,电子设备可以显示静音详情界面1814,静音详情界面1814中包括第八操作指引1815和静音开启/关闭功能选项1816。第八操作指引1815用于指示用户如何快速启动静音功能。第八操作指引1815中包括“指尖、指关节或其它物体双击手机背面下部静音”的提示字符。静音开启/关闭功能选项1816用于开启或关闭快速启动静音功能。
192.当用户点击“镜子”功能选项1805后,如图19中的(a)所示,电子设备可以显示镜子详情界面1901,镜子详情界面1901中包括第九操作指引1902和镜子开启/关闭功能选项1903。第九操作指引1902用于指示用户如何快速启动镜子功能。第九操作指引1902中包括“指尖、指关节或其它物体三击手机背面上部启动镜子”的提示字符。镜子开启/关闭功能选项1903用于开启或关闭快速启动镜子功能。
193.当用户点击“手电筒”功能选项1806后,如图19中的(b)所示,电子设备可以显示手电筒详情界面1904,手电筒详情界面1904中包括第十操作指引1905和“手电筒”开启/关闭功能选项1906。第十操作指引1905用于指示用户如何快速启动手电筒功能。第十操作指引1905中包括“指尖、指关节或其它物体三击手机背面中部启动手电筒”的提示字符。手电筒开启/关闭功能选项1906用于开启或关闭快速启动手电筒功能。
194.当用户点击“相机”功能选项1807后,如图19中的(c)所示,电子设备可以显示相机详情界面1907,相机详情界面1907中包括第十一操作指引1908和相机开启/关闭功能选项1909。第十一操作指引1908用于指示用户如何快速启动相机功能。第十一操作指引1908中包括“指尖、指关节或其它物体三击手机背面下部启动相机”的提示字符。相机开启/关闭功能选项1909用于开启或关闭快速启动相机功能。
195.可选的,结合前述602可知,敲击背面中部对应的加速度计的z轴的脉冲信号和敲
击背面上部对应的加速度计的z轴的脉冲信号变化趋势一致,都是先出现波峰后出现波谷。敲击背面中部对应的陀螺仪的x轴的脉冲信号变化趋势为先出现小幅波谷,然后出现波峰最后出现波谷。敲击背面下部对应的陀螺仪的x轴的脉冲信号变化趋势为先出现大幅波谷,然后出现波峰最后出现波谷,则敲击背面中部和敲击背面下部对应的陀螺仪的x轴的脉冲信号变化趋势类似。所以,实际上电子设备的可以仅设置与敲击背面上部和敲击背面下部相关的预设的交互操作,例如,仅设置“双击背面上部”对应的预设的交互操作、“双击背面下部”对应的预设的交互操作、“三击背面上部”对应的预设的交互操作和“三击背面下部”对应的预设的交互操作。
196.本技术实施例,还提供一种交互方法,应用于前述的电子设备。该成像方法为:首先,响应于用户操作,电子设备获取电子设备的加速度传感器输出的加速度信号以及陀螺仪传感器输出的陀螺仪信号;然后,电子设备采用背面敲击识别算法对加速度信号和陀螺仪信号进行识别,得到背面敲击事件的检测结果以及背面敲击事件的敲击位置,背面敲击事件的检测结果包括发生背面敲击事件和背面敲击事件的敲击次数。最后电子设备根据背面敲击事件的敲击次数以及背面敲击事件的敲击位置,执行预设的交互操作。这样,不仅能够丰富背面敲击的功能,还能为用户提供多样化的交互选择,增强用户对于电子设备的依赖性。
197.为了实现上述功能,上述电子设备包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本技术实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。
198.本技术实施例可以根据上述方法示例对电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本技术实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
199.本技术另一些实施例提供了一种电子设备,该电子设备可以包括:通信模块、存储器和一个或多个处理器。该通信模块、存储器与处理器耦合。该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令。
200.本技术实施例还提供一种芯片系统,如图20所示,该芯片系统2000包括至少一个处理器2001和至少一个接口电路2002。处理器2001和接口电路2002可通过线路互联。例如,接口电路2002可用于从其它装置(例如电子设备的存储器)接收信号。又例如,接口电路2002可用于向其它装置(例如处理器2001)发送信号。
201.示例性的,接口电路2002可读取存储器中存储的指令,并将该指令发送给处理器2001。当指令被处理器2001执行时,可使得电子设备执行上述实施例中的各个步骤。当然,该芯片系统还可以包含其他分立器件,本技术实施例对此不作具体限定。
202.本技术实施例还提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当计算机指令在第二电子设备上运行时,使得第二电子设备执行上述方法实施例
中第二电子设备(例如,手机)执行的各个功能或者。
203.本技术实施例还提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述方法实施例中第二电子设备(例如,手机)执行的各个功能或者。
204.通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
205.在本技术所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
206.作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
207.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
208.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本技术各个实施例方法的全部或部分。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
209.以上内容,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何在本技术揭露的技术范围内的变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以权利要求的保护范围为准。
技术特征:
1.一种交互方法,其特征在于,应用于电子设备,所述电子设备包括加速度传感器和陀螺仪,所述方法包括:所述电子设备获取所述加速度传感器输出的加速度信号以及所述陀螺仪传感器输出的陀螺仪信号;所述电子设备根据所述加速度信号和所述陀螺仪信号,得到背面敲击事件的检测结果以及背面敲击事件的敲击位置,所述背面敲击事件的检测结果包括发生背面敲击事件和背面敲击事件的敲击次数;所述电子设备根据所述背面敲击事件的敲击次数以及所述背面敲击事件的敲击位置,执行预设的交互操作。2.根据权利要求1所述的方法,其特征在于,所述背面敲击事件的敲击位置包括背面上部和背面下部。3.根据权利要求2所述的方法,其特征在于,所述加速度传输器输出的加速度信号包括z轴加速度信号,所述陀螺仪传感器输出的陀螺仪信号包括x轴陀螺仪信号;当所述背面敲击事件的敲击位置为背面上部时,检测到所述z轴加速度信号呈现先出现波峰再出现波谷的趋势,所述x轴陀螺仪信号呈现先出现波峰再出现波谷的趋势;当所述背面敲击事件的敲击位置为背面下部时,检测到所述z轴加速度信号呈现先出现波谷,然后再出现波峰最后出现波谷的趋势,所述x轴陀螺仪信号呈现先出现波谷,然后再出现波峰最后出现波谷的趋势。4.根据权利要求3所述的方法,其特征在于,所述背面敲击事件的敲击位置还包括背面中部;当所述背面敲击事件的敲击位置为背面中部时,所述z轴加速度信号呈现先出现波峰再出现波谷的趋势,所述x轴陀螺仪信号呈现先出现波谷,然后再出现波峰最后出现波谷的趋势。5.根据权利要求1所述的方法,其特征在于,所述根据所述加速度信号和所述陀螺仪信号,得到背面敲击事件的检测结果以及背面敲击事件的敲击位置,包括:所述电子设备对所述加速度信号进行筛选,得到第一加速度信号;所述电子设备将所述第一加速度信号和所述陀螺仪信号进行拼接,得到第一信号特征;所述电子设备将所述第一信号特征作为输入,运行背面敲击识别网络模型,输出所述背面敲击事件的检测结果以及所述背面敲击事件的敲击位置;所述运行背面敲击识别网络模型,输出所述背面敲击事件的检测结果以及所述背面敲击事件的敲击位置,包括:对所述第一信号特征进行特征提取处理和降维处理,得到一维向量;将所述一维向量分别输入第一多层感知机和第二多层感知机中,所述第一多层感知机输出所述背面敲击事件的检测结果,所述第二多层感知机输出所述背面敲击事件的敲击位置;当所述背面敲击事件的检测结果指示发生背面敲击事件时,对背面敲击事件的发生次数进行记录,得到背面敲击事件的敲击次数,所述背面敲击事件的敲击次数包括双击和三击。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:所述电子设备构建样本数据集,所述样本数据集包括多组样本数据对,每组样本数据对包括训练数据和目标数据,所述训练数据包括第一加速度样本信号和陀螺仪样本信号,所述目标数据包括背面敲击事件的样本检测结果和背面敲击事件的样本敲击位置;将所述每组样本数据中的训练数据输入初始背面敲击识别网络模型,得到预测数据,所述预测数据包括背面敲击事件的初始检测结果和背面敲击事件的初始敲击位置;基于损失函数、所述预测数据和所述目标数据,确定损失值;根据所述损失值和预设学习率,迭代更新所述初始背面敲击识别网络模型,得到所述背面敲击识别网络模型。7.根据权利要求1-6中任一项所述的方法,其特征在于,所述预设的交互操作包括启动系统应用、出示二维码、控制音量调节、控制播放进度调节、隐藏消息弹窗和拒接电话中的至少一个,所述系统应用包括镜子应用、手电筒应用、相机应用以及计算机应用中的至少一个。8.根据权利要求7所述的方法,其特征在于,所述根据所述背面敲击事件的敲击次数以及背面敲击事件的敲击位置,执行所述预设的交互操作,包括:根据所述背面敲击事件的敲击次数和所述背面敲击事件的敲击位置,得到背面敲击组合,所述背面敲击组合包括双击背面上部、双击背面下部、三击背面上部和三击背面下部;若所述背面敲击组合是所述双击背面上部,所述电子设备执行放大音量的操作;若所述背面敲击组合是所述双击背面下部,所述电子设备执行减小音量的操作;若所述背面敲击组合是所述三击背面上部,所述电子设备执行视频快进的操作;若所述背面敲击组合是所述三击背面下部,所述电子设备执行视频后退的操作。9.根据权利要求5所述的方法,其特征在于,所述电子设备对所述加速度信号进行筛选,得到第一加速度信号,包括:在所述加速度信号大于预设阈值时,所述加速度信号为所述第一加速度信号。10.一种电子设备,其特征在于,所述电子设备包括:无线通信模块、存储器和一个或多个处理器;所述无线通信模块、所述存储器与所述处理器耦合;其中,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;当所述计算机指令被所述处理器执行时,使得所述第一设备执行如权利要求1-9中任一项所述的方法。11.一种计算机可读存储介质,其特征在于,包括计算机指令;当所述计算机指令在第一设备上运行时,使得所述第一设备执行如权利要求1-9中任一项所述的方法。
技术总结
本申请提供一种交互方法和设备,涉及终端技术领域,该方法能够丰富背面敲击功能,为用户提供更好的交互体验。其方法应用于电子设备,电子设备包括加速度传感器和陀螺仪,方法包括:电子设备获取加速度传感器输出的加速度信号以及陀螺仪传感器输出的陀螺仪信号;电子设备根据加速度信号和陀螺仪信号,得到背面敲击事件的检测结果以及背面敲击事件的敲击位置,背面敲击事件的检测结果包括发生背面敲击事件和背面敲击事件的敲击次数;电子设备根据背面敲击事件的敲击次数以及背面敲击事件的敲击位置,执行预设的交互操作。执行预设的交互操作。执行预设的交互操作。