将双耳信号转换为立体声音频信号的制作方法
1.本技术涉及用于将双耳信号转换为立体声音频信号的装置和方法，但非排他地涉及用于在空间音频信号环境内进行转换的装置和方法。
背景技术：
2.声音方向的人类感知是基于双耳线索，其包括耳间时间差(itd)、耳间水平差(ild)、以及频谱线索。通常使用幅度平移(例如，如ville pulkki在“使用向量基幅度平移的虚拟声源定位(virtual sound source positioning using vector base amplitude panning)”(音频工程学会期刊，1997年)中讨论的vbap)来产生用于扬声器再现的立体声信号，当用立体声扬声器再现幅度平移的声音并由人类收听者收听时，幅度平移转变为这些线索。
3.相应地，声音的空间感和包围感的人类感知是基于与耳间相干性(ic)相关的双耳线索。立体声信号通常以如下一种方式(例如，使用混响器)产生：当由立体声扬声器再现立体声信号时，在人耳处产生生成宽度或空间感等的感知的ic线索。
4.另一方面，双耳信号意味着由耳机来再现。因此，双耳线索(包括itd、ild、ic、以及频谱线索)需要在音频信号本身中是固有的。这可以例如通过用麦克风在真实人类或人造头部的耳道入口处记录空间声音来实现。还可以例如通过向多通道扬声器混音应用合适的头部相关传递函数(hrtf)和混响器来合成地生成双耳声音。当用耳机再现(可能在耳机校正之后)这种双耳记录(或一般地，双耳音频)时，空间声音的真实感知被实现。
5.沉浸式音频编解码器正被实现，以支持范围从低比特率操作到透明性的大量操作点。这种编解码器的示例是沉浸式语音和音频服务(ivas)编解码器，其被设计为适合于在诸如3gpp 4g/5g网络之类的通信网络上使用，包括在诸如例如用于虚拟现实(vr)的沉浸式语音和音频之类的沉浸式服务中使用。
6.输入信号可以以多种所支持的格式之一(以及以一些被允许的格式组合)被呈现给ivas编码器。
7.已经建议ivas使用双耳信号作为输入并具有常规的立体声音频输出。
8.由于立体声音频信号更适合扬声器回放，因此需要用于将双耳信号有效地转换为常规的立体声音频信号的装置和方法。
技术实现要素：
9.根据第一方面，提供了一种装置，其包括被配置为执行以下操作的部件：获得双耳音频信号；基于双耳音频信号，获得双耳音频信号的至少一个频带的至少一个方向参数；基于至少一个频带的至少一个方向参数，通过修改双耳音频信号的至少一个频带的通道间差异，对双耳音频信号进行处理以生成用于扬声器再现的至少两个音频信号；以及输出用于扬声器再现的至少两个音频信号。
10.双耳音频信号的至少一个频带的通道间差异可以包括以下中的至少一个：双耳音
频信号的通道的至少一个能量/幅度差；双耳音频信号的通道的至少一个相位差；以及双耳音频信号的通道的至少一个时间差。
11.被配置为对双耳音频信号进行处理以生成用于扬声器再现的至少两个音频信号的部件可以被配置为：进一步基于至少一个频带的至少一个方向参数，进一步对经处理的至少一个频带应用频谱调整。
12.被配置为基于至少一个频带的至少一个方向参数，通过修改至少一个频带的通道间差异，对双耳音频信号进行处理以生成用于扬声器再现的至少两个音频信号的部件可以被配置为：针对双耳音频信号的至少一个频带，生成协方差矩阵的至少一部分的估计；针对双耳音频信号的至少一个频带，生成能量估计；针对双耳音频信号的至少一个频带，基于至少一个频带的至少一个方向参数，生成目标协方差矩阵的至少一部分；生成用于混合双耳音频信号的至少一个频带的混合矩阵；以及基于混合矩阵，从双耳音频信号的至少一个频带的通道组合生成左通道音频信号和右通道音频信号。
13.用于扬声器再现的至少两个音频信号可以包括左通道音频信号和右通道音频信号。
14.被配置为基于至少一个频带的至少一个方向参数，通过修改至少一个频带的通道间差异，对双耳音频信号进行处理以生成用于扬声器再现的至少两个音频信号的部件可以进一步被配置为：针对至少一个频带，基于双耳音频信号，生成去相关音频信号；针对去相关音频信号，生成另一混合矩阵；基于另一混合矩阵，从去相关音频信号的至少一个频带的通道组合生成另一左通道音频信号和另一右通道音频信号；组合左通道音频信号和另一左通道音频信号以生成组合左通道；以及组合右通道音频信号和另一右通道音频信号以生成组合右通道，并且其中，用于扬声器再现的至少两个音频信号包括组合左通道音频信号和组合右通道音频信号。
15.被配置为进一步基于至少一个频带的至少一个方向参数，进一步对经处理的至少一个频带应用频谱调整的部件可以被配置为：基于至少一个频带的方向参数，确定双耳响应和/或长期响应估计；以及从经处理的至少一个频带对所确定的双耳响应和/或长期响应估计进行补偿。
16.双耳响应和/或长期响应可以包括以下中的至少一个：至少一个能量/幅度；双耳音频信号的通道的至少一个相关性；双耳音频信号的通道的至少一个相位差；双耳音频信号的通道的至少一个时间差。
17.双耳响应和/或长期响应可以包括双耳音频信号的频谱，并且其中，被配置为从经处理的至少一个频带去除所确定的双耳响应和/或长期响应估计的部件可以被配置为：基于所估计的方向参数和与至少一个方向参数对应的平均头部相关传递函数，获得滤波器和/或增益；以及对经处理的至少一个频带应用滤波器和/或增益。
18.被配置为基于至少一个频带的方向参数，确定双耳响应和/或长期响应估计的部件可以被配置为：通过比较双耳信号的平均频谱与预定hrtf数据集来生成长期均衡滤波器，并且其中，被配置为从经处理的至少一个频带去除所确定的双耳响应和/或长期响应估计的部件可以被配置为：对经处理的至少一个频带应用长期均衡滤波器。
19.被配置为基于双耳音频信号，获得双耳音频信号的至少一个频带的至少一个方向参数的部件可以被配置为：分析双耳音频信号的至少一个频带以确定至少一个频带的至少
一个方向参数。
20.被配置为分析双耳音频信号的至少一个频带以确定至少一个频带的至少一个方向参数的部件可以进一步被配置为：针对至少一个频带，估计延迟，该延迟使双耳音频信号的通道之间的相关性最大化；以及基于所估计的延迟，制定方向参数。
21.上述部件可以进一步被配置为：针对双耳音频信号的至少一个频带，基于双耳音频信号的通道之间的所测量的归一化相关性，获得直接对总能量比(direct-to-total energy ratio)值。
22.被配置为针对双耳音频信号的至少一个频带，基于至少一个频带的至少一个方向参数，生成目标协方差矩阵的至少一部分的部件可以进一步被配置为：针对双耳音频信号的至少一个频带，进一步基于至少一个频带的直接对总能量比值，生成目标协方差矩阵的至少一部分。
23.被配置为基于至少一个频带的至少一个方向参数，确定双耳响应和/或长期响应估计的部件可以被配置为：基于至少一个频带的直接对总能量比值，确定双耳响应和/或长期响应估计。
24.被配置为获得双耳音频信号的部件可以被配置为执行以下中的一个：用仿真头捕获双耳音频信号；在用户的耳道入口处捕获双耳音频信号；根据头部相关传递函数来渲染双耳音频信号；以及使用双耳房间脉冲响应来渲染双耳音频信号。
25.被配置为输出用于扬声器再现的至少两个音频信号的部件可以被配置为：将用于扬声器再现的至少两个音频信号输出到立体声扬声器。
26.根据第二方面，提供一种方法，其包括：获得双耳音频信号；基于双耳音频信号，获得双耳音频信号的至少一个频带的至少一个方向参数；基于至少一个频带的至少一个方向参数，通过修改双耳音频信号的至少一个频带的通道间差异，对双耳音频信号进行处理以生成用于扬声器再现的至少两个音频信号；以及输出用于扬声器再现的至少两个音频信号。
27.双耳音频信号的至少一个频带的通道间差异可以包括以下中的至少一个：双耳音频信号的通道的至少一个能量/幅度差；双耳音频信号的通道的至少一个相位差；以及双耳音频信号的通道的至少一个时间差。
28.对双耳音频信号进行处理以生成用于扬声器再现的至少两个音频信号可以包括：进一步基于至少一个频带的至少一个方向参数，进一步对经处理的至少一个频带应用频谱调整。
29.基于至少一个频带的至少一个方向参数，通过修改至少一个频带的通道间差异，对双耳音频信号进行处理以生成用于扬声器再现的至少两个音频信号可以包括：针对双耳音频信号的至少一个频带，生成协方差矩阵的至少一部分的估计；针对双耳音频信号的至少一个频带，生成能量估计；针对双耳音频信号的至少一个频带，基于至少一个频带的至少一个方向参数，生成目标协方差矩阵的至少一部分；生成用于混合双耳音频信号的至少一个频带的混合矩阵；以及基于混合矩阵，从双耳音频信号的至少一个频带的通道组合生成左通道音频信号和右通道音频信号。
30.用于扬声器再现的至少两个音频信号可以包括左通道音频信号和右通道音频信号。
31.基于至少一个频带的至少一个方向参数，通过修改至少一个频带的通道间差异，对双耳音频信号进行处理以生成用于扬声器再现的至少两个音频信号可以包括：针对至少一个频带，基于双耳音频信号，生成去相关音频信号；针对去相关音频信号，生成另一混合矩阵；基于另一混合矩阵，从去相关音频信号的至少一个频带的通道组合生成另一左通道音频信号和另一右通道音频信号；组合左通道音频信号和另一左通道音频信号以生成组合左通道；以及组合右通道音频信号和另一右通道音频信号以生成组合右通道，并且其中，用于扬声器再现的至少两个音频信号包括组合左通道音频信号和组合右通道音频信号。
32.进一步基于至少一个频带的至少一个方向参数，对经处理的至少一个频带应用频谱调整可以包括：基于至少一个频带的方向参数，确定双耳响应和/或长期响应估计；以及从经处理的至少一个频带对所确定的双耳响应和/或长期响应估计进行补偿。
33.双耳响应和/或长期响应可以包括以下中的至少一个：至少一个能量/幅度；双耳音频信号的通道的至少一个相关性；双耳音频信号的通道的至少一个相位差；双耳音频信号的通道的至少一个时间差。
34.双耳响应和/或长期响应可以包括双耳音频信号的频谱，并且其中，从经处理的至少一个频带去除所确定的双耳响应和/或长期响应估计可以包括：基于所估计的方向参数和与至少一个方向参数对应的平均头部相关传递函数，获得滤波器和/或增益；以及对经处理的至少一个频带应用滤波器和/或增益。
35.基于至少一个频带的方向参数，确定双耳响应和/或长期响应估计可以包括：通过比较双耳信号的平均频谱与预定hrtf数据集来生成长期均衡滤波器，并且其中，从经处理的至少一个频带去除所确定的双耳响应和/或长期响应估计可以包括：对经处理的至少一个频带应用长期均衡滤波器。
36.基于双耳音频信号，获得双耳音频信号的至少一个频带的至少一个方向参数可以包括：分析双耳音频信号的至少一个频带以确定至少一个频带的至少一个方向参数。
37.分析双耳音频信号的至少一个频带以确定至少一个频带的至少一个方向参数可以包括：针对至少一个频带，估计延迟，该延迟使双耳音频信号的通道之间的相关性最大化；以及基于所估计的延迟，制定方向参数。
38.该方法可以进一步包括：针对双耳音频信号的至少一个频带，基于双耳音频信号的通道之间的所测量的归一化相关性，获得直接对总能量比值。
39.针对双耳音频信号的至少一个频带，基于至少一个频带的至少一个方向参数，生成目标协方差矩阵的至少一部分可以进一步包括：针对双耳音频信号的至少一个频带，进一步基于至少一个频带的直接对总能量比值，生成目标协方差矩阵的至少一部分。
40.基于至少一个频带的至少一个方向参数，确定双耳响应和/或长期响应估计可以包括：基于至少一个频带的直接对总能量比值，确定双耳响应和/或长期响应估计。
41.获得双耳音频信号可以包括执行以下中的一个：用仿真头捕获双耳音频信号；在用户的耳道入口处捕获双耳音频信号；根据头部相关传递函数来渲染双耳音频信号；以及使用双耳房间脉冲响应来渲染双耳音频信号。
42.输出用于扬声器再现的至少两个音频信号可以包括：将用于扬声器再现的至少两个音频信号输出到立体声扬声器。
43.根据第三方面，提供了一种装置，其包括至少一个处理器和包括计算机程序代码
的至少一个存储器，该至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使该装置至少：获得双耳音频信号；基于双耳音频信号，获得双耳音频信号的至少一个频带的至少一个方向参数；基于至少一个频带的至少一个方向参数，通过修改双耳音频信号的至少一个频带的通道间差异，对双耳音频信号进行处理以生成用于扬声器再现的至少两个音频信号；以及输出用于扬声器再现的至少两个音频信号。
44.双耳音频信号的至少一个频带的通道间差异可以包括以下中的至少一个：双耳音频信号的通道的至少一个能量/幅度差；双耳音频信号的通道的至少一个相位差；以及双耳音频信号的通道的至少一个时间差。
45.被使得对双耳音频信号进行处理以生成用于扬声器再现的至少两个音频信号的该装置可以被使得：进一步基于至少一个频带的至少一个方向参数，进一步对经处理的至少一个频带应用频谱调整。
46.被使得基于至少一个频带的至少一个方向参数，通过修改至少一个频带的通道间差异，对双耳音频信号进行处理以生成用于扬声器再现的至少两个音频信号的该装置可以被使得：针对双耳音频信号的至少一个频带，生成协方差矩阵的至少一部分的估计；针对双耳音频信号的至少一个频带，生成能量估计；针对双耳音频信号的至少一个频带，基于至少一个频带的至少一个方向参数，生成目标协方差矩阵的至少一部分；生成用于混合双耳音频信号的至少一个频带的混合矩阵；以及基于混合矩阵，从双耳音频信号的至少一个频带的通道组合生成左通道音频信号和右通道音频信号。
47.用于扬声器再现的至少两个音频信号可以包括左通道音频信号和右通道音频信号。
48.被使得基于至少一个频带的至少一个方向参数，通过修改至少一个频带的通道间差异，对双耳音频信号进行处理以生成用于扬声器再现的至少两个音频信号的该装置可以进一步被使得：针对至少一个频带，基于双耳音频信号，生成去相关音频信号；针对去相关音频信号，生成另一混合矩阵；基于另一混合矩阵，从去相关音频信号的至少一个频带的通道组合生成另一左通道音频信号和另一右通道音频信号；组合左通道音频信号和另一左通道音频信号以生成组合左通道；以及组合右通道音频信号和另一右通道音频信号以生成组合右通道，并且其中，用于扬声器再现的至少两个音频信号包括组合左通道音频信号和组合右通道音频信号。
49.被使得进一步基于至少一个频带的至少一个方向参数，进一步对经处理的至少一个频带应用频谱调整的该装置可以被使得：基于至少一个频带的方向参数，确定双耳响应和/或长期响应估计；以及从经处理的至少一个频带对所确定的双耳响应和/或长期响应估计进行补偿。
50.双耳响应和/或长期响应可以包括以下中的至少一个：至少一个能量/幅度；双耳音频信号的通道的至少一个相关性；双耳音频信号的通道的至少一个相位差；双耳音频信号的通道的至少一个时间差。
51.双耳响应和/或长期响应可以包括双耳音频信号的频谱，并且其中，被使得从经处理的至少一个频带去除所确定的双耳响应和/或长期响应估计的该装置可以被使得：基于所估计的方向参数和与至少一个方向参数对应的平均头部相关传递函数，获得滤波器和/或增益；以及对经处理的至少一个频带应用滤波器和/或增益。
52.被使得基于至少一个频带的方向参数，确定双耳响应和/或长期响应估计的该装置可以被使得：通过比较双耳信号的平均频谱与预定hrtf数据集来生成长期均衡滤波器，并且其中，被使得从经处理的至少一个频带去除所确定的双耳响应和/或长期响应估计的该装置可以被使得：对经处理的至少一个频带应用长期均衡滤波器。
53.被使得基于双耳音频信号，获得双耳音频信号的至少一个频带的至少一个方向参数的该装置可以被使得：分析双耳音频信号的至少一个频带以确定至少一个频带的至少一个方向参数。
54.被使得分析双耳音频信号的至少一个频带以确定至少一个频带的至少一个方向参数的该装置可以进一步被使得：针对至少一个频带，估计延迟，该延迟使双耳音频信号的通道之间的相关性最大化；以及基于所估计的延迟，制定方向参数。
55.该装置可以进一步被使得：针对双耳音频信号的至少一个频带，基于双耳音频信号的通道之间的所测量的归一化相关性，获得直接对总能量比值。
56.被使得针对双耳音频信号的至少一个频带，基于至少一个频带的至少一个方向参数，生成目标协方差矩阵的至少一部分的该装置可以进一步被使得：针对双耳音频信号的至少一个频带，进一步基于至少一个频带的直接对总能量比值，生成目标协方差矩阵的至少一部分。
57.被使得基于至少一个频带的至少一个方向参数，确定双耳响应和/或长期响应估计的该装置可以被使得：基于至少一个频带的直接对总能量比值，确定双耳响应和/或长期响应估计。
58.被使得获得双耳音频信号的该装置可以被使得执行以下中的一个：用仿真头捕获双耳音频信号；在用户的耳道入口处捕获双耳音频信号；根据头部相关传递函数来渲染双耳音频信号；以及使用双耳房间脉冲响应来渲染双耳音频信号。
59.被使得输出用于扬声器再现的至少两个音频信号的该装置可以被使得：将用于扬声器再现的至少两个音频信号输出到立体声扬声器。
60.根据第四方面，提供了一种装置，其包括：获得电路，被配置为获得双耳音频信号；获得电路，被配置为基于双耳音频信号，获得双耳音频信号的至少一个频带的至少一个方向参数；处理电路，被配置为基于至少一个频带的至少一个方向参数，通过修改双耳音频信号的至少一个频带的通道间差异，对双耳音频信号进行处理以生成用于扬声器再现的至少两个音频信号；以及输出电路，被配置为输出用于扬声器再现的至少两个音频信号。
61.根据第五方面，提供一种包括指令的计算机程序[或者包括程序指令的计算机可读介质]，这些指令[或者程序指令]用于使装置至少执行以下操作：获得双耳音频信号；基于双耳音频信号，获得双耳音频信号的至少一个频带的至少一个方向参数；基于至少一个频带的至少一个方向参数，通过修改双耳音频信号的至少一个频带的通道间差异，对双耳音频信号进行处理以生成用于扬声器再现的至少两个音频信号；以及输出用于扬声器再现的至少两个音频信号。
[0062]
根据第六方面，提供了一种包括程序指令的非暂时性计算机可读介质，这些程序指令用于使装置至少执行以下操作：获得双耳音频信号；基于双耳音频信号，获得双耳音频信号的至少一个频带的至少一个方向参数；基于至少一个频带的至少一个方向参数，通过修改双耳音频信号的至少一个频带的通道间差异，对双耳音频信号进行处理以生成用于扬
声器再现的至少两个音频信号；以及输出用于扬声器再现的至少两个音频信号。
[0063]
根据第七方面，提供了一种装置，其包括：用于获得双耳音频信号的部件；用于基于双耳音频信号，获得双耳音频信号的至少一个频带的至少一个方向参数的部件；用于基于至少一个频带的至少一个方向参数，通过修改双耳音频信号的至少一个频带的通道间差异，对双耳音频信号进行处理以生成用于扬声器再现的至少两个音频信号的部件；以及用于输出用于扬声器再现的至少两个音频信号的部件。
[0064]
根据第八方面，提供了一种包括程序指令的计算机可读介质，这些程序指令用于使装置至少执行以下操作：获得双耳音频信号；基于双耳音频信号，获得双耳音频信号的至少一个频带的至少一个方向参数；基于至少一个频带的至少一个方向参数，通过修改双耳音频信号的至少一个频带的通道间差异，对双耳音频信号进行处理以生成用于扬声器再现的至少两个音频信号；以及输出用于扬声器再现的至少两个音频信号。
[0065]
一种装置，包括用于执行如上所述的方法的动作的部件。
[0066]
一种装置，被配置为执行如上所述的方法的动作。
[0067]
一种计算机程序，包括用于使计算机执行如上所述的方法的程序指令。
[0068]
一种被存储在介质上的计算机程序产品可以使装置执行本文所述的方法。
[0069]
一种电子设备可以包括如本文所述的装置。
[0070]
一种芯片组可以包括如本文所述的装置。
[0071]
本技术的实施例旨在解决与现有技术相关联的问题。
附图说明
[0072]
为了更好地理解本技术，现在将通过示例的方式参考附图，其中：
[0073]
图1示意性地示出适于实现一些实施例的装置的系统；
[0074]
图2示出根据一些实施例的示例装置的操作的流程图；
[0075]
图3示意性地示出根据一些实施例的如图1中所示的通道间差异修改器；
[0076]
图4示出根据一些实施例的如图3中所示的示例通道间差异修改器的操作的流程图；
[0077]
图5示意性地示出根据一些实施例的如图1中所示的频谱白化器；
[0078]
图6示出根据一些实施例的如图5所示的示例频谱白化器的操作的流程图；以及
[0079]
图7示出适于实现在前面附图中示出的装置的示例设备。
具体实施方式
[0080]
下面更详细地描述用于将双耳信号转换为常规的立体声音频信号的合适装置和可能机制。
[0081]
如在以下实施例中进一步详细讨论的概念是从双耳音频信号生成合适的立体声音频信号。在以下描述中，生成至少两个音频信号(其可以包括左和右通道音频信号，或者可以包括左和右通道的前、中、后、上、或下版本)。所生成的立体声音频信号可以用(立体声)扬声器来再现。因此，由所生成的立体声音频信号的立体声扬声器再现生成的在收听者的耳朵处的双耳线索(itd、ild、ic、频谱线索)与在耳机上回放双耳信号时的双耳线索相似，并且以预期的方式感知空间音频。换句话说，它旨在防止根据输出部件而在收听者的耳
朵处造成的感知差异。这些差异可以包括：在声音方向上的差异、在声音宽度上的差异、在声音空间感上的差异、在声音的频谱上的差异。
[0082]
关于频谱差异，双耳信号通常包含由来自人类的耳朵、头部、躯干等的反射所引起的独特频谱。如本文所讨论的实施例旨在基于双耳信号来产生立体声音频信号，其中，该独特频谱被补偿以使得当用(立体声)扬声器再现并由人类收听者收听时，在信号处没有额外的双耳响应。因此，人类收听者不会接收到“双重的双耳频谱(double binaural spectra)”，并且对音的感知与原始音相似。
[0083]
关于方向差异，双耳信号在更低频率时接近于实际上是具有潜在相位差的双单声道信号，因此，通过立体声扬声器再现这种信号在更低频率时产生类似于将声音幅度平移到扬声器对的中间的效果。如本文所讨论的实施例试图生成立体声音频信号，当与通过耳机再现时的双耳音频信号相比时，该立体声音频信号在用立体声扬声器配置再现时保持对宽度和源定位的合适感知。
[0084]
如本文所讨论的实施例被配置为从双耳音频信号生成合适的立体声音频信号，因此，在使用立体声扬声器作为回放部件时防止使用双耳信号的需要，从而防止或减少任何空间和音感知差错。因此，如本文所讨论的实施例具有改进的感知音频质量，因为不会从错误的方向感知声源并且音不会被使用立体声扬声器直接再现的双耳音频信号着。
[0085]
如本文实施例中所讨论的概念可以被概括为涉及用扬声器再现双耳信号的装置和方法，并且其中，提供了用于将双耳信号转换为适合于立体声和多通道扬声器再现的“非双耳”立体声信号的装置和/或方法。另外，如本文实施例中所描述的，通过分析来自双耳信号的频带中的到达方向(或更一般地，方向参数)并基于所分析的方向而修改双耳信号来执行转换，以使得通道间差异和频谱与“非双耳”立体声信号的预期特征相匹配。
[0086]
双耳信号可以是任何种类的双耳信号，诸如：用仿真头捕获的信号、在真实人类的耳道的入口处捕获的信号、使用头部相关传递函数渲染的信号、或者使用双耳房间脉冲响应渲染的信号。此外，双耳信号可以或者可以不包含任何类型的耳机补偿(例如已使用所测量的耳机传递函数而导出的)。
[0087]
双耳信号旨在用于耳机收听，当这样做时，它们创建空间声音的自然感知(经由自然itd、ild、以及频谱)。因此，可以从正确的方向以正确的音感知声源。相反，“非双耳”立体声信号旨在用于扬声器收听(即，它们是“常规”立体声信号)。如果通过耳机进行收听，则再现在itd、ild方面并不类似于双耳声音，也不类似于双耳频谱，而是代替地，当由扬声器再现“非双耳”立体声信号并将其传播到收听者的耳朵时形成这些特征。
[0088]
可以通过在频带中估计使(双耳)信号之间的相关性最大化的延迟并基于该延迟值来制定方向值来分析到达方向。基于双耳左和右信号之间的所测量的归一化相关性，在频带中估计直接对总能量比值。
[0089]
在一些实施例中，可以通过基于方向和比率元数据而至少确定用于扬声器再现的目标能量/幅度(以及潜在的相关性、相位/时间差)并至少校正输入双耳信号的能量/幅度(以及潜在的相关性、相位/时间差)以与对应的目标特性相匹配来对通道间差异进行修改。
[0090]
在一些实施例中，可以通过首先基于所估计的到达方向和与该方向对应的(多个hrtf集的)平均hrtf而获得滤波器(或频带中的增益)来对频谱进行修改。此外，可以通过比较双耳信号的平均频谱与预定hrtf数据集(也具有不同的耳机补偿)来应用长期均衡滤波
器。
[0091]
在一些实施例中，所得到的“非双耳”信号基本上去除或减少它们中的任何双耳特征(在原始双耳信号中固有的)。因此，双耳特征将通过从扬声器到收听者的耳朵的声传播而被添加。因此，对于使用本发明的双耳信号的扬声器再现，可以实现良好的音频质量(精确和自然的方向感知和无着的音)。
[0092]
关于图1，示出了适于实现一些实施例的装置的框图。如随后所描述的，该装置可以在移动电话或计算机内部实现。此外，它例如可以被实现为独立的装置或程序，或者它例如可以是诸如ivas编解码器之类的音频编解码器的一部分。
[0093]
该框图示出了双耳音频信号100。在此示例中，双耳音频信号100是时域信号。然而，在其中双耳音频信号100是时频域信号的一些实施例中，可以跳过或绕过时频变换器的使用。
[0094]
在一些实施例中，该装置包括时频变换器101。时频变换器101被配置为接收(时域)双耳音频信号100，将它们转换到时频域。合适的变换包括例如短时傅里叶变换(stft)和复合调制正交镜像滤波器(qmf)组。所得到的时频双耳音频信号102可以被标示为sm(b,n)，其中，m是通道索引，b是频率仓(frequency bin)索引，n是时间索引。
[0095]
时频双耳音频信号102可以被转发到方向分析器105和通道间差异修改器103。
[0096]
在一些实施例中，该装置或转换器包括方向分析器105。方向分析器105被配置为接收时频域双耳音频信号102，并在时频域中分析到达方向θ(k,n)和直接对总能量比r(k,n)，其中，k是频带索引。
[0097]
在频带中执行方向分析。时频变换具有一定的频率分辨率，例如，1024-点stft会导致从dc频率到奈奎斯特(nyquist)频率的513个频率仓。这些仓被分组成频带，例如，接近巴克(bark)频率分辨率的24个频带。
[0098]
分析可以在这些频带内进行。每个频带k具有最低仓b
low
(k)和最高仓b
high
(k)。
[0099]
分析器例如可以被配置为到延迟τk，其针对每个频带k使两个通道之间的相关性最大化。这可以通过在通道之一中创建信号的时移版本并将这些时移版本与另一通道信号相关来实现。sm(b,n)的τ个时域样本的时移可以被获得为：
[0100][0101]
其中，n是stft操作的长度。频带k(和时间索引n)的最佳延迟τk从下式获得：
[0102][0103]
其中，c(k,n)是具有最佳延迟τk(其是使上述方程式最大化的参数τ)的相关性，re表示该结果的实部，*表示复共轭。搜索延迟d
max
的范围是基于声音到达两耳的所估计最大时间延迟差而选择的。
[0104]
延迟τk可以通过下式而被转变成角度值：
[0105]
[0106]
该方向参数是在-90与90度之间的方位角值。该方向信息106足以用于对立体声扬声器输出进行渲染，因为没有升高或后置的扬声器(换句话说，输出音频信号在“水平”平面上并且不需要仰角值)。方向信息106或信号进而可以被输出到通道间修改器103和频谱白化器107。
[0107]
另外，在一些实施例中，方向分析器105进一步被配置为确定至少一个对应的能量比r(k,n)。能量比r(k,n)可以通过以下操作来估计：使用例如归一化后的相关性值c(k,n)，例如，通过下式：
[0108][0109]
进而将相关性值与频带c
diff
(k)的中心频率的双耳扩散场相关性相比较以获得该比率：
[0110][0111]
所估计的直接对总能量比也可以被转发到通道间差异修改器103和频谱白化器107。
[0112]
在一些实施例中，转换器包括通道间差异修改器103。通道间差异修改器103被配置为接收时频双耳音频信号102、方向信息106以及能量比信息108。通道间差异修改器103被配置为基于所分析的方向和能量比，至少修改频带中的时频双耳音频信号的耳间水电平差(以及潜在的相位和/或时间差和/或相干性)，以使得经处理的输出具有适合于声音在θ(k,n)方向上并具有直接对总能量比r(k,n)的扬声器再现的通道间水平差。
[0113]
所得到的时频中间音频信号104从通道间差异修改器被输出并被传递给频谱白化器107。
[0114]
在一些实施例中，转换器包括频谱白化器107。该频谱白化器被配置为接收时频中间音频信号104。时频中间音频信号104具有适合于扬声器回放的方向线索(例如，水平差)，但是它们仍然具有所包括的双耳频谱的元素，其可以使用频谱白化器107来去除。因此，频谱白化器107进一步被配置为接收方向信息106和直接对总能量比信息108。频谱白化器107被配置为反转或补偿双耳频谱，并且所得到的时频立体声音频信号110被输出到逆时频变换器111。
[0115]
在一些实施例中，转换器包括逆时频变换器111。逆时频变换器111被配置为对所接收的时频立体声音频信号110应用与所应用的时频变换对应的逆变换(例如，与stft对应的逆stft)，并被配置为输出合适的(脉冲编码调制的)pcm立体声音频信号112，其进而可以用立体声扬声器来再现。
[0116]
关于图2，示出了图示如图1中所示的转换器的操作的流程图。
[0117]
因此，例如，第一操作是如在图2中由步骤201所示的接收双耳音频信号的操作。
[0118]
进而，如在图2中由步骤203所示，对双耳音频信号进行时频变换以生成时频双耳音频信号。
[0119]
如在图2中由步骤204所示，进而可以分析时频双耳音频信号以确定方向和能量比。
[0120]
如在图2中由步骤205所示，进而可以基于所确定的方向和能量比，对时频双耳音频信号进行通道间修改，以生成时频中间音频信号。
[0121]
如在图2中由步骤207所示，进而还可以基于所确定的方向和能量比，对时频中间音频信号进行频谱白化(spectral whitened/whitening)，以生成经时频处理的(立体声)音频信号。
[0122]
进而，如在图2中由步骤209所示，对经时频处理的(立体声)音频信号进行逆时频变换以生成立体声音频信号。
[0123]
如在图2中由步骤211所示，进而可以输出立体声音频信号。
[0124]
关于图3，更详细地示出了通道间差异修改器103。在一些实施例中，通道间差异修改器103包括协方差矩阵估计器301。协方差矩阵估计器301被配置为接收时频双耳音频信号102，并产生合适的估计协方差矩阵(estimated cov mtx)300，诸如：
[0125][0126]
其中，h表示复共轭，并且
[0127][0128]
协方差矩阵估计器301被配置为将估计协方差矩阵c
in
(k,n)300输出到混合矩阵制定器307。
[0129]
协方差矩阵估计器301还可以被配置为将总能量估计e(k,n)用公式表示为c
in
(k,n)的对角线元素的总和。总能量估计302被提供给目标协方差矩阵制定器305。
[0130]
在本文所描述的示例中，输入和目标协方差矩阵公式封装了一组通道间特性(能量差、相位差、相关性)，并且所有这些都可以被处理。然而，在一些实施例中，可以存在信号的至少一部分(例如，在一些频率中)，其中，只有能量将被调整或修改。在这种情况下，不需要估计完整的协方差矩阵。然而，为了简单起见，在此估计了完整的协方差矩阵，届时在后期阶段并不使用可能不必要的数据(取决于配置)。在一些实施例中，实际实现被配置为仅估计在后期阶段中所需的数据或信息。
[0131]
在一些实施例中，通道间差异修改器103包括目标协方差矩阵制定器305。目标协方差矩阵制定器305被配置为接收能量估计302以及方向θ(k,n)和直接对总能量比r(k,n)108参数。在一些实施例中，目标协方差矩阵制定器305针对输出扬声器信号而生成目标协方差矩阵。在一些实施例中，这可以通过以下操作来实现。
[0132]
首先，该矩阵生成平移增益：
[0133]
[0134]
其中，g
l
(θ(k,n))和gr(θ(k,n))是针对在
±
30
°
的扬声器的根据向量基幅度平移(vbap)定律的增益：
[0135][0136]
和
[0137][0138]
进而，目标协方差矩阵被制定为：
[0139][0140]
其中，左侧部分g(k,n)g
t
(k,n)r(k,n)表明与前面平移的声音相关的协方差矩阵，右侧部分表明与环境(或非定向的)声音相关的协方差矩阵。
[0141]
如在上述方程式中所示，这些左和右侧部分进而被相加在一起并用总能量估计e(k,n)对其加权以获得目标协方差矩阵c
target
(k,n)。
[0142]
进而，目标协方差矩阵c
target
(k,n)306可以被提供给混合矩阵制定器307。
[0143]
在一些实施例中，通道间差异修改器103包括混合矩阵制定器307。混合矩阵制定器307被配置为接收目标协方差矩阵306和所估计的协方差矩阵300并生成混合矩阵308，其可以被传递给混合器309。
[0144]
在一些实施例中，混合矩阵制定器307被配置为根据在us20140233762a1以及vilkamo juha、tom 和achim kuntz的“用于空间音频的时频处理的优化协方差域框架(optimized covariance domain framework for time
–
frequency processing of spatial audio)”(音频工程学会期刊，第61卷，第6期，2013年:第403-411页)中所描述的方法来生成混合矩阵。
[0145]
所引用的论文中的方法包括最小二乘优化信号混合技术，用于操纵信号的协方差矩阵，同时很好地保持音频质量。因此，这些方法利用输入信号的协方差矩阵度量和目标协方差矩阵并提供混合矩阵来执行这种处理。当在输入端没有足够量的独立信号能量时，这些方法还提供最佳使用去相关声音的手段。
[0146]
因此，在一些实施例中，混合矩阵制定器307被配置为生成原型矩阵，该原型矩阵确定输出通道应如何类似于输入通道(同时满足目标协方差矩阵的合成)。在当前上下文中，原型矩阵是：
[0147][0148]
当q、c
target
(k,n)和c
in
(k,n)现在已知时，如在所引用的论文中讨论的方法针对非去相关声音提供两个混合矩阵m(k,n)并针对去相关声音提供mr(k,n)。这些混合矩阵308被
提供给混合器309。
[0149]
在一些实施例中，混合矩阵制定器307被配置为(仅)对信号的能量进行补偿而不影响通道之间的相位或相关性。例如，在高频处，这可以是最鲁棒的选择，并且在高频处，相位/相关性信息还具有比在低频处更小的感知关联(perceptual relevance)。在这种情况下，用公式表示的混合矩阵可以是：
[0150][0151][0152]
其中，括号{}标示从协方差矩阵中选择单个矩阵条目。除此以外处理如前所述。
[0153]
在一些实施例中，通道间差异修改器103包括通道去相关器303。通道去相关器303被配置为接收时频双耳音频信号102，并对这两个通道s(b,n)应用去相关以生成双耳输入信号的两个不相干版本(相对于彼此并相对于输入)。该结果是去相关信号sd(b,n)。去相关过程可以是非时变相位加扰(time-invariant phase-scrambling)过程。可以应用任何去相关器，并且去相关器的选择可以取决于所应用的时频变换。去相关信号304进而被提供给混合器309。
[0154]
在一些实施例中，通道间差异修改器103包括混合器309。混合器309被配置为接收时频去相关音频信号304、时频双耳音频信号102以及混合矩阵308，并针对每个频带k生成时频扬声器信号104(没有频谱白化)为：
[0155]s′
ls
(b,n)＝m(k,n)s(b,n)+mr(k,n)sd(b,n)
[0156]
混合矩阵是针对每个频带k的，并且可以针对该频带内的每个仓b应用相同的混合矩阵。可以随时间对混合矩阵(或者可替代地，在制定混合矩阵之前的协方差矩阵)进行平滑以减少潜在的处理伪影。混合器309进而被配置为输出时频中间(扬声器)信号(没有频谱白化)104。
[0157]
通道间差异修改器103的操作如在图4中所示的流程图中被示出。
[0158]
接收时频双耳音频信号在图4中由步骤401示出。
[0159]
如在图4中由步骤403所示，在接收到时频双耳音频信号之后，对这两个通道进行去相关。
[0160]
此外，如在图4中由步骤405所示，从时频双耳音频信号中估计协方差矩阵和(总)能量估计。
[0161]
接收诸如方向和能量比之类的参数化参数在图4中由步骤404示出。
[0162]
如在图4中由步骤407所示，在接收诸如方向和能量比之类的参数化参数以及估计协方差矩阵之后，制定目标协方差矩阵。
[0163]
如在图4中由步骤409所示，在已制定目标协方差矩阵后，进而制定混合矩阵。
[0164]
进而，如在图4中由步骤411所示，基于所定制的混合矩阵来混合时频双耳音频信号和时频去相关音频信号，以生成时频中间(扬声器)音频信号。
[0165]
如在图4中由步骤413所示，进而输出时频中间(扬声器)音频信号。
[0166]
关于图5，示出了根据一些实施例的示例频谱白化器107的框图。
[0167]
频谱白化器107被配置为接收时频中间(扬声器)信号(没有频谱白化)s
′
ls
(b,n)104、方向θ(k,n)106以及直接对总能量比r(k,n)108。
[0168]
在一些实施例中，频谱白化器107包括双耳响应估计器503。在一些实施例中，双耳响应估计器503被配置为接收方向106和能量比108，双耳响应估计器503进而可以估计与方向θ(k,n)和能量比r(k,n)对应的典型双耳信号的能量响应。该能量响应对于双耳来说是共同的，因为通道间差异已经在通道间差异修改器103中被校正。
[0169]
双耳响应估计器503例如可以被配置为首先基于方向θ(k,n)来估计对直接声音的能量响应。这例如可以通过下式来实现：
[0170]edir
(k,n)＝f
hrtf
(θ(k,n))
[0171]
其中，f
hrtf
()是用于获得与在频带k的方向θ对应的hrtf对的平均能量谱的函数。它可以以任何合适的方式来实现。例如，获得若干组hrtf，在此示例中，每组hrtf在数据集中具有相同的方向集合。接下来，针对每个数据集中的每个方向来计算hrtf对的平均能量响应，例如，通过下式：
[0172][0173]
其中，h
left
是用于左耳的hrtf，h
right
是用于右耳的hrtf，i是数据集的索引，|.|标示计算绝对值。当在频带k中确定了hrtf时，进而可以制定在频带k的中间频率处的hrtf。可以组合数据集，例如，通过针对每个方向对它们取平均值，从而得到e
avg
(k,θ)。进而，最后可以实现f
hrtf
()，例如，通过在e
avg
(k,θ)的最接近数据点之间进行插值，以便获得针对方向θ的值(如果数据集e
avg
(k,θ)具有刚好在方向θ上的数据点，则可以直接使用它)。
[0174]
接下来，估计对环境声音的能量响应。由于该估计不基于任何参数，因此，它可以从数据库中取得。可以例如通过对被平均hrtf能量数据集的所有方向进行平均来形成环境声音能量响应的估计：
[0175][0176]
其中，θ(d)是数据集中的d个hrtf方向。
[0177]
进而，双耳能量响应的估计可以通过下式来形成：
[0178]ebin
(k,n)＝r(k,n)e
dir
(k,n)+(1-r(k,n))e
amb
(k)
[0179]
其可以作为双耳响应504被输出到双耳响应去除器501。
[0180]
在一些实施例中，频谱白化器107包括双耳响应去除器501。双耳响应去除器501被配置为接收时频中间(扬声器)信号(没有频谱白化)s
′
ls
(b,n)104和双耳能量响应e
bin
(k,n)504作为输入。双耳响应去除器501被配置为首先通过下式来制定均衡器：
[0181][0182]
其可以在时间上被平滑(或者，e
bin
(k,n)可以在制定g
eq
(k,n))之前在时间上被平滑)。进而可以用公式表示一组经处理的中间信号，如通过下式：
[0183]s″
ls
(b,n)＝g
eq
(k,n)s
′
ls
(b,n)
[0184]
其中，k是仓b所在的频带索引。在所得到的经处理的中间信号s
″
ls
(b,n)处，根据平均hrtf的双耳频谱已被去除。通常，这些信号已经适合于扬声器再现。然而，由于最初产生双耳信号的方式可能存在差异(例如，存在不同种类的人造头和不同的hrtf和brir数据库)，因此，经处理的中间信号s
″
ls
(b,n)502的频谱可能仍然会偏离最优值。
[0185]
因此，在一些实施例中，经处理的中间信号s
″
ls
(b,n)502可以被转发到长期频谱估计器505和长期响应去除器507。
[0186]
在一些实施例中，频谱白化器107包括长期频谱估计器505，其被配置为接收经处理的中间信号s
″
ls
(b,n)502，并估计这些中间信号的长期频谱并将其与预期平均频谱相比较。如果该估计器发现这两者之间的可靠偏差，则它生成所估计的长期响应h
lt
(b,n)506并将其发送到长期响应去除器507。
[0187]
在一些实施例中，频谱白化器107包括长期响应去除器507，其被配置为接收经处理的中间信号s
″
ls
(b,n)502并基于所估计的长期响应506来处理经处理的中间信号s
″
ls
(b,n)502，并输出合适的时频立体声(扬声器)音频信号110：
[0188][0189]
当没有检测到任何可靠偏差时，所估计的响应h
lt
(b,n)可以在所有频率被设置为1。此外，在一些实施例中，长期频谱估计器505和长期响应去除器507是可选的并且可以被省略，经处理的中间音频信号s
″
ls
(b,n)502直接被传递为时频立体声音频信号110。
[0190]
频谱白化器107的输出被示出为时频域立体声信号s
ls
(b,n)，其进而被变换为如在图1的上下文中所表述的时域信号，并且该结果适合于扬声器再现。
[0191]
双耳通道间差异已被修改为更适合于扬声器再现的通道间差异，并且已对双耳频谱进行了补偿。
[0192]
关于图6，示出了，图示示例光谱白化器107的操作的流程图。
[0193]
因此，如在图6中由步骤601所示，接收时频中间音频信号。
[0194]
另外，接收诸如方向和能量比之类的参数化参数在图6中由步骤602示出。
[0195]
如在图6中由步骤604所示，估计双耳响应。
[0196]
进而，如在图6中由步骤605所示，从时频中间音频信号中去除所估计的双耳响应。
[0197]
可选地，如在图6中由步骤607所示，进而估计长期响应。
[0198]
进而，如在图6中由步骤609所示，可选地，进而去除所估计的长期响应。
[0199]
在以上所讨论的实施例中，双耳信号被完全转换为非双耳立体声信号。然而，可存在如下情况：希望仅将双耳信号的一部分转换为非双耳立体声信号。例如，当发生从双耳到非双耳的转换时，可以仅将映射到立体声扬声器之间的那些方向渲染为非双耳声音，同时
使用串扰消除方案(cross-talk cancelling scheme)来在扬声器上再现剩余的(双耳)声音。因此，在一些实施例中，针对方向范围的双耳音频信号的一部分被转换为立体声信号，而该信号的剩余部分未经转换地被传递。这部分也可以是双耳音频信号的总能量的一部分，或者可以是双耳音频信号的频谱的一部分(例如，频带中的一些被转换，而频带中的一些未经处理地被传递)。
[0200]
关于图7，示出了可以被用作如上所述的系统的任何装置部件的示例电子设备。该设备可以是任何合适的电子设备或装置。例如，在一些实施例中，设备1700是移动设备、用户设备、平板计算机、计算机、音频回放装置等。
[0201]
在一些实施例中，设备1700包括至少一个处理器或中央处理单元1707。处理器1707可以被配置为执行各种程序代码，诸如本文所述的方法。
[0202]
在一些实施例中，设备1700包括存储器1711。在一些实施例中，至少一个处理器1707被耦接到存储器1711。存储器1711可以是任何合适的存储部件。在一些实施例中，存储器1711包括用于存储可在处理器1707上实现的程序代码的程序代码部分。此外，在一些实施例中，存储器1711还可以包括用于存储数据(例如根据本文所述的实施例已被处理或将要被处理的数据)的存储数据部分。只要需要，被存储在程序代码部分内的所实现的程序代码和被存储在存储数据部分内的数据可以经由存储器-处理器耦接而被处理器1707取得。
[0203]
在一些实施例中，设备1700包括用户接口1705。在一些实施例中，用户接口1705可以被耦接到处理器1707。在一些实施例中，处理器1707可以控制用户接口1705的操作并从用户接口1705接收输入。在一些实施例中，用户接口1705可以使得用户能够例如经由小键盘向设备1700输入命令。在一些实施例中，用户接口1705可以使得用户能够从设备1700获得信息。例如，用户接口1705可以包括被配置为向用户显示来自设备1700的信息的显示器。在一些实施例中，用户接口1705可以包括触摸屏或触摸接口，其既能够使信息被输入到设备1700中，又能够向设备1700的用户显示信息。在一些实施例中，用户接口1705可以是用于通信的用户接口。
[0204]
在一些实施例中，设备1700包括输入/输出端口1709。在一些实施例中，输入/输出端口1709包括收发机。在这种实施例中，收发机可以被耦接到处理器1707，并且被配置为例如经由无线通信网络实现与其他装置或电子设备的通信。在一些实施例中，收发机或任何合适的收发机或发射机和/或接收机部件可以被配置为经由有线或有线耦接来与其他电子设备或装置通信。
[0205]
收发机可以通过任何合适的已知通信协议来与其他装置通信。例如，在一些实施例中，收发机可以使用合适的通用移动电信系统(umts)协议、诸如ieee 802.x之类的无线局域网(wlan)协议、诸如蓝牙之类的合适的短距离射频通信协议、或红外数据通信路径(irda)。
[0206]
收发机输入/输出端口1709可以被配置为接收信号。
[0207]
输入/输出端口1709可以被耦接到任何合适的音频输出，例如，立体声扬声器系统。
[0208]
通常，本发明的各种实施例可以采用硬件或专用电路、软件、逻辑或其任何组合来实现。例如，一些方面可以采用硬件来实现，而其他方面可以采用可由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可
以被图示和描述为框图、流程图或使用一些其他图形表示，但是众所周知地，本文所描述的这些框、装置、系统、技术或方法可以作为非限制示例采用硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
[0209]
本发明的实施例可以通过可由移动设备的数据处理器(诸如在处理器实体中)执行的计算机软件来实现，或者由硬件、或者由软件和硬件的组合来执行。此外，就此而言，应当注意，如附图中的逻辑流程的任何块可以表示程序步骤、或者互连的逻辑电路、块和功能、或者程序步骤和逻辑电路、块和功能的组合。该软件可以被存储在诸如存储器芯片或在处理器内实现的存储器块之类的物理介质上，诸如硬盘或软盘之类的磁性介质上、以及诸如dvd及其数据变体cd之类的光学介质上。
[0210]
存储器可以是适合于本地技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，诸如基于半导体的存储器设备、磁存储器设备和系统、光学存储器设备和系统、固定存储器和可移除存储器。数据处理器可以是适合于本地技术环境的任何类型，并且作为非限制性示例，可以包括通用计算机、专用计算机、微处理器、数字信号处理器(dsp)、专用集成电路(asic)、基于多核处理器架构的门级电路和处理器中的一个或多个。
[0211]
可以在诸如集成电路模块之类的各种组件中实践本发明的实施例。集成电路的设计总体上是高度自动化的过程。复杂而功能强大的软件工具可用于将逻辑级设计转换为准备在半导体衬底上蚀刻和形成的半导体电路设计。
[0212]
程序，诸如由加利福尼亚州山景城的synopsys公司和加利福尼亚州圣何塞的cadence design所提供的程序，使用完善的设计规则以及预先存储的设计模块库来自动对导体进行布线并将组件定位在半导体芯片上。一旦完成了半导体电路的设计，就可以将标准化电子格式(例如，opus、gdsii等)的所得设计传送到半导体制造设施或“fab”进行制造。
[0213]
前面的描述已经通过示例性和非限制性示例提供了本发明的示例性实施例的完整和有益的描述。然而，当结合附图和所附权利要求书阅读时，鉴于以上描述，各种修改和改编对于相关领域的技术人员而言将变得显而易见。然而，本发明的教导的所有这些和类似的修改仍将落入所附权利要求书所限定的本发明的范围内。
技术特征：
1.一种装置，包括被配置为执行以下操作的部件：获得双耳音频信号；基于对所述双耳音频信号的至少一个频带的分析，获得所述双耳音频信号的所述至少一个频带的至少一个方向参数；基于所述至少一个频带的所述至少一个方向参数，通过修改所述双耳音频信号的所述至少一个频带的通道间差异，对所述双耳音频信号进行处理以生成用于扬声器再现的至少两个音频信号；以及输出用于扬声器再现的所述至少两个音频信号。2.根据权利要求1所述的装置，其中，所述双耳音频信号的所述至少一个频带的所述通道间差异包括以下中的至少一个：所述双耳音频信号的通道的至少一个能量/幅度差；所述双耳音频信号的通道的至少一个相位差；以及所述双耳音频信号的通道的至少一个时间差。3.根据权利要求1或2中任一项所述的装置，其中，被配置为对所述双耳音频信号进行处理以生成用于扬声器再现的至少两个音频信号的所述部件被配置为：进一步基于所述至少一个频带的所述至少一个方向参数，进一步对经处理的至少一个频带应用频谱调整。4.根据权利要求1至3中任一项所述的装置，其中，被配置为基于所述至少一个频带的所述至少一个方向参数，通过修改所述至少一个频带的通道间差异，对所述双耳音频信号进行处理以生成用于扬声器再现的至少两个音频信号的所述部件被配置为：针对所述双耳音频信号的所述至少一个频带，生成协方差矩阵的至少一部分的估计；针对所述双耳音频信号的所述至少一个频带，生成能量估计；针对所述双耳音频信号的所述至少一个频带，基于所述至少一个频带的所述至少一个方向参数，生成目标协方差矩阵的至少一部分；生成用于混合所述双耳音频信号的所述至少一个频带的混合矩阵；以及基于所述混合矩阵，从所述双耳音频信号的所述至少一个频带的通道组合生成左通道音频信号和右通道音频信号。5.根据权利要求4所述的装置，其中，用于扬声器再现的所述至少两个音频信号包括所述左通道音频信号和所述右通道音频信号。6.根据权利要求4所述的装置，其中，被配置为基于所述至少一个频带的所述至少一个方向参数，通过修改所述至少一个频带的通道间差异，对所述双耳音频信号进行处理以生成用于扬声器再现的至少两个音频信号的所述部件进一步被配置为：针对至少一个频带，基于所述双耳音频信号，生成去相关音频信号；针对所述去相关音频信号，生成另一混合矩阵；基于所述另一混合矩阵，从所述去相关音频信号的所述至少一个频带的通道组合生成另一左通道音频信号和另一右通道音频信号；组合所述左通道音频信号和所述另一左通道音频信号以生成组合左通道；以及组合所述右通道音频信号和所述另一右通道音频信号以生成组合右通道，并且其中，用于扬声器再现的所述至少两个音频信号包括所述组合左通道音频信号和所述组合右通道音频信号。
7.根据权利要求3或从属于权利要求3的任一权利要求所述的装置，其中，被配置为进一步基于所述至少一个频带的所述至少一个方向参数，进一步对经处理的至少一个频带应用频谱调整的所述部件被配置为：基于所述至少一个频带的所述方向参数，确定双耳响应和/或长期响应估计；以及从所述经处理的至少一个频带对所确定的双耳响应和/或长期响应估计进行补偿。8.根据权利要求7所述的装置，其中，所述双耳响应和/或所述长期响应包括以下中的至少一个：至少一个能量/幅度；所述双耳音频信号的通道的至少一个相关性；所述双耳音频信号的通道的至少一个相位差；所述双耳音频信号的通道的至少一个时间差。9.根据权利要求7所述的装置，其中，所述双耳响应和/或所述长期响应包括所述双耳音频信号的频谱，并且其中，被配置为从所述经处理的至少一个频带去除所确定的双耳响应和/或长期响应估计的所述部件被配置为：基于所估计的方向参数和与所述至少一个方向参数对应的平均头部相关传递函数，获得滤波器和/或增益；以及对所述经处理的至少一个频带应用所述滤波器和/或所述增益。10.根据权利要求7所述的装置，其中，被配置为基于所述至少一个频带的所述方向参数，确定双耳响应和/或长期响应估计的所述部件被配置为：通过比较所述双耳信号的平均频谱与预定hrtf数据集来生成长期均衡滤波器，并且其中，被配置为从所述经处理的至少一个频带去除所确定的双耳响应和/或长期响应估计的所述部件被配置为：对所述经处理的至少一个频带应用所述长期均衡滤波器。11.根据权利要求1至10中任一项所述的装置，其中，被配置为基于所述双耳音频信号，获得所述双耳音频信号的至少一个频带的至少一个方向参数的所述部件被配置为：分析所述双耳音频信号的所述至少一个频带以确定所述至少一个频带的所述至少一个方向参数。12.根据权利要求11所述的装置，其中，被配置为分析所述双耳音频信号的所述至少一个频带以确定所述至少一个频带的所述至少一个方向参数的所述部件进一步被配置为：针对所述至少一个频带，估计延迟，所述延迟使所述双耳音频信号的通道之间的相关性最大化；以及基于所估计的延迟，制定方向参数。13.根据权利要求1至11中任一项所述的装置，其中，所述部件进一步被配置为：针对所述双耳音频信号的所述至少一个频带，基于所述双耳音频信号的通道之间的所测量的归一化相关性，获得直接对总能量比值。14.根据从属于权利要求4或从属于权利要求4的任一权利要求的权利要求13所述的装置，其中，被配置为针对所述双耳音频信号的所述至少一个频带，基于所述至少一个频带的所述至少一个方向参数，生成目标协方差矩阵的至少一部分的所述部件进一步被配置为：针对所述双耳音频信号的所述至少一个频带，进一步基于所述至少一个频带的所述直接对总能量比值，生成所述目标协方差矩阵的所述至少一部分。15.根据从属于权利要求4或从属于权利要求4的任一权利要求的权利要求13所述的装
置，其中，被配置为基于所述至少一个频带的所述至少一个方向参数，确定双耳响应和/或长期响应估计的所述部件被配置为：基于所述至少一个频带的所述直接对总能量比值，确定所述双耳响应和/或长期响应估计。16.根据权利要求1至15中任一项所述的装置，其中，被配置为获得双耳音频信号的所述部件被配置为执行以下中的一个：用仿真头捕获所述双耳音频信号；在用户的耳道入口处捕获所述双耳音频信号；根据头部相关传递函数来渲染所述双耳音频信号；以及使用双耳房间脉冲响应来渲染所述双耳音频信号。17.根据权利要求1至16中任一项所述的装置，其中，被配置为输出用于扬声器再现的所述至少两个音频信号的所述部件被配置为：将用于扬声器再现的所述至少两个音频信号输出到立体声扬声器。18.一种方法，包括：获得双耳音频信号；基于对所述双耳音频信号的至少一个频带的分析，获得所述双耳音频信号的所述至少一个频带的至少一个方向参数；基于所述至少一个频带的所述至少一个方向参数，通过修改所述双耳音频信号的所述至少一个频带的通道间差异，对所述双耳音频信号进行处理以生成用于扬声器再现的至少两个音频信号；以及输出用于扬声器再现的所述至少两个音频信号。19.一种装置，包括至少一个处理器和包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述装置至少：获得双耳音频信号；基于对所述双耳音频信号的至少一个频带的分析，获得所述双耳音频信号的所述至少一个频带的至少一个方向参数；基于所述至少一个频带的所述至少一个方向参数，通过修改所述双耳音频信号的所述至少一个频带的通道间差异，对所述双耳音频信号进行处理以生成用于扬声器再现的至少两个音频信号；以及输出用于扬声器再现的所述至少两个音频信号。20.一种非暂时性计算机可读介质，包括程序指令，所述程序指令用于使装置至少执行以下操作：获得双耳音频信号；基于对所述双耳音频信号的至少一个频带的分析，获得所述双耳音频信号的所述至少一个频带的至少一个方向参数；基于所述至少一个频带的所述至少一个方向参数，通过修改所述双耳音频信号的所述至少一个频带的通道间差异，对所述双耳音频信号进行处理以生成用于扬声器再现的至少两个音频信号；以及输出用于扬声器再现的所述至少两个音频信号。
技术总结
一种装置，包括被配置为执行以下操作的部件：获得双耳音频信号；基于双耳音频信号，获得双耳音频信号的至少一个频带的至少一个方向参数；基于至少一个频带的至少一个方向参数，通过修改双耳音频信号的至少一个频带的通道间差异，对双耳音频信号进行处理以生成用于扬声器再现的至少两个音频信号；以及输出用于扬声器再现的至少两个音频信号。声器再现的至少两个音频信号。声器再现的至少两个音频信号。
