感内计算像素单元、感内计算阵列结构及其操作方法和图像传感运算系统
1.本公开涉及半导体器件及集成电路技术领域,尤其涉及一种感内计算像素单元、感内计算阵列结构及其操作方法和图像传感运算系统。
背景技术:
2.图像传感运算系统可以有效的实现如人脸识别、指纹识别等图像感知处理功能,在监控安保、人机交互等领域应用广泛。传统图像传感运算系统通常由图像传感器与运算处理模块相分离,需要先在图像传感器内将光信号转换成原始图像信号,然后再传输至运算处理模块进行运算处理,造成图像传感运算系统复杂、冗余数据量大以及传递距离长等缺点,严重影响系统的图像感知运算效率。
技术实现要素:
3.(一)要解决的技术问题
4.为解决现有图像传感运算系统所存在的上述技术问题至少之一,本公开提供了一种感内计算像素单元、感内计算阵列结构及其操作方法和图像传感运算系统,可实现对相邻像素信号的运算处理,显著提高图像感知运算效率。
5.(二)技术方案
6.本公开的一个方面提供了一种感内计算像素单元,其中,包括第一感光单元、第二感光单元、第三感光单元以及第四感光单元。第二感光单元与所述第一感光单元相连;第三感光单元与所述第一感光单元和第二感光单元对应设置;第四感光单元与所述第三感光单元相连;
7.其中,在所述感内计算像素单元接收到光照,且向所述第一感光单元和第二感光单元同时施加第一使能控制信号,同时向所述第三感光单元和第四感光单元同时施加第二使能控制信号时,所述第一感光单元输出第一输出电流,第二感光单元输出第二输出电流,第三感光单元输出第三输出电流,第四感光单元输出第四输出电流,所述第一输出电流、第二输出电流、第三输出电流和第四输出电流用于实现基于感内计算的相邻像素信号的运算。
8.根据本公开的实施例,所述第一感光单元的源极与所述第二感光单元的源极连接,以共同连接施加的所述第一使能信号。
9.根据本公开的实施例,所述第一感光单元的栅极连接第一读出控制信号,阱电极连接第一曝光控制信号,漏极作为所述第一感光单元的输出端输出所述第一输出电流;所述第二感光单元的栅极连接第二读出控制信号,阱电极连接第二曝光控制信号,漏极作为所述第二感光单元的输出端输出所述第二输出电流。
10.根据本公开的实施例,所述第三感光单元的漏极与所述第四感光单元的漏极连接,以共同连接施加的所述第二使能信号。
11.根据本公开的实施例,所述第三感光单元的栅极连接第三读出控制信号,阱电极连接第三曝光控制信号,源极作为所述第三感光单元的输出端输出所述第三输出电流;所述第四感光单元的栅极连接第四读出控制信号,阱电极连接第四曝光控制信号,源极作为所述第四感光单元的输出端输出所述第四输出电流。
12.根据本公开的实施例,所述第一感光单元、第二感光单元、第三感光单元和第四感光单元为四种不同类型的超薄体及埋氧结构的感光晶体管;其中,超薄体及埋氧结构的感光晶体管包括:nmos-p阱感光晶体管、nmos-n阱感光晶体管、pmos-p阱感光晶体管和pmos-n阱感光晶体管。
13.本公开的另一方面还提供了一种感内计算阵列结构,其中,包括多个上述的感内计算像素单元和多个信号运算单元。多个信号运算单元在所述多个感内计算像素单元所构成的阵列中间隔排布;其中,所述多个信号运算单元中的每个信号运算单元与相邻的所述多个感内计算像素单元中的四个感内计算像素单元匹配。
14.根据本公开的实施例,所述多个信号运算单元中的每个信号运算单元包括第一运算输入端、第二运算输入端、第三运算输入端以及第四运算输入端。第一运算输入端连接所述多个感内计算像素单元中的第一感内计算像素单元的第四感光单元的源极,用于向对应信号运算单元输入所述第四感光单元输出的第四输出电流;第二运算输入端连接所述多个感内计算像素单元中的第二感内计算像素单元的第三感光单元的源极,用于向对应信号运算单元输入所述第三感光单元输出的第三输出电流;第三运算输入端连接所述多个感内计算像素单元中的第三感内计算像素单元的第二感光单元的漏极,用于向对应信号运算单元输入所述第二感光单元输出的第二输出电流;第四运算输入端连接所述多个感内计算像素单元中的第四感内计算像素单元的第一感光单元的漏极,用于向对应信号运算单元输入所述第一感光单元输出的第一输出电流。
15.根据本公开的实施例,所述多个信号运算单元中的每个信号运算单元还包括输入使能端和运算输出端。输入使能端连接输入使能信号;运算输出端与所述输入使能端对应设置在对应信号运算单元上,用于响应于所述输入使能信号,输出对应信号运算单元针对所述第一输出电流、第二输出电流、第三输出电流和第四输出电流的运算结果。
16.本公开的又一个方面还提供了一种上述感内计算阵列结构的操作方法,其中,包括:对所述感内计算阵列结构的每个信号运算单元所对应的四个感内计算像素单元施加光照,实现对所述感内计算阵列结构的曝光操作;基于上述曝光操作,控制实现对所述感内计算阵列结构的读出操作,读出所述感内计算阵列结构的每个信号运算单元的运算结果;以及响应于所述运算结果的读出,对所述感内计算阵列结构执行复位操作。
17.本公开的再一个方面还提供了一种图像传感运算系统,其中,包括上述感内计算阵列结构所构成的感内计算运算模块,以实现上述的操作方法。
18.(三)有益效果
19.本公开提供了一种感内计算像素单元、感内计算阵列结构及其操作方法和图像传感运算系统,其中,该感内计算像素单元包括第一感光单元、第二感光单元、第三感光单元以及第四感光单元。第二感光单元与第一感光单元相连;第三感光单元与第一感光单元和第二感光单元对应设置;第四感光单元与第三感光单元相连;其中,在感内计算像素单元接收到光照,且向第一感光单元和第二感光单元同时施加第一使能控制信号,同时向第三感
光单元和第四感光单元同时施加第二使能控制信号时,第一感光单元输出第一输出电流,第二感光单元输出第二输出电流,第三感光单元输出第三输出电流,第四感光单元输出第四输出电流,第一输出电流、第二输出电流、第三输出电流和第四输出电流用于实现基于感内计算的相邻像素信号的运算。可实现在像素阵列内对相邻像素信号的运算处理,显著提高图像感知运算效率。
附图说明
20.图1示意性示出了根据本公开实施例的感内计算像素单元的组成图;
21.图2a示意性示出了根据本公开实施例的nmos-p阱感光晶体管(n-p型utbb单元)的结构组成图、等效电路图以及输出电流与光强对应关系图;
22.图2b示意性示出了根据本公开实施例的nmos-n阱感光晶体管(n-n型utbb单元)的结构组成图、等效电路图以及输出电流与光强对应关系图;
23.图2c示意性示出了根据本公开实施例的pmos-p阱感光晶体管(p-p型utbb单元)的结构组成图、等效电路图以及输出电流与光强对应关系图;
24.图2d示意性示出了根据本公开实施例的pmos-n阱感光晶体管(p-n型utbb单元)的结构组成图、等效电路图以及输出电流与光强对应关系图;
25.图3示意性示出了根据本公开实施例的基于上述图2a-图2d所示utbb单元的感内计算像素单元的组成图;
26.图4示意性示出了根据本公开实施例的基于上述感内计算像素单元的感内计算阵列结构的组成图;
27.图5示意性示出了根据本公开实施例的基于上述图4所示的感内计算阵列结构的信号运算单元的组成图;
28.图6示意性示出了根据本公开实施例的基于上述图4所示的感内计算阵列结构的某个信号运算单元与周围相感内计算像素单元之间的连接关系图;
29.图7a示意性示出了根据本公开实施例的基于上述图4所示的感内计算阵列结构的像素单元使能控制信号v
en
和v
ep
互联关系的感算阵列结构图;
30.图7b示意性示出了根据本公开实施例的基于上述图4所示的感内计算阵列结构的像素单元曝光控制信号v
b1
和v
b4
互联关系的感算阵列结构图;
31.图7c示意性示出了根据本公开实施例的基于上述图4所示的感内计算阵列结构的像素单元曝光控制信号v
b2
和v
b3
互联关系的感算阵列结构图;
32.图7d示意性示出了根据本公开实施例的基于上述图4所示的感内计算阵列结构的像素单元读出控制信号v
g2
和v
g3
互联关系的感算阵列结构图
33.图7e示意性示出了根据本公开实施例的基于上述图4所示的感内计算阵列结构的像素单元读出控制信号v
g1
和v
g4
互联关系的感算阵列结构图;
34.图7f示意性示出了根据本公开实施例的基于上述图4所示的感内计算阵列结构的运算单元读出使能信号v
oe
和运算输出信号互联关系的感算阵列结构图。
35.图8示意性示出了根据本公开实施例的基于上述图6所示的信号运算单元的运算功能图;
36.图9示意性示出了根据本公开实施例的针对上述图4所示的感内计算阵列结构的
操作方法的流程图;以及
37.图10示意性示出了根据本公开实施例的感内计算像素单元规模为m
×
n对应的感内计算阵列结构的操作时序图。
具体实施方式
38.为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
39.需要说明的是,在附图或说明书正文中,未绘示或描述的实现方式,均为所属技术领域中普通技术人员所知的形式,并未进行详细说明。此外,上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式,本领域普通技术人员可对其进行简单地更改或替换。
40.还需要说明的是,实施例中提到的方向用语,例如“上”、“下”、“前”、“后”、“左”、“右”等,仅是参考附图的方向,并非用来限制本公开的保护范围。贯穿附图,相同的元素由相同或相近的附图标记来表示。在可能导致对本公开的理解造成混淆时,将省略常规结构或构造。
41.并且图中各部件的形状和尺寸不反映真实大小和比例,而仅示意本公开实施例的内容。另外,在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。
42.再者,单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。
43.说明书与权利要求中所使用的序数例如“第一”、“第二”、“第三”等的用词,以修饰相应的元件,其本身并不意味着该元件有任何的序数,也不代表某一元件与另一元件的顺序或是制造方法上的顺序,这些序数的使用仅用来使具有某命名的一元件得以和另一具有相同命名的元件能做出清楚区分。
44.本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把他们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把他们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的代替特征来代替。并且,在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。
45.类似地,应当理解,为了精简本公开并帮助理解各个公开方面的一个或多个,在上面对本公开的示例性实施例的描述中,本公开的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本公开要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,公开方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都
作为本公开的单独实施例。
46.具有传感器像素阵列的图像传感运算系统,借助于传感器像素阵列能够实现相应处理运算功能,即实现感内计算,但是现有感内计算方式不具有在像素阵列内对相邻像素信号的处理功能,对图像感知运算效率提升仍然存在较大的提升空间。
47.如图1所示,本公开的一个方面提供了一种感内计算像素单元100(后续简称为像素单元),其中,包括第一感光单元110、第二感光单元120、第三感光单元130以及第四感光单元140。
48.第二感光单元120与第一感光单元110相连,用于共同施加第一使能控制信号v
en
;
49.第三感光单元130与第一感光单元110和第二感光单元120对应设置,即在空间结构分布中相互对应,一般一个像素单元中的多个感光单元可以相互均匀排布,具体可以参照图1所示的排布形式;
50.第四感光单元140与第三感光单元130相连,用于共同施加第二使能控制信号v
ep
;
51.其中,在感内计算像素单元100接收到光照,且向第一感光单元110和第二感光单元120同时施加第一使能控制信号v
en
,同时向第三感光单元130和第四感光单元140同时施加第二使能控制信号v
ep
时,第一感光单元110输出第一输出电流i
np
,第二感光单元120输出第二输出电流i
nn
,第三感光单元130输出第三输出电流i
pp
,第四感光单元140输出第四输出电流i
pn
,第一输出电流i
np
、第二输出电流i
nnn
、第三输出电流i
pp
以及第四输出电流i
pn
用于实现基于感内计算的相邻像素信号的运算。其中,第一使能控制信号v
en
和第二使能控制信号v
ep
为控制电压信号,可以使得该相应的感光单元在光照条件下,产生相应的电流输出。
52.接受同一光强照射时,4不同类型的感光单元(即第一感光单元110、第二感光单元120、第三感光单元130以及第四感光单元140)的输出电流随光强的变化趋势并不相同。因此,同一该像素单元100可以输出4个光强对应关系并不相同的输出信号,即i
np
、i
nn
、i
pp
以及i
pn
。
53.因此,基于上述像素单元的结构形式,而在构成感内计算阵列结构(如后文)时,当每相邻的4个像素单元的不同感光单元的输出信号输入至同一运算单元,则结合各个像素单元输出信号本身对光强响应关系的差异,运算单元可以在像素阵列内对相邻像素单元信号进行运算,实现优异的图像处理功能,从而有助于削减冗余数据并缩短数据的传输距离,提高系统的图像感知运算效率。
54.换言之,相对于复杂、数据量大且传递距离长的传统方式,本公开上述借助于图1所示的感内计算像素单元,能够在实现感内计算的基础上,有效地削减冗余数据并缩短数据的传输距离,显著提高系统的图像感知运算效率,并且还能够在此基础上,进一步借助于四个不同感光单元的不同输出信号,对在像素阵列内相邻像素单元间的输出信号实现运算,从而能够实现像素阵列中的信号处理功能,进而可以达到可在像素阵列内对相邻像素信号进行运算的感内计算阵列中的像素单元结构、感内计算阵列结构和相应的可在像素阵列内对相邻像素信号进行运算的感内计算阵列操作方法,具体可以参见后文。
55.如图1-图2d所示,根据本公开的实施例,第一感光单元110、第二感光单元120、第三感光单元130和第四感光单元140为四种不同类型的超薄体及埋氧结构的感光晶体管(即utbb单元);
56.其中,超薄体及埋氧结构的感光晶体管包括:nmos-p阱感光晶体管、nmos-n阱感光
晶体管、pmos-p阱感光晶体管和pmos-n阱感光晶体管。
57.在本公开实施例中,第一感光单元110可以为如图2a所示的nmos-p阱感光晶体管,第二感光单元120可以为如图2b所示的nmos-n阱感光晶体管,第三感光单元130可以为如图2c所示的pmos-p阱感光晶体管,第四感光单元140可以为如图2d所示的pmos-n阱感光晶体管。其中,本领域技术人员应当理解,上述关于第一感光单元、第二感光单元、第三感光单元和第四感光单元的具体类型并不以此为限,可以依据实际需要做相应调整。
58.如图2a-图2d所示4种utbb感光晶体管单元(即utbb单元)结构,根据晶体管和阱掺杂类型组合的不同可分为nmos-p阱单元(n-p单元)、nmos-n阱单元(n-n单元)、pmos-p阱单元(p-p单元)和pmos-n阱单元(p-n单元)。其中,每种单元均有4个电极,包括栅极(g)、漏极(d)、源极(s)和阱电极(b)。其中,具体的utbb单元的结构组成形式可以参照图2a-图2d所示内容,在此不作赘述。
59.本公开实施例中的感内计算像素单元由4种晶体管类型与阱掺杂类型组合互不相同的超薄体及埋氧结构的感光晶体管单元(utbb单元)构成。其中,该像素单元在接收同一光强照射时,4种utbb感光单元的输出电流随光强的变化趋势并不相同,因此同一像素单元可以输出4个光强对应关系并不相同的输出信号。因此,在构成感内计算阵列时,每相邻的4个像素单元的输出信号输入至同一运算单元,结合像素单元输出信号本身对光强响应关系的差异,运算单元可以在像素阵列内对相邻像素单元信号进行运算,实现一定的图像处理功能,从而有助于削减冗余数据并缩短数据的传输距离,提高系统的图像感知运算效率。
60.如图3所示,根据本公开的实施例,第一感光单元的源极与第二感光单元的源极连接,以共同连接施加的第一使能信号。
61.根据本公开的实施例,第一感光单元的栅极连接第一读出控制信号,阱电极连接第一曝光控制信号,漏极作为第一感光单元的输出端输出第一输出电流;第二感光单元的栅极连接第二读出控制信号,阱电极连接第二曝光控制信号,漏极作为第二感光单元的输出端输出第二输出电流。
62.具体地,该在像素阵列内可对相邻像素信号进行运算的感内计算像素单元结构如图3所示,同一像素单元中的4个不同感光单元接收相同的入射光进行曝光,其中:
63.n-p单元与n-n单元源极s连接在一起,共同连接使能控制信号v
en
;n-p单元的栅极连接读出控制信号v
g1
,n-p单元的阱电极接曝光控制信号v
b1
,n-p单元的漏极电流为像素单元4个输出电流之一的i
np
;n-n单元的栅极接读出控制信号v
g2
,n-n单元的阱电极接曝光控制信号v
b2
,n-n单元的漏极电流为像素单元4个输出电流之一的i
nn
。
64.如图3所示,根据本公开的实施例,第三感光单元的漏极与第四感光单元的漏极连接,以共同连接施加的第二使能信号。
65.根据本公开的实施例,第三感光单元的栅极连接第三读出控制信号,阱电极连接第三曝光控制信号,源极作为第三感光单元的输出端输出第三输出电流;第四感光单元的栅极连接第四读出控制信号,阱电极连接第四曝光控制信号,源极作为第四感光单元的输出端输出第四输出电流。
66.如图3所示,在同一像素单元中的4个不同感光单元接收相同的入射光进行曝光的情况下,p-p单元与p-n单元漏极连接在一起,共同接使能控制信号v
ep
;p-p单元的栅极接读出控制信号v
g3
,p-p单元的阱电极接曝光控制信号v
b3
,p-p单元的漏极电流为像素单元4个
输出电流之一的i
pp
;p-n单元的栅极接读出控制信号v
g4
,p-n单元的阱电极接曝光控制信号v
b4
,p-n单元的漏极电流为像素单元4个输出电流之一的i
pn
。
67.因此,结合上述图2a-图2d所示4种不同utbb感光单元的结构组成示意图、对应等效电路图以及对应输出电流(源漏电流)随光强变化的示意图,由于utbb感光单元根据晶体管类型和阱掺杂类型的不同可分为nmos-p阱(n-p)单元、nmos-n阱(n-n)单元、pmos-p阱(p-p)单元和pmos-n阱(p-n)单元,每种感光单元均有4个电极,即栅极(g)、漏极(d)、源极(s)和阱电极(b),其等效电路为晶体管背栅级联一光敏电容,电容值随光照作用的增强而减小。4种感光单元曝光前后的漏极电流变化量的绝对值可以表征所受光照的大小,其中n-p单元和p-p单元的阱电极曝光时的控制电压vb<0,阱中产生耗尽区并收集光生电子,从而拉低了耗尽区的电势,一方面其等效电容减小,另一方面会对埋氧上方的晶体管产生背栅调制作用,使nmos的v
th
增大,使pmos的减小,因此在栅压漏压相同的情况下,n-p单元的输出电流会随光强增强而减小,变化量为负值,n-n单元的输出电流会随光强增强而增大,变化量为正值。而n-n和p-n单元曝光时vb>0,耗尽区收集的是光生空穴,会抬高耗尽区电势,减小其等效电容的同时对晶体管产生与p阱单元相反的背栅调制作用,使nmos的v
th
减小,使pmos的增大,因此p-p单元的输出电流会随光强增强而增大,变化量为正值,p-n单元的输出电流会随光强增强而减小,变化量为负值。
68.如图4所示,本公开的另一方面还提供了一种感内计算阵列结构,其中,包括多个上述图1-图3所示的感内计算像素单元和多个信号运算单元。
69.多个信号运算单元在多个感内计算像素单元所构成的阵列中间隔排布;
70.其中,多个信号运算单元中的每个信号运算单元与相邻的多个感内计算像素单元中的四个感内计算像素单元匹配。其中,当该感内计算阵列结构中所具有像素单元的数量为m
×
n个时,其该感内计算阵列结构中所具有的对应信号运算单元的数量可以为(m-1)
×
(n-1),以保证上述感内计算阵列结构中所具有像素单元和对应信号运算单元之间的数量和分布等匹配效果。数量设置相反也可以,但一般以像素单元的数量为多数来设计。
71.其中,像素单元和信号运算单元的分布均可以依照相应的规律性分布设计,使得整个感内计算阵列结构的尺寸能够实现高度集成化,以尽可能地在保证相应可在像素阵列内对相邻像素信号进行处理的情况下,显著提高其运算效率和处理精度。
72.如图5所示,根据本公开的实施例,多个信号运算单元中的每个信号运算单元包括第一运算输入端、第二运算输入端、第三运算输入端以及第四运算输入端,即如图5所示运算输入1-4。
73.第一运算输入端连接多个感内计算像素单元中的第一感内计算像素单元的第四感光单元的源极,用于向对应信号运算单元输入第四感光单元输出的第四输出电流;
74.第二运算输入端连接多个感内计算像素单元中的第二感内计算像素单元的第三感光单元的源极,用于向对应信号运算单元输入第三感光单元输出的第三输出电流;
75.第三运算输入端连接多个感内计算像素单元中的第三感内计算像素单元的第二感光单元的漏极,用于向对应信号运算单元输入第二感光单元输出的第二输出电流;
76.第四运算输入端连接多个感内计算像素单元中的第四感内计算像素单元的第一感光单元的漏极,用于向对应信号运算单元输入第一感光单元输出的第一输出电流。
77.其中,对于同一信号运算单元而言,输入的四个输入信号属于四个不同的感内计
算像素单元的不同类型的感光单元的输出电流值,即运算输入1输入的是第一个感内计算像素单元的n-p单元的输出电流值i
np
,运算输入2输入的是第二个感内计算像素单元的n-n单元的输出电流值i
nn
,运算输入3输入的是第三个感内计算像素单元的p-p单元的输出电流值i
pp
,运算输入4输入的是第四个感内计算像素单元的p-n单元的输出电流值i
pn
,其中,第一个感内计算像素单元、第二个感内计算像素单元、第三个感内计算像素单元和第四个感内计算像素单元围绕同一个信号运算单元排布。因此,才可以有效确保同一个信号运算单元能够实现在像素阵列内对相邻像素输出信号的运算处理过程。
78.如图5、图6和图8所示,根据本公开的实施例,多个信号运算单元中的每个信号运算单元还包括输入使能端和运算输出端。
79.输入使能端连接输入使能信号v
oe
;
80.运算输出端与输入使能端对应设置在对应信号运算单元上,用于响应于所述输入使能信号v
oe
,输出对应信号运算单元针对第一输出电流、第二输出电流、第三输出电流和第四输出电流的运算结果,即运算输出。
81.如图5、图6和图8所示,运算单元共有4个运算输入端,1个输入使能控制端(输入使能信号v
oe
),1个运算结果输出端(运算输出)。运算输入端输入参与运算的原始信号;输入使能控制端连接使能信号v
oe
,该使能信号用于决定信号运算单元是否可输出运算结果;运算结果输出端负责输出运算结果。其中,输入使能信号v
oe
主要用于使得运算输出端能够响应并输出运算结果,相应的运算过程在上述各个像素单元各自对应的第一输出电流、第二输出电流、第三输出电流和第四输出电流对应输入至该信号运算单元后即可以完成相应的运算处理。
82.基于上述本公开实施例的可在像素阵列内对相邻像素信号进行运算的感内计算阵列结构的说明,可见,本公开实施例的该感内计算阵列结构可以有12种互联信号线。为使阵列连接关系更易清晰分辨,特将12种信号线的互联关系两种一组展示在一张阵列结构示意图中,具体如图7a至图7f所示(实际的感内计算阵列结构的阵列互联结构设计为这6张示意图的叠加结构)。具体地,如图7a所示,阵列中每一行的像素单元连接同一条像素使能信号v
en
,同时每一行的像素单元也连接同一条像素使能信号v
ep
;如图7b所示,阵列中每一行的像素单元连接同一条像素曝光控制信号v
b1
,同时每一行的像素单元也连接同一条像素曝光控制信号v
b4
;如附图7c所示,阵列中每一行的像素单元连接同一条像素曝光控制信号v
b2
,同时每一行的像素单元也连接同一条像素曝光控制信号v
b3
;如图7d所示,阵列中每一行的像素单元连接同一条像素曝光控制信号v
g2
,同时每一行的像素单元也连接同一条像素曝光控制信号v
g3
;如图7e所示,阵列中每一行的像素单元连接同一条像素曝光控制信号v
g1
,同时每一行的像素单元也连接同一条像素曝光控制信号v
g4
;如图7f所示,阵列中每一行的运算单元连接同一条输出控制信号v
oe
,每一列的运算单元输出端也连接信号输出线进行输出。
83.其中,该感内计算阵列结构具有由上述感内计算像素单元和信号运算单元构成,像素单元负责感光并输出感光电流至运算单元,运算单元负责对输入的像素信号进行运算处理。阵列中的像素单元的感光电流输出端连接运算单元的运算输入端,且每相邻的四个不同像素单元的各自不同的输出信号作为同一运算单元的不同输入端信号输入至该运算单元,也即同一像素单元的四个输出信号输入至周围四个不同的运算单元(如图6和图8所
示),各个运算单元的运算输出结果构成该感内计算阵列结构的运算输出结果。
84.基于上述图1-图2d所示的utbb感光单元的感内计算像素单元,结合图3所示内容,特将本公开实施例的上述感内计算阵列结构的运算处理过程详细说明如下:
85.n-p单元和n-n单元共同连接使能信号v
en
,p-p单元和p-n单元共同连接使能信号v
ep
,其中v
en
和v
ep
可以控制为电源电压或者接地的零电平信号,为对应utbb感光单元输出电流提供使能并可以控制各输出电流的方向。
86.各单元阱电极分别连接曝光控制信号v
b1-4
,n-p单元和p-p单元的v
b1
和v
b3
保持为负值可使单元完成正常的曝光和读出操作,切换为正值可以完成正常的复位操作;而n-n单元和p-n单元的v
b2
和v
b4
保持为正值可使单元完成正常的曝光和读出操作,切换为负值可以完成正常的复位操作。
87.各单元栅极分别连接读出控制信号v
g1-4
,n-p单元和n-n单元的v
g1
和v
g2
由0v切换为大于0的值可使单元开启,完成正常的读出操作,输出感光信号至运算单元,而p-p单元和p-n单元的v
g3
和v
g4
由大于0的值切换为0v可使单元开启,完成正常的读出操作。
88.运算单元共有4个运算输入端,1个输入使能控制端,1个运算结果输出端。运算输入端输入参与运算的原始信号;输入使能控制端连接使能信号v
oe
,用于决定信号运算单元是否可输出运算结果;运算结果输出端负责输出运算结果。
89.如图6和图8所示信号运算单元及其所在感内计算阵列结构可实现的图像处理功能。在本公开实施例中,该感内计算阵列结构的信号运算单元可以为一四输入的求和运算单元,具体可以为四输入的电容求和电路或者求和放大器等电路结构。该信号运算单元可实现对4个输入电流信号i
1-4
求和并转化为输出电压信号uo,uo正比于求和结果(i1+i2+i3+i4)。其中,i1、i2、i3和i4可以对应理解为上述不同四个像素单元所对应输出的第一输出电流i
np
、第二输出电流i
nn
、第三输出电流i
pp
以及第四输出电流i
pn
。
90.如图6和图8所示,设置像素单元中使能信号v
en
和v
ep
均为电源电压,此时各像素单元4个电流输出端均向外输出电流。阵列中每个运算单元其对应的左上位置像素单元中的输出信号i
pn
连接至其i1输入端口,右上位置像素单元中的输出信号i
pp
连接至其i2输入端口,左下位置像素单元中的输出信号i
nn
连接至其i3输入端口,右下位置像素单元中的输出信号i
np
连接至其i4输入端口,因此,总输出信号uo与其周围四个像素单元对应的输出电流的和成正比。据此,根据图2a-图2d所示的各像素单元的4个输出电流与光强的对应关系可知,阵列中各运算单元输出量uo在曝光前后的变化量δuo与其周围四个像素对应的输出电流变化量绝对值|δi
1-4
|满足δuo正比于(|δi1|+|δi4|-|δi2|-|δi3|)的关系,因此整个阵列就可以实现原始图像信号与2
×
2卷积核(1,-1;-1,1)的卷积运算,并输出其运算处理结果。其中,需要说明的是,上述信号运算单元以及可实现的处理功能并不限于该示例,在此不作赘述。
91.如图9所示,本公开的又一个方面还提供了一种上述感内计算阵列结构的操作方法,其中,包括操作s901-s903。
92.在操作s901中,对感内计算阵列结构的每个信号运算单元所对应的四个感内计算像素单元施加光照,实现对感内计算阵列结构的曝光操作;
93.在操作s902中,基于上述曝光操作,控制实现对感内计算阵列结构的读出操作,以读出感内计算阵列结构的每个信号运算单元的运算结果;以及
94.在操作s903中,响应于运算结果的读出,对感内计算阵列结构执行复位操作。
95.如图10所示,可在像素阵列内对相邻像素信号进行运算的感内计算阵列操作时序图的操作过程如下:
96.假设感算一体阵列(即上述感内计算阵列结构)中像素单元(即上述感内计算像素单元)的规模为m
×
n,如图10所示,该感算阵列对每帧图像完成感知运算的一个周期可以划分为曝光期、读出期和复位期3个子周期。其中,在曝光期内进行光电信号的转换,读出期内进行对感光信号的运算,复位期内进行对感光单元的复位。
97.在这三个子周期中,像素单元使能信号v
en
和v
ep
均保持0或电源电压v
dd
不变;像素单元曝光控制信号v
b1
和v
b3
在曝光期和读出期内均保持为小于0的负值,在复位期切换为大于0的正值;像素单元曝光控制信号v
b2
和v
b4
在曝光期和读出期内均保持为大于0的正值,在复位期切换为小于0的负值;像素单元读出控制信号v
g1
和v
g2
在读出期内均保持为大于0的正值,在曝光期和复位期切换为0v;像素单元读出控制信号v
g3
和v
g4
在读出期内均保持为0v,在曝光期和复位期切换为大于0的正值;运算单元控制信号v
oe
在曝光期和复位期中均保持为0,关断运算单元的输出,在读出期内各行v
oe
依次切换为大于0的电压值,使该感算阵列的信号运算单元按行依次输出运算结果。
98.结合如图7a-图7f所示该感算阵列中12种互连线的连接关系图,像素阵列中像素单元的感光电流输出端连接运算单元的运算输入端,每相邻的四个像素单元的输出信号输入至同一运算单元,同一像素单元的四个输出信号输入至周围四个不同的运算单元,具体的像素单元每个输出信号与对应运算单元输入的连接关系由阵列所实现的运算处理功能决定。各个运算单元对其相邻四个像素的相应输出信号进行运算并输出运算结果,所有运算单元的运算输出结果构成该阵列的运算输出结果,如此阵列可实现在像素阵列内对相邻像素单元信号的运算。阵列中像素单元的控制信号均是按行连接在一起的,各像素控制信号在各个子周期内进行相应的操作,每个子周期内每一行的同种类的控制信号的电压值是相同的,可保证像素单元中各个感光晶体管单元均能实现正常的感光功能;运算单元的输入使能信号v
oe
本公开实施例中设定为大于0开启输出端输出,对于其小于0开启输出的情况则信号施加方式与所给出的形式恰好相反(此处不再赘述),v
oe
按行依次开启可保证运算结果按行输出。
99.本公开的再一个方面还提供了一种图像传感运算系统,其中,包括上述感内计算阵列结构所构成的感内计算运算模块,以实现上述的操作方法。
100.综上,相对于不能实现感内计算和感内计算中相邻像素信号处理的传统图像传感运算系统,基于本公开实施例的上述感内计算像素单元结构及其对应信号运算单元的感内计算像素阵列结构,可以使得每个信号运算单元可以在像素阵列内对相邻像素单元的输出信号实现运算处理,从而能够使得基于上述像素单元结构的感内计算阵列结构实现感算一体化,同时也保证了运算精准度,而且借助于上述感内计算阵列结构能够实现大数据量的信号批量运算处理,此外,能够彻底解决现有的运算系统复杂、冗余数据量大、传递距离长等传统问题,极大地提高了图像感知运算效率。
101.至此,已经结合附图对本公开实施例进行了详细描述。
102.以上的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明
的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
技术特征:
1.一种感内计算像素单元,其中,包括:第一感光单元;第二感光单元,与所述第一感光单元相连;第三感光单元,与所述第一感光单元和第二感光单元对应设置;第四感光单元,与所述第三感光单元相连;其中,在所述感内计算像素单元接收到光照,且向所述第一感光单元和第二感光单元同时施加第一使能控制信号,同时向所述第三感光单元和第四感光单元同时施加第二使能控制信号时,所述第一感光单元输出第一输出电流,第二感光单元输出第二输出电流,第三感光单元输出第三输出电流,第四感光单元输出第四输出电流,所述第一输出电流、第二输出电流、第三输出电流和第四输出电流用于实现基于感内计算的相邻像素信号的运算。2.根据权利要求1所述的感内计算像素单元,其中,所述第一感光单元的源极与所述第二感光单元的源极连接,以共同连接施加的所述第一使能信号。3.根据权利要求2所述的感内计算像素单元,其中,所述第一感光单元的栅极连接第一读出控制信号,阱电极连接第一曝光控制信号,漏极作为所述第一感光单元的输出端输出所述第一输出电流;所述第二感光单元的栅极连接第二读出控制信号,阱电极连接第二曝光控制信号,漏极作为所述第二感光单元的输出端输出所述第二输出电流。4.根据权利要求1所述的感内计算像素单元,其中,所述第三感光单元的漏极与所述第四感光单元的漏极连接,以共同连接施加的所述第二使能信号。5.根据权利要求4所述的感内计算像素单元,其中,所述第三感光单元的栅极连接第三读出控制信号,阱电极连接第三曝光控制信号,源极作为所述第三感光单元的输出端输出所述第三输出电流;所述第四感光单元的栅极连接第四读出控制信号,阱电极连接第四曝光控制信号,源极作为所述第四感光单元的输出端输出所述第四输出电流。6.根据权利要求1-5中任一项所述的感内计算像素单元,其中,所述第一感光单元、第二感光单元、第三感光单元和第四感光单元为四种不同类型的超薄体及埋氧结构的感光晶体管;其中,超薄体及埋氧结构的感光晶体管包括:nmos-p阱感光晶体管、nmos-n阱感光晶体管、pmos-p阱感光晶体管和pmos-n阱感光晶体管。7.一种感内计算阵列结构,其中,包括:多个权利要求1-6中任一项所述的感内计算像素单元;多个信号运算单元,在所述多个感内计算像素单元所构成的阵列中间隔排布;其中,所述多个信号运算单元中的每个信号运算单元与相邻的所述多个感内计算像素单元中的四个感内计算像素单元匹配。8.根据权利要求7所述的感内计算阵列结构,其中,所述多个信号运算单元中的每个信号运算单元包括:第一运算输入端,连接所述多个感内计算像素单元中的第一感内计算像素单元的第四感光单元的源极,用于向对应信号运算单元输入所述第四感光单元输出的第四输出电流;第二运算输入端,连接所述多个感内计算像素单元中的第二感内计算像素单元的第三
感光单元的源极,用于向对应信号运算单元输入所述第三感光单元输出的第三输出电流;第三运算输入端,连接所述多个感内计算像素单元中的第三感内计算像素单元的第二感光单元的漏极,用于向对应信号运算单元输入所述第二感光单元输出的第二输出电流;第四运算输入端,连接所述多个感内计算像素单元中的第四感内计算像素单元的第一感光单元的漏极,用于向对应信号运算单元输入所述第一感光单元输出的第一输出电流。9.根据权利要求8所述的感内计算阵列结构,其中,所述多个信号运算单元中的每个信号运算单元还包括:输入使能端,连接输入使能信号;运算输出端,与所述输入使能端对应设置在对应信号运算单元上,用于响应于所述输入使能信号,输出对应信号运算单元针对所述第一输出电流、第二输出电流、第三输出电流和第四输出电流的运算结果。10.一种权利要求7-9中任一项所述感内计算阵列结构的操作方法,其中,包括:对所述感内计算阵列结构的每个信号运算单元所对应的四个感内计算像素单元施加光照,实现对所述感内计算阵列结构的曝光操作;基于上述曝光操作,控制实现对所述感内计算阵列结构的读出操作,以读出所述感内计算阵列结构的每个信号运算单元的运算结果;以及响应于所述运算结果的读出,对所述感内计算阵列结构执行复位操作。11.一种图像传感运算系统,其中,包括权利要求7-9中任一项所述感内计算阵列结构所构成的感内计算运算模块,以实现权利要求10所述的操作方法。
技术总结
本公开提供了一种感内计算像素单元、感内计算阵列结构及其操作方法和图像传感运算系统,其中,该感内计算像素单元包括第一感光单元、第二感光单元、第三感光单元以及第四感光单元。在感内计算像素单元接收到光照,且向第一感光单元和第二感光单元同时施加第一使能控制信号,同时向第三感光单元和第四感光单元同时施加第二使能控制信号时,第一感光单元输出第一输出电流,第二感光单元输出第二输出电流,第三感光单元输出第三输出电流,第四感光单元输出第四输出电流,第一输出电流、第二输出电流、第三输出电流和第四输出电流用于实现基于感内计算的相邻像素信号的运算。可实现在像素阵列内对相邻像素信号的运算处理,显著提高图像感知运算效率。高图像感知运算效率。高图像感知运算效率。