微型相机

微型低功耗EBAPS相机技术

刘亚宁;桑鹏;吕嘉玮;李海涛;徐鹏霄;李保权

【期刊名称】《《红外技术》》

【年(卷),期】2019(041)009

【总页数】9页(P810-818)

【关键词】电子轰击型有源像素传感器;FLASHFPGA;极弱光成像;低功耗

【作者】刘亚宁;桑鹏;吕嘉玮;李海涛;徐鹏霄;李保权

【作者单位】中国科学院国家空间科学中心北京100190;中国科学院大学北京

101400;中国电子科技集团公司第五十五研究所江苏南京210016

【正文语种】中文

【中图分类】TP391.4

极弱光条件下工作的相机在许多领域有重要作用，例如夜视、侦查、空间科学应用

等等。极弱光成像主要采用两种技术：增强型CCD（IntensifiedCharge

CoupledDevice，ICCD）和电子倍增CCD（ElectronMultiplyingIntensified

ChargeCoupledDevice，EMCCD）。ICCD主要包括光阴极、微通道板

（Micro-channelPlate，MCP）、荧光屏、光导和CCD，多部件结构使得ICCD

在尺寸、重量、可靠性、调制传递函数（ModulationTransferFunction，MTF）

等方面都具有明显劣势。EMCCD是近几年才商业化的一种固态极弱光成像器件，

EMCCD利用电子转移过程对外汉语教案 中的碰撞电离实现信号放大，从而实现极弱光成像[1-

2]。无论是ICCD还是EMCCD，它们增益进程的噪声因子Kf都比较大，其中

ICCD微通道板的Kf约1.8，EMCCD电子倍增过程的Kf也在1.4左右[3-5]。虽

然EMCCD的尺寸较小，但应用条件尤其对制冷的温度稳定性要求极高。

近年来，随着制造工艺水平的提升，有源像素传感器（APS）已经在视频领域获得

广泛应用，尤其是低噪声背照APS的市场化，使研制低成本、高质量、可用于极

弱光成像的EBAPS成为现实，美国的Intevac公司已经在国际上率先推出了商业

化的EBAPS产品。EBAPS结构简单，主要由光阴极和APS构成，光阴极产生的

光电子可以直接加速到1～2keV，且增益过程的噪声因子小于1.1，APS通过直

接探测电子来实现光电信息转换，能够实现单光子成像探测[5-6]，而且省去了

ICCD复杂的信号转换过程。EBAPS相机不仅具有单光子成像性能，而且具有高灵

敏度、高信噪比及低功耗的特性。同时通过改变EBAPS光阴极的材料，可以实现

从红外到紫外的宽谱段极弱光成像[7-8]，因此，Intevac公司的EBAPS产品一经

推出，就引起了军事领域和空间科学领域的极大关注。

低能电子敏感型APS和超高真空封装（自密封真空度在10－8Pa以上）是

EBAPS的关键技术，所以应用于EBAPS的APS需要二次工艺处理，以实现其对

低能电子的高度敏感，同时为了实现10－8Pa高真空密封要求，APS还要求使用

未经封装的裸片，避免封装结构的残余气体释放影响真空度。因此本论文中选用国

内自主开发的未经封装的APS裸片器件，但为了满足相机电路开发需要，对裸片

APS进行了简单的PCB管壳封装。该APS主要性能指标如下：

像素阵列：10241024

像元尺寸：18mm18mm

光谱范围：400nm～1000nm

输出幅度：＞1.2V模拟信号

读出噪声：＜0.45mV

暗电流：＜1.5mV/s

响应非均匀性：＜1%

工作频率：10MHz数据输出率

积分模式：卷帘快门

芯片概貌如图1所示。

本论文的主要工作就是针对我国自主开发的APS图像传感器，开发微型低功耗相

机电路，为EBAPS全系统相机研制奠定基础。

文中设计的EBAPS相机系统，包含图像采集、数据保存及通信等部分，为了使各

部分有效地实现其逻辑功能，需选择合适的主控芯片产生驱动控制时序。本系统选

用了Micromi（原Actel）公司的IGLOOPLUS系列FLASH型FPGA（Field

ProgrammableGateArray）为控制芯片，型号为AGLP125V2。该型号FPGA

相较于ARM处理器（AdvancedRISCMachine），对高速并行数字信号的处理

更有优势，满足图像输出的快速性要求。而对于同等水平的其他RAM型FPGA而

言，其具有更低的静态功耗和动态功耗，且在FLASH冻结模式（Flash*Freeze

Mode）下功耗低至16mW。不仅如此，它还具有更小的封装尺寸，只有

14mm14mm，相比常用的Xilinx的FPGA而言，面积减小至少40%。同时不

需要EEPROM（ElectricallyErasableProgrammableReadOnlyMemory）等

配置芯片，外围电路更加简单，芯片内部可加密，具有更高的安全性。从体积、功

耗、性能等方面综合考虑，选定此款FPGA为主控芯片。

由于传感器输出模拟像素信号，像素输出频率最高10MHz，故选用高速10位并

行输出A/D转换器件AD9609作为模数转换器，保存其全身spa 高8位作为像素数字信号，

全帧图像大小为8Mbit。因此款FPGA内部RAM仅为36kbit，Fl读后感两百字 ashROM为

1kbit，存储空间远不足以储存一幅图像数据，所以为了匹配数据输入输出速度，

系统中加入了2片低功耗SRAM（StaticRandom-AccessMemory）作为图像

数据的缓存单元，设计为乒乓模式，可以存放公文写作范文 全帧图像7幅。根据传感器最大工

作频率可知，数据读出速率需高于72.2Mbps，由孝敬父母的名言 此一般的便携通信接口，如

RS422等，不适用于本相机应用，同时考虑到数据传输的实时性、有效性、产品

的便携性及成本问题，选择了USB3.0作为数据宝宝厌奶期 传输的通道。实验显示，USB3.0

的传输速度完全满足要求，而且其协议和硬件需求相较CameraLink更为简单。

其系统结构框图如图2所示。

其工作过程如下：外部电源供电＋5V，经供电模块转换为其他各模块所需电压水

平，启动各模块并按照需求配置各接口驱动电压，各模块根据FPGA发出的控制

信号开始按序采集图像、数据转换、缓存数据、传输数据、分析数据。

硬件电路包括传感器、ADC、FPGA、SRAM、CYUSB3014、EEPROM、供电芯

片及必要的电阻和滤波电容等器件。

传感器模块主要包括APS图像传感器，高速AD转换芯片AD9609。AD9609输

出的数字信号经FPGA控制暂存于SRAM中。

由于此款传感器目前不支持数字输出，故需要选用片外高采样率低误码率AD转换

器，将模拟像素信号转化为数字量输出保存。为了减小噪声，AD9609应尽量靠

近传感器的模拟输出端口，且输入ADC端的待采样信号需进行滤波处理，滤除高

频噪声，以保证图像质量，除此之外，数字部分和模拟部分应分别隔离并进行单点

连接，以减小数字对模拟的干扰。

存储模块主要包括FPGA（AGLP125V2），2片64MBSRAM，20MHz有源晶

振及JTAG。传输模块应用USB3.0进行数据传输，选用CYPRESS公司的

CYUSB3014作为桥梁与FPGA进行通信。该模块主要包括CYUSB3014，

19.2MHz有源晶振，32.768kHz无源晶振，256kbit的EEPROM芯片24LC256，

USBTYPE-B接口及JTAG[9]。FPGA发出控制信号，控制SRAM的读写，存储

ADC输出的数字信号，并通过USB3.0发送至上位机。

此模块属于高速数字电路模块，其中FPGA、SRAM、CYUSB3014均为FBGA封

装，布线密度大，信号传输速度高（时钟由FPGA内部锁相环倍频至60MHz），

为了将管脚信号全部扇出且减少PCB板的尺寸，采用了6层电路板设计。此模块

信号多为高速数字信号，需做等长走钓鱼浮漂 线，避免因高速信号线传输差异引起数据传输

时序延迟，保证了信号传输的完整性和系统运行的稳定性。

考虑到APS传感器，ADC，CYUSB3014，SRAM、FPGA等器件内部需各自独立

供电，供电种类繁多。为了减小模拟信号的噪声且减少供电器件的数量，下面对各

模块供电电压进行分类合并，最终共有13种供电需求。表1对本设计需要中国历届主席 的电压

种类进行了归纳对比。

根据其不同的电压特性，选取合适的电源转换芯片。本设计选择LDO型芯片，具

有超低噪声的特性，满足模拟电路供电需求。本相机系统电源输入为＋5V，由＋

5V产生各模块所需的不同种类的电压值，并且为模拟线路供电的电路均通过磁珠

连接，以减少高频噪声及尖峰扰动[10]。电压芯片输出端均采用了钽电容去耦，以

减小由电源电流变化引起的电压波动。

上述驱动电路设计完成，即为本设计搭建了骨架，还需进一步为其添加灵魂——

驱动时序设计。本设计使用Verilog语言对FPGA进行编程实现控制时序。软件

流程图如图3所示。

基本流程：外部晶振提供20MHz基准时钟，经锁相环（PLL）倍频至60MHz作

为全局时钟。系统启动后，Sensor_0模块开始采集图像，并根据时序要求，产生

ADC采样时钟及USB3.0同步传输时钟，并接收ADC返回的数据。判断

SRAM_A，SRAM_B的状态并将数据存入其中之一。当SRAM存满时，

SlaveFIFO2b_fpga_top0模块接收数据并将其输出至CYUSB3014缓存区，从而

传输至上位机进行数据存储。

根据APS传感器的控制时序，通过设计有限状态机来实现其功能[11]。其时序主

要包括选择读出行、读出此行列像素和选择复位行3部分，其时序图如图4(a)、

4(b)、4(c)所示，时间单位为ns。由于它的数据输出率为10MHz，故a＋b＝

100ns。

根据其数据手册描述，其快门为卷帘快门，曝光时间即是像素点的积分时间，也是

复位时刻到读出时刻的时间差，曝光过程逐行进行，所以曝光时间可通过改变选中

行的复位时间来改变[12]。理论上，行选最短用时5510ns，行复位最短用时

310ns，列读出最短用时1001024ns＝102.4ms，则完整读出一行的最短时间

为108.22ms，读出全帧图像像素的最短时间为110817.28ms，即110.81728ms。

故曝光时间范围为0～110.81728ms，1024级可调。实际电路设计中，保证各控

制信号高低电平脉宽均符合约束且对于其最小值留有余量，最终实现行选用时

9400ns，行复位用时约783ns，列读出用时133.331024ns≈136.5ms，读出整

行用时146.7ms，读出全帧图像用时约150ms。故实际曝光时间范围为0～

150ms，1024级可调。

控制传感器的状态转换图如图5所示。

为了匹配数据存储、读出速度，本设计使用SRAM来缓存图像数据并设计为乒乓

模式，其中1片SRAM存储数据时，另外1片SRAM向USB3.0输出数据。保

证数据能够实时存储。CYUSB3014芯片配置为SlaveFIFO模式作为从设备，将

其设置为StreamIN工作模式。存储通信的时序状态机如图6(a)、6(b)所示。

图像存储传输过程中，ADC输出并行8位图像数据后，启动状态机。由于SRAM

是4M16位的数据存储结构，故先向选定地址写入低8位数据，再向其写入高8

位数据。对每幅图像添加帧头和帧尾，不仅可降低丢包时的数据损失，而且便于区

分每幅图像。当存入7幅完整图像数据后，USB3.0开始从SRAM读出图像数据，

同时向另外一片SRAM存入数据。

在准备读出数据时，首先配置CYUSB3014的驱动时钟，随后启动StreamIN状

态机，开始向上位机输出缓存数据并保存。

使用ModelSim10.5c对Verilog程序进行仿真，APS传感器、AD、SRAM及

CYUSB3014的时序仿真结果如图7(a)、图7(b)所示，所得结果符合设计要求。

仿真波形与数据手册一致的情况下，将程序烧写到FPGA中用示波器观测各控制

信号波形，关键信号测试结果如图8(a)、图8(b)、图8(c)所示，传感器各个控制

信号之间的相互关系及脉冲宽度均符合设计要求。

为了验证系统的实际成像效果，对实物进行成像验证。根据实验室现有资源，选用

远焦镜头安装于传感器前端，在粗略焦距调整后开始全帧频连续成像实验，旨在测

试其成像效果，也可以根据实际视场需求等指标选择其他类型的成像镜头。在室内

日光灯条件下，对天花板成像实验结果如图9所示。从图像上可以清晰地看到天

花板上的斑点及中间的条纹。

除了实现成像功能外，还展开了相机系统的电子学噪声测试。在APS无曝光的情

况下，连续获取100幅图像数据，进行数学统计分析后，得到电子学噪声分布，

如图10(a)所示。电子学噪声均值为0.86个LSB，8bits分辨率的情况下，1个

LSB为7.8mV，故电子学噪声约6.7mV。其中，单幅图像噪声分布如图10(b)所

示，且测得系统功耗为0.6W，成像全帧频7fps。

对于可穿戴EBAPS相机，可以从两个方面优化功耗问题：①优化Verilog程序，

减少无用的寄存器，以减少综合生成的门电路，同时通过模块复用的方式来减小

FPGA的功耗。②从电路上，选用更低功耗的器件，如使用高效率的电源芯片，同

时优化电路板布局布线，减少板上损耗。

空间探测领域的应用，考虑到空间等离子体是航天活动的重要环境，它会引起空间

探测器的单粒子效应、充放电效应，辐射损伤效应等，并且会吸附污染物从而污染

光学镜头。设计时则需要考量各器件的抗辐照能力，主要是传感器及控制器的抗辐

照能力。在APS成品封装时需加强它的抗辐照能力，同时FPGA可使用

Micromi公司的反熔丝型FPGA，与此系统程序兼容，而且可以有效降低空间

辐射效应的影响，提高系统可靠性。另外，为了保证成像质量，还应考虑对于光学

镜头的防护。

文中主要以我国自主开发的可应用于EBAPS的图像传感器为基础，针对可穿戴式

微型低功耗相机开发的需求，完成了低功耗微型相机设计。从实验结果来看，视频

工作情况下的整机功耗为0.6W，电子学噪声约6.7mV，且系统能够正常稳定的工

作，获取的图像质量良好，达到了设计要求。该APS电子学系统的研发成功，为

以后低照度低功耗可穿戴EBAPS相机的全系统开发奠定了很好的技术基础。

【相关文献】

[1]姚立斌.低照度CMOS图像传感器技术[J].红外技术,2013,35(3):1满分记叙文 25-132.

-light-levelCMOSimagensortechnique[J].InfraredTechnology,2013,

35(3):125-132

[2]田金生.极弱光像传感器技术的最新进展[J].红外技术,2013,35(9):527-534.

elopmentoflowlightlevelimagingnsortechnology[J].

InfraredTechnology,2013,35(9):527-534.

[3]RobbinsMS,PerformanceofElectronMultiplyingCharge-

CoupledDevices[J].IEEETransactionsonElectronDevices,2003,50(5):1227-1232.

[4]ZHANGWenwen,-to-NoiRatioPerformanceComparisonof

ElectronMultiplyingCCDandIntensifiedCCDDetectors[C]//InternationalConferenceon

ImageAnalysisandSignalProcessing,2009.

[5]VerleWAebi,KennethACostello,PhilipWArcuni,:nextgeneration,low

power,digitalnightvision[C]//OPTRO2005InternationalSymposium,2005.

[6]宋德,石峰,李野.基底均匀掺杂下EBAPS电荷收集效率的模拟研究[J].红外与激光工程,2016,

45(2):48-52.

SONGDe,SHIFeng,tionofchargecollectionefficiencyforEBAPSwith

uniformlydopedsubstrate[J].InfraredandLarEngineering,2016,45(2):48-52.

[7]胡之厅.石墨烯与砷化镓异质结光电器件的研究[D].上海:上海师范大学,2018.

nthephotoelectricdeviceswithheterojunctionofgrapheneand

GaAs[D].Shanghai:ShanghaiNormalUniversity,2018.

[8]杨莲红,张保花,王俊珺,等.AlGaNMSM结构日盲型紫外探测器[J].现代电子技术,2014,

37(20):120-122.

YANGLianhong,ZHANGBaohua,WANGJunjun,olar-blindultraviolet

photodetectorwithMSMstructure[J].ModernElectronicsTechnique,2014,37(20):120-

122.

[9]赵健博.基于FPGA和USB3.0的高速CMOS图像数据采集系统设计[D].预产假 长春:吉林大学,

2015.

ofhigh-speeddataacquisitionofCMOSimagensorbad

onFPGAandUSB3.0[D].Changchun:JilinUniversity,2015.

[10]刘美莹,王虎,汶德胜,等.FPGA的大面阵CMOS相机系统的设计[J].红外与激光工程,2013,

42(S02):337-342.

LIUMeiying,WANGHu,WENDesheng,ofalargeplaneCMOScamera

systemFPGA[J].InfraredandLarEngineering,2013,42(S02):337-342.

[11]辛文辉,李仕春,华灯鑫,等.基于FPGA的激光雷达高速数据采集系统设计[J].光子学报,2012,

41(8):967-971.

XINWenhui,LIShichun,HUADexin,ofahigh-speeddataacquisition

systembadonFPGAforlarradar[J].ActaPhotonicaSinica,2012,41(8):967-971.

[12]胡永富,黄长宁,张宏伟.CMOS图像传感器STAR1000研究与应用[C]//第二十三届全国空间

探测学术交流会,2010.

HUYongfu,HUANGChangning,chandapplicationof

CMOSimagensorSTAR1000[C]//The23rdNationalSpaceExplorationAcademic

ExchangeConference,2010.