受视网膜启发的超薄半导体的光电晶体管型视觉传感器可提供更自适应的视觉感知
切片 2.5×3.0 cm2 芯片上仿生视觉传感器阵列的照片（左），以及单个视觉传感器的示意结构和光学显微镜图像（右）。
为了监控和导航现实世界的环境，机器和机器人应该能够在不同的背景照明条件下收集图像和测量值。近年来，世界各地的工程师因此一直在尝试开发越来越先进的传感器，这些传感器可以集成到机器人、监控系统或其他可以从感知周围环境中受益的技术中。
香港理工大学、北京大学、延世大学和复旦大学的研究人员最近创造了一种新的传感器，可以在各种光照条件下收集数据，采用一种人工复制人眼视网膜功能的机制。这种仿生传感器发表在Nature Electronics上的一篇论文中，是使用由二硫化钼制成的光电晶体管制造的。
“我们的研究团队五年前就开始了对光电存储器的研究，”开发该传感器的研究人员之一杨柴。“这种新兴设备可以输出光相关和历史相关的信号，实现图像集成、微弱信号累积、光谱分析等复杂的图像处理功能，将传感、数据存储和数据处理的多功能集成在一个设备中。”
2018 年，Chai 和他的同事发表了他们的第一篇关于光电存储器的论文，他们在其中介绍了一种电阻开关存储器件，该器件可以执行光传感和逻辑运算。一年后，该团队推出了一种具有三种不同功能的新型光电电阻随机存取存储器设备。具体来说，这种新设备可以感知环境，将信息存储在内存中，并执行神经形态的视觉预处理操作。
“在 2020 年，我们研究了近传感器和传感器内计算范式的概念，并提供了我们在该领域的观点，”Chai 说。“我们的新研究建立在我们之前的所有努力之上。”
视觉适应
自然光的强度变化很大，总范围为 280 dB。人的视网膜在感知外界光信号时，会根据信号的强弱来调整其感光器（即视杆细胞和视锥细胞）的感光度。这最终使人眼逐渐适应不同程度的照明，在黑暗和明亮的环境中都能看清，这种能力被称为“视觉适应”。
Chai 和他的同事最近工作的主要目标是构建一种受人类视网膜结构和功能启发的传感设备。为此，他们首先开始研究视网膜，然后尝试制定策略，让他们能够人为地复制其视觉适应能力。
基于硅互补金属氧化物半导体 (CMOS) 技术的最先进的图像传感器通常具有 70 dB 的有限动态范围。这个范围比自然场景的照明范围（280 dB）要窄得多。
“为了在大照明强度范围内实现视觉，研究人员已经探索了在后处理中使用受控光学孔径、液体透镜、可调节曝光时间和去噪算法，”柴说。“然而，这些方法通常需要复杂的硬件和软件资源。”
仿生视觉传感器阵列的暗视和明视适应。(a) 暗背景下 8×8 像素阵列的示意图，用于识别用于暗适应测试的低强度图像。(b) 明亮背景下 8×8 像素阵列的示意图，用于识别强光图像以进行明视适应测试。（c）暗视和（d）“8”图案的明视适应的时间过程。
能够适应视觉并在感官终端具有广泛感知范围的光电设备可能具有非常有价值的应用。例如，它们可以帮助提高计算机视觉工具的性能，降低构建机器人或其他传感系统所需的硬件复杂性，并提高图像识别系统的准确性。
过去，其他研究团队推出了可以适应不同光照条件的光电器件。尽管如此，大多数先前提出的设备只能复制视网膜的明视适应机制。另一方面，暗适应过程迄今已被证明更难模拟。
“要完全复制视网膜的视觉适应功能，还有很长的路要走，”柴解释说。“为了实现这一目标，我们设计了一种使用超薄半导体的光电晶体管型视觉传感器，它可以通过施加不同的栅极电压来控制同一设备中的暗适应和明适应程度。通过这种方式，我们模拟了视网膜中的光感受器和水平细胞，并成功实现了具有 199 dB 感知范围的仿生传感器内视觉适应装置。”
Chai 及其同事开发的仿生视觉传感器基于由超薄半导体材料（即二硫化钼）制成的光电晶体管。他们使用的光电晶体管具有多种电荷陷阱状态，这些状态可以在不同的栅极电压下捕获或释放沟道内的电子。
最终，这些状态允许研究人员动态调节其设备的电导。这反过来又使他们能够人为地复制人类视网膜的暗视和明视适应机制，从而扩大其传感器响应不同照明条件的感知范围。
Chai 和他的同事在一系列测试中评估了他们的仿生传感器，发现它可以有效地模拟人类视网膜的功能，在暗适应和明适应方面都取得了显着的成果。此外，与之前提出的解决方案相比，它具有明显更高的感知范围（即 199 dB）。
“我们的传感器可以丰富机器视觉功能，降低硬件复杂度，实现高图像识别效率，”柴说。“所有这些好处在复杂照明环境下的自动驾驶、人脸识别和工业制造等领域都有很大的应用前景。”
在接下来的研究中，研究人员计划进一步提高传感器的性能，同时还使用它们来制造由传感器阵列组成的大规模系统。理想情况下，他们希望在柔性或半球形基板上构建此传感器阵列，以实现更宽的视野。
“一个需要改进的领域是我们传感器的适应时间，因为它仍然不足以支持机器视觉应用，”Chai 补充道。“我们的目标是将适应时间降低到微秒级。传感器阵列规模也需要进一步提升。我们近期的阵列规模目标是大于100×100。最后，视觉传感器的异构集成与后-具有硅基控制电路的处理单元是迈向实际应用的非常重要的一步。”