本文系微信公众号《大话成像》,知乎专栏《all in camera》原创文章,转载请注明出处。 大话成像读者QQ 交流群2 :833282006 大话成像技术论坛:ww.dahuachengxiang.com 微信群请先加 zxzombie
本站新教学视频《matlab深度学习成像算法基础》上线淘宝教育《图像传感器技术与应用》《成像系统图像质量调试》《成像算法基础(python版)》 《成像系统镜头光学》《新版图像质量测试测量与国际标准》《新版cmos sensor测试测量与国际标准》《新版数字成像系统42讲》课程大话成像淘宝官方网店有售:
https://shop322456667.taobao.com/
在最新预印本《J3DAI: A tiny DNN-Based Edge AI Accelerator for 3D-Stacked CMOS Image Sensor》中,Tain 团队不仅端出一款 48 mm² 的“指尖级”AI 传感器,还把 SONY 2021、2024 两代标杆产品拉到一起“同台竞技”。透过这份对比,我们可以清晰地看到 AI sensor 在短短三年间的进化轨迹,也能感受到它尚未跨越的门槛。
一、从“能做”到“做得巧”:系统级演进
二、微架构的“隐形革命”
• 近存计算:所有 SRAM 对主控可见,省去 DMA 来回搬运。
• 列并行搬运:1024-bit/cycle 纵向总线, tiling 时不再“堵车”。
• 训练后 INT8:PyTorch→ONNX→Aidge 一键量化,算法团队无需操心比特位。
这些细节让 J3DAI 在 200 MHz、0.85 V 的“温柔”条件下,仍能 30 fps 跑通 557 MMAC 的 MobileNet-V1,功耗不到 50 mW。
三、能力边界:只能“看小图”?
目前三款芯片的验证分辨率均不超过 512×384,说明在像素级大算力与功耗墙之间,大家仍选择“缩小输入”这一权宜之计。如何突破“小图”限制,将是下一轮竞赛焦点。
四、尚未完成的最后一公里
• 工艺:逻辑层 28 nm 仍非最新节点,迈向 16/12 nm 才能容纳更大网络。
• 算法:Transformer、SAM 等新架构对 SRAM 带宽提出更高要求。
• 生态:三层堆叠良率、成本、供应链尚未成熟,导致“叫好”多于“叫座”。
结语
从 SONY’21 的“证明可行”,到 SONY’24 的“放大算力”,再到 J3DAI 的“缩到极致”,AI sensor 的三年进化呈现出“面积更小、集成更紧、能效更精”的明确方向。然而,真正的大规模落地,还需等待工艺、算法与生态的三重拐点。J3DAI 像一块路标,标记了当下技术能到的最远风景,也提醒我们:革命尚未成功,边缘视觉仍在路上。