深度相机Ⅰ - 机器人常用相机类型

1、机器人根据不同场景需求应用不同类型的相机（1）机器人上常用哪些不同种类的相机？

详细介绍一下这些不同种类的相机

• 普通RGB相机：最常见的数码相机或摄像头，镜头将场景光线聚焦到成像传感器（CMOS或CCD），传感器能捕捉红（R）、绿（G）、蓝（B）三种颜色通道的可见光图像，图像信号经过模数转换（ADC）变成数字信号，最终得到一张彩色二维图片或视频帧，像素点的颜色由 R、G、B 三通道的强度组合而成。RGB相机能执行一般视觉任务、成本低、图像丰富。

• 双目相机：可以类比人的双眼，它是一种由两个相互分离的摄像头组成的成像系统，它模仿人眼的立体视觉原理，因两个镜头有一定的基线距离，同一个物体在两幅图像上的位置会有细微差别，即是视差。双目相机通过拍摄同一场景的两张视角不同的图像，来估算物体的深度（距离）和三维结构，核心思想就是“通过视差测距”。
  

• 深度相机：不仅能拍摄彩色或灰度图像，还能同时获取每个像素到相机的距离（即深度信息）的摄像设备。相机提供距离信息可用于3D建图、机器人自主避障、识别物体形状等应用。

• 全景相机：全景相机也叫360°相机，它是在一次拍摄中捕捉全方位视野的相机，通过多个广角/鱼眼镜头同时拍摄不同方向画面，再通过软件拼接成球形全景，捕捉的范围接近360°水平+180°垂直。它让你获得“身处场景中央”的沉浸式画面，而非普通相机的窄视角画面。全景相机用于安防、环境监测，它分辨率高和帧率高，可用于质量检测、精密定位等。

• 工业相机：是一种专门为工业检测、自动化、机器人等应用设计的高性能成像设备。与我们日常使用的手机相机、普通网络摄像头不同，工业相机追求的是高精度、高稳定性和可持续工作能力，而不是拍“好看”的照片。工业相机和主机的接口用USB3.0、GigE等高速接口。

（2）机器人如何在不同的场景选择不同类型的相机？

• 服务机器人/扫地机器人：应用普通的RGB相机、双目相机、深度相机等，实现人脸识别和自主避障等功能。
• 工业机械臂：应用工业相机，实现引导定位，实现物体的精确抓取。
• 巡检机器人：可以使用全景相机或热成像相机，特点是大范围观察、夜视等。

2、深度相机有哪些种类？深度相机，也称为3D相机，深度相机是一种能够捕捉物体与相机之间距离信息的设备，与传统的2D相机相比，可以提供更为丰富的环境感知能力。深度相机主要有以下几类（1）双目视觉深度相机

• 工作原理：通过两台相机从不同角度捕捉场景图像，计算两幅图像中的视差来确定物体的深度，利用双目立体视觉成像原理，通过两个摄像机来提取包括三维位置在内的信息进行深度感知。其工作方式类似于人的双眼，大脑通过计算两只眼睛看到物体的差异来判断物体的距离，双目视觉深度摄像机也是通过比较两个摄像头获取的图像的位置偏差，来获取物体的三维几何信息。
• 工作原理：优点是分辨率高、适合中远距离测量，不依赖光源，缺点是算法复杂，计算资源消耗大，对低纹理或单调表面的物体效果差。

（2）飞行时间深度相机

• 工作原理：飞行时间为又称ToF（Time of Flight），传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射的时间差或相位差，来换算被拍摄景物的距离，从而产生深度信息。
• 应用特点：飞行时间相机的优点是检测距离远，在激光能量足够的情况下可达几十米；且受环境光干扰比较小，响应速度快。缺点是对设备要求高，特别是时间测量模块；资源消耗大，运算量大；分辨率不高，难以满足高精度要求。

（3）结构光深度相机

• 工作原理：通过投射特定的光图案（通常为红外光网格或条纹）到物体表面，这种具备一定结构的光线会因被摄物体的不同深度区域而产生不同的图像相位信息，然后通过运算单元将这种结构的变化换算成深度信息，以此来获得三维结构。
• 应用特点：多用于近距离物体检测和3D重建，适合室内光照较稳定的环境。结构光深度相机的方案较为成熟，方便小型化；资源消耗较低，单帧红外图就可计算出深度图，功耗低；主动光源，夜晚也可使用；在一定范围内精度高，分辨率较高。结构光深度相机的缺点是容易受环境光干扰，在强光下效果受影响；测量距离有限，远距测量效果不理想

附：双目深度相机、飞行时间深度相机、结构光深度相机原理对比除了以上三类深度相机外，还有其它种类的深度相机，比如光场深度相机，利用微透镜阵列得到不同深度平面的图像，可获取场景的多视角信息，从而计算出深度信息。相控阵技术深度相机，利用大量单个控制的小型天线单元排列成天线阵面，合成不同相位的波束来获取深度信息。原位投射掩模技术深度相机，在CMO表面镀衍射薄膜，根据衍射情况确定距离，也是一种较为新颖的深度相机技术。