机器视觉产业链全景回顾

视觉引导机器人生态系统或产业链分为三个层次。

上游（供应商）

该机器人视觉系统的上游包括使其得以运行的硬件和软件提供商。硬件提供商提供工业相机、图像采集卡、图像处理器、光源设备（LED）、镜头、光学附件、配件等。

另一方面，软件提供商则提供机器视觉软件和算法，这其中包括视觉处理软件、算法平台及其库、图像处理软件等。

中游（机器人设备制造与系统集成）

在中游阶段，我们会把这些硬件和软件部件结合起来，制造出能够进行视觉引导、识别、测量和检测的设备。之后，我们还会对这些设备进行进一步的整合，以形成可以直接用于机器人导航、安全检查、质量检测等多个方面的现成解决方案。

下游（应用）

这些解决方案可以应用于多个行业，如电子、半导体、食品、饮品和屏显制造业，用于安全和质量检测，也可以应用于汽车行业，实现自动驾驶、驾驶辅助功能以及自动化电池充电。

机器人视觉是如何工作的？

在机器人被部署到工业生产线之前，必须先对其进行训练，使其能够识别物体。完成这部分训练后，系统的工作流程如下。我们以一台通常处于等待或待机状态的工业机器人为例。

1．工件定位检测器始终处于开启状态，当物体移动到摄像机视野中心附近时，它能够感知到。一旦检测到物体，它就会向图像采集卡发送激活信号或触发脉冲。

2.图像采集卡根据预设程序和延迟，向摄像机和照明系统发送启动脉冲，以启动它们。

3.如果摄像机处于激活状态，它会停止当前的扫描并开始新的一帧扫描。但如果它处于待机状态，启动脉冲会触发它开始帧扫描。视觉摄像机在扫描帧之前会打开曝光机制，并且您可以提前配置曝光时间来控制帧扫描。

4.另一个启动脉冲会打开LED照明，图像采集卡确保照明时间与摄像机的曝光时间相匹配。

5.曝光后，图像帧扫描和输出开始，图像传感器产生模拟视频信号。

6.图像采集卡将模拟信号转换为数字信号。但如果摄像机是数字的，则此步骤不必要。然后，图像采集卡将数字图像存储在计算机的内存中。

7.卡中的处理器使用人工智能算法对图像进行分析识别，以获得X、Y、Z测量值或逻辑控制值等。

8.图像处理的结果被发送到生产线控制单元，该单元会根据需要进行任何校正操作。典型的操作包括定位和运动调整。

机器人视觉与计算机视觉：有何不同？

这两者之间界限微妙。计算机视觉是一个更为宽泛的术语，它涵盖了机器人视觉和机器视觉，并涉及从图像中提取信息以理解其上的像素数据或物体。简而言之，计算机视觉主要是关于图像上的物体检测。

但机器人视觉是计算机视觉的一个子集，它更侧重于工程和科学领域（而计算机视觉则更多属于研究领域）。因此，机器人视觉必须融入其他算法和技术，以使机器人能够与周围环境进行物理交互。例如，运动学和参考坐标系校准使机器人能够移动、抓取物体并避开周围障碍物。

机器视觉经常与机器人视觉互换使用，但两者略有不同。作为计算机视觉的另一个子集，这一工程领域指的是视觉在工业中的应用，以处理特定应用，如过程控制、自动化检测和机器人引导（这一特定功能）。

机器人视觉的应用

由于机器人视觉涵盖了机器人眼睛所能执行的所有视觉功能，因此它提供了这些独立的机器视觉能力。

图像识别：这一应用场景主要适用于二维码和条形码，有助于提高生产效率。

图像检测：在印刷和产品质量检测中，颜色对比和定位等功能依赖于图像检测。

视觉定位：这种机器视觉应用帮助机器人找到检测到的物体的位置，以便进行抓取或移动，如在包装过程中。

物体分类：机器人还可以对捕获、识别和处理后的图像进行分类，这有助于根据等级、尺寸或缺陷对产品进行分拣。

物体测量：这是一种非接触式应用，有助于测量或计算齿轮、连接器引脚、汽车零部件等。它避免了接触式测量可能造成的二次损伤。

为什么在机器人视觉中使用人工智能？

人工智能或机器学习在机器人视觉的模式和物体检测中引入了智能，从而带来了以下好处。

增强柔性制造

由于内置了智能和训练功能，机器人可以适应不同的光照条件、位置和环境，同时仍然能够准确操作。例如，如果其他操作变量（如深度和光照）存在差异，则经过颜色检测训练的机器人在检测颜色时将提供更高的准确性和检测率。

人工智能还使得机器人能够从过去的错误中学习并进行自我校准以提高效率。人类也可以指出它所犯的错误，以便进行强化学习，从而更快地校准系统。

然而，人工智能的视觉准确性仍然存在局限性，因为其错误率约为15%。因此，有必要进行人工复检以确保达到高质量标准。这可能会显著增加生产成本。但随着技术的成熟，错误率有望降低，如果低于5%的阈值，人工智能和机器人/机器视觉可能就不再需要人工复检。

提升工业机器人能力

机器学习还可以增强工业机器人的抗干扰和误差补偿能力。例如，在使用传统机器人对汽车表面进行抛光时，该过程必须遵循固定程序。如果有人为干扰，车辆可能会带着缺陷离开油漆车间。但人工智能使机器人能够感知这些变化并补偿任何误差，从而使抛光过程达到所需的结果。

机器人还可以通过自我校准自动优化这一生产过程以提高效率。当与物联网配对时，人工智能可以使用传感器数据进行大数据分析，以使生产线尽可能高效。

这些智能机器人也是可重复使用的，因为某些任务或程序可以应用于制造车间的多个过程。例如，抛光机器人可以对汽车、自行车和其他产品进行抛光，因为表面质量是最重要的考虑因素。因此，无需对这些机器人进行重新编程以执行这些任务。

机器人视觉的发展趋势

三维成像：三维视觉使机器人能够识别和抓取大量随机放置的部件，以优化抓取操作的效率。

高光谱成像：这种成像技术通过检查颜色等变量来可视化不同材料中的分子结构，从而能够分析化学材料。它还可以监测缺陷或检测杂质，例如在肉类生产中通过检查颜色来检测塑料。

工业检测中的热成像：热成像可以与普通相机配对，提供全面的检测系统，以在测试汽车或电子产品时监测温度变化。这个额外的“眼睛”能看到普通眼睛看不到的东西。

云端深度学习：机器人视觉还可以为云端深度学习算法提供大量数据进行推理。尽管广域网存在延迟和安全问题，但5G和大规模机器类型通信（mMTC）提供了快速且安全的通信，使得云端处理更加可行，从而有可能实现“轻量级”机器人。

东胜物联嵌入式视觉AI系统级模块（SoM）

东胜物联在构建机器人视觉方面功能最强大的系统级模块（SoM）是RK3588J。在机器人视觉产业链中，该产品属于上游层级（硬件部分），因此您可以安装必要的软件并将其与其他所需硬件进行接口连接，以为您的客户构建ROS计算机视觉系统解决方案。

该SoM内置了6 TOPS的NPU来运行AI算法，并支持大型离线模型、物体识别（包括人脸识别）、单目测距以及灵活的计算扩展，以处理不同的任务。

在数据输入方面，该SoM的MIPI CSI支持最多8个摄像头输入，并配备了USB端口以运行照明功能。摄像头或其支撑臂也需要移动，而RK3588J具有CAN接口，可实现精确的电机控制。如果机器人是可移动的，此接口还可以移动轮子并控制电机的速度。

东胜物联在机器视觉嵌入式主板定制领域经验丰富，提供从硬件设计、BSP开发到软件应用及测试用例的全面支持。