１ 前言
1.1 编写目的
工业机械手图像分析与智能控制系统是面向现代制造业生产线中的各类工业机械手的智能化控制需求，通过图像传感采集装置获取机械手工作区图像，对图像中的内容进行自动分析与识别，进而确定机械手的操控目标、定位坐标以及操控指令，形成具有自动化和智能化特征的工业机械手智能控制系统。本系统的研发将极大提升工业机械手的智能控制水平，提高操作精度与稳定性，提高工业生产线的生产效率。
1.2 技术背景介绍
工业机械手图像分析与智能控制系统涵盖了图像传感装置设计、数字图像处理与模式识别、嵌入式应用系统集成、智能控制设计等多个领域的先进技术，其研发成果将具有以下技术特点：
1.低成本高精度图像传感装置：图像传感是工业机械手实现智能控制的重要手段之一，传统做法多采用高精度高成本的CCD工业摄像头，随着CMOS图像传感技术的日益成熟，选择具有高精度、低成本的CMOS工业摄像头已经成为工业智能控制领域的主流方向。本项目选择CMOS数字图像传感装置构建多视角图像传感系统，通过设定全局摄像头实时采集工作区全局影像，通过在机械手上设置局部摄像头实时采集当前工作位置局部影像，从而实现多层次的图像实时传感与处理分析。
2.数字图像处理与模式识别技术：本项目采用先进的数字图像处理与模式识别技术实现对零部件的自动定位和智能分类识别，进而指导工业机械手精确快速的定位到操作对象上方，完成相应的分拣、抓取、安装等机械操作，同时可根据不同应用需求灵活调整处理策略,采用此种方式将大大提升工业机械手的智能控制能力。
3.嵌入式应用系统集成：本项目选择工业机械手自身的电动控制硬件平台作为智能控制系统的运行平台，使用基于Linux的嵌入式应用系统设计完成核心算法与应用流程的设计开发，实现智能控制系统与电动电气控制系统的一体化系统集成。
4.一体化运维管理技术：在现实应用环境中，一条生产线上可能存在多个同类工业机械手，多个工业机械手之间并不存在统一的智能控制网络，本项目将采用管控一体化的思想设计开发工业机械手的智能控制应用系统，可支持建立基于LAN网络的工业机械手智能控制网络环境，也可支持基于统一配置文件的工业机械手一体化运维管理，使得客户能够方便快捷的调整改变所有工业机械手的运行策略，进而提升针对智能化机械手的运维水平，降低维护成本。
2 核心工作内容
工业机械手图像分析与智能控制系统涵盖了机器视觉、数字图像处理与模式识别、计算机软件、微电子、嵌入式系统等等领域的方法和技术。
2.1 多视角实时图像传感与采集装置研发
该项工作是项目的核心硬件基础，其主要研究内容包括：
1.高精度工业CMOS图像传感与采集装置硬件设计
采用高精度工业用CMOS图像传感与采集元器件和工业用摄像头，建立起基于USB和LAN接口的图像传感与采集装置，实现对机械手工作区图像的实时采集与传输。
2. 多视角图像传感控制系统设计
本项目采用全局图像传感装置与机械手内嵌图像传感装置（可选）相结合的模式，建立起多视角图像传感系统。首先由全局图像传感装置进行工作区全局图像采集，对该图像进行智能分析处理后，指导机械手移动到指定位置，然后可使用机械手内嵌的图像传感装置进行局部图像实时采集与分析，实现机械手精确定位和操控指令的智能化选择。这种多视角图像传感控制系统的工作模式能够有效克服生产线上的各种不稳定因素，保证机械手的智能操控具有稳定性和适应性的特点。
此项工作的主要研发内容包括图像传感装置的驱动软件设计和接口定义，图像格式定义、多个图像传感装置所采集图像的坐标系标定与图像对齐。
2.2 图像分析与智能识别核心算法研发
针对工业机械手的自动分拣处理需求建立核心算法处理流程，其主要研究内容包括：
1.基于颜色、形状和先验规则的图像识别训练系统
本项目将不限定工业机械手处理对象的类别、形状和颜色，而是采用人机交互半自动的有监督学习工作方式。用户可在训练模式下摆放待处理的零部件，而后设定分拣的类别、颜色、形状，并设定先验规则（例如分拣规则是指工业机械手将对工作区内的零部件进行自动分类拣取，定位规则是指工业机械手将精确定位到某一特定位置后执行特定操作等）。
此项工作将为工业机械手提供自动学习和记忆的能力，通过建立图像识别训练系统的核心数据结构、处理流程和系统配置规范，实现具有高度自适应特性的自动化学习机制，提升本项目工作成果的通用性。
2.针对真实操作过程中工作区内图像的自动分析与智能识别系统
在完成图像识别训练工作的基础上，进一步建立针对工作区内图像进行自动分析与智能识别的核心算法与处理流程。该项工作的重点在于图像分割、颜色形状等特征提取、零部件高精度定位与自动分类、零部件处理策略的自动分析与理解等。
此项工作将为工业机械手提供自动分析与识别的能力，通过建立图像实时分析与自动识别机制，实现对“已知对象”的自动辨识，这种能力具有极强的抗干扰性，例如在工作区内同时存在“已知”的零部件和“未知”的零部件，工业机械手可自动的对“已知”零部件进行分类处理，“未知”零部件的存在与否不会干扰工业机械手的智能处理能力。
3.核心算法集成控制接口设计与评测调试
以上两项工作的重心在于建立核心算法模型与核心处理流程，还需要通过工程化的集成控制接口设计和大量数据的调试评测完成对核心算法的封装集成，使其能够被部署到工业机械手的硬件平台上并且正常运行。
此项工作将完成对核心算法的系统封装与平台移植，并依托真实的硬件环境与应用数据环境开展稳定性、精确性的评测调试工作，确保核心算法能够满足应用需求。
2.3 工业机械手智能控制应用系统研发
工业机械手的智能控制机制必须与其原有的电动电气控制机制和机械控制机制进行系统集成才能发挥作用，此项工作将完成对本项目软硬件研发成果的一体化集成，实现对图像采集装置、I/O端口等硬件设备资源的集成管理，实现对图像识别训练、图像自动分析识别等核心算法的一体化集成调用，实现与电气电动控制装置的应用集成，实现对嵌入式硬件平台运行环境的实时监控与自动化管理，实现面向用户操作的人机交互机制。主要包括以下工作内容：
1.工业机械手智能分拣与控制操作的应用系统框架设计
采用先进安全的嵌入式应用系统框架设计方法，建立起稳定高效的智能分拣与控制操作应用系统框架，该框架涵盖了硬件资源管理、应用流程规划、核心算法调度、系统运行环境与资源分配管理、人机交互机制等重要机制的接口定义、数据结构定义、错误/异常维护机制、资源分配调度等内容。是各项具体应用功能的支撑框架。
2. 智能控制与电气电动控制的集成封装机制
将本项目实现的智能控制机制与工业机械手的电气电动控制机制进行集成封装，提供良好的调用接口和数据格式供电气电动控制机制进行调用和读取，解决两种机制之间的数据同步、坐标对齐、操控指令与智能分析规则同义转化等关键问题。实现智能控制与电气电动控制的集成联动。
3. 人机交互机制
本项目将立足于工业机械手的嵌入式计算机硬件平台建立完整的人机交互机制，主要内容包括屏显版式与内容设计、应用操作流程设计、人机交互操控设计、系统配置管理等内容。此项工作将实现灵活便捷的人机交互接口和应用操作流程，实现用户对工业机械手智能控制策略的快速设定与友好操作。
2.3 江山服务
只要您需要，江山将尽力满足您的要求，完成你需要的功能，为您实现您想达到的目的和成果。江山和您共同打造自动化智能化的工业。
项目中的截图
图1 项目中的截图
