作者
阿里奥斯曼或者
Ali拥有超过20年的半导体行业经验,专门从事ML,视觉处理器和启用设计。他目前正在领导“Edge”处理器的战略和技术活动。此前,ALI在恩智浦汽车加工业务中为ADA和自主产品领导了AI战略,战略伙伴关系和平台设计。亚博公司待遇在加入恩智浦之前,Ali是Cognivue Corp的工程副总裁,负责研发团队开发Vision SoC解决方案和认知处理器IP核心。阿里举办加拿大渥太华的卡尔顿大学的工程学位
大多数研究论文专注于一个机器学习(ml)用于特定任务的模型,分析所取得的准确性和处理架构在执行该模型时的功效,但在部署现场的真实解决方案时存在许多额外的考虑因素。在包括专用神经网络处理单元(NPU)的技术,在NXP i.MX 8M Plus应用程序处理器中提供2.3个加速度的高速度,为客户提供选择和灵活性,用于使用机器学习和视觉的广泛应用。亚博波胆怎么算的Arcturus网络的开发应用于监控银行的ATM位置,演示了安全边缘应用所需的多功能性和技术。亚博波胆怎么算的
我们邀请我们的同事们,Arcturus创新总监David Steele,分享了关于该项目的详细信息及其发展方法:
Arcturus团队最近从事一家项目,银行监控他们的ATM位置。银行希望防止在ATM领域拥挤,并限制对戴着面具的人们。此应用程序是EDGE AI的理想示例,因为边缘是数据源的且需要进行本地操作的位置。它还呈现出一些有趣的挑战。
样本数据分析显示,随着透视图变得更加顶部,呼吸围绕小封闭式ATM空间中常见的急性相机角度导致检测信心丢失(图1)。
此外,申请需要区分戴口罩的人和那些。这并不像简单地改善现有课程的检测到包括戴口罩的人一样微不足道。头盔或其他面部覆盖物的外观也可以被视为个人保护设备(PPE)(图2),因此需要多个新的检测类。
此外,银行希望扩展分析以检测可疑行为,包括游荡。
为了提高检测信心并向网络添加新类需要使用域特定数据和模型微调或再培训。此过程从边缘离线完成,并通过针对地面真实数据集测量的结果进行。此过程迭代,但通过使用域特定数据,结果提供了关键的模型改进。
一旦模型训练,微调和验证,模型可以移动到I.MX 8M Plus边缘硬件,该硬件具有专用的2.3上的NPU。为了有效地利用NPU,模型需要从其天然32位浮点(FP32)精度转换为8位整数(INT8)。该量化过程可能导致一些精度损耗,需要重新验证。
需要运行时推断引擎将模型加载到i.mx 8m plus中。NXP EIQ™机器学习(ML)软件开发环境提供了ARM®NN和Tensorflow Lite推理引擎的移植和验证版本;但是,边缘运行时版本不支持所有类型的网络所需的所有图层 - Newer型号,更不受欢迎的型号往往不得不受到广泛支持。
为了帮助减少培训和部署Edge AI系统所需的时间,Arcturus提供了一种目录,其中包含使用不同精度的预构建模型。这些模型预先验证以支持所有主要边缘运行时间;ARM NN,Tensorflow Lite和CPU,GPU和NPU支持的关系。工具可用于培训或微调模型以及数据集策策,图像刮擦和增强。与运行相同模型的其他公开的系统相比,这种优化运行时,量化模型和NPU硬件的这种组合的结果可以提供40倍(图3)性能改进。
一旦模型在边缘有效运行,需要分析输出。如果在静止图像上执行分析,则二进制分类可以确定PPE是否存在。随着实时视频,随着部分闭塞和身体姿势将导致检测结果的可变性变得更加困难。为了提高准确性,需要在多个框架上进行更智能的确定。为此需要跟踪每个独特的人员获取更大的样本。运动模型跟踪是一种适用于此任务的简单,轻量级方法,但是,它依赖于连续检测。闭塞,障碍物或离开和重新进入视野的人将导致轨道损失。因此,为了检测游荡需要更稳健的跟踪方法,其能够重新入住,而不管时间或空间。
通过使用生成视觉外观嵌入的网络来完成重新入住。此工作流程要求对象检测网络将本地化,帧和类信息传递给嵌入式网络(图4)。网络之间的同步和数据流是关键的,因为任何时间偏斜可能导致错误的引用。将输出与运动模型数据进行比较和确定的标识分配。嵌入式可以在多个摄像机系统中共享,它们可用于归档搜索,以通过应用聚类技术创建活动监视列表甚至进一步处理。
添加嵌入到运动模型跟踪的可视外观需要处理每个检测到的对象。因此,更多对象等于需要更多处理。在我们的申请中,人们的人数本质上由可用的物理空间束缚。然而,通过更大的视野,这可能呈现出显着的瓶颈。
为了解决此问题,Arcturus开发了一个视觉管道架构,其中不同的处理阶段由节点表示,例如,推理,算法,数据或外部服务。每个节点都像微伺服术一样动作,并且通过紧密同步的序列化数据流互连。这些节点在一起,从图像采集到本地操作,创建一个完整的视觉管道。对于基本应用程序,管亚博波胆怎么算的道节点可以在相同的物理资源上运行。更复杂的管道可以具有分布跨硬件的节点,CPU,GPU,NPU - 甚至云。管道在运行时策划,使它们无限灵活,可扩展,并帮助未来的边缘投资。每个节点都是谨慎的集装箱,使得更换系统的一部分简单,例如,即使模型时序变化,也可以在不中断其余系统的情况下更新推理模型。
该管道架构是Arcturus Brinq Edge Creator SDK的核心,使得可以扩展超出一个物理处理器的AI性能。例如,一个i.mx 8m plus可以执行检测,而第二个i.mx 8m plus生成嵌入式。这些设备可以在每个处理器上的两个专用以太网MAC中使用网络结构轻松互连。要进一步迈出这一步,该软件可以与Arcturus Atlas硬件平台相结合,可以使用包括I.MX 8M Plus在内的多个硬件配置扩展到187fps(图5)。
总之,涉及到申请的整体设计时,请考虑您的要求可能会发展。基于类的检测可能需要使用算法或其他网络来增强。未来的Edge AI将需要在可扩展的管道架构上构建,例如Brinq Edge Creator SDK,并利用由NXP I.MX 8M Plus处理器启用的ATLAS平台,如NPU Accelerator实现的可扩展硬件性能。
导演,AI ML策略和技术,边缘处理,NXP半导体
Ali拥有超过20年的半导体行业经验,专门从事ML,视觉处理器和启用设计。他目前正在领导“Edge”处理器的战略和技术活动。此前,ALI在恩智浦汽车加工业务中为ADA和自主产品领导了AI战略,战略伙伴关系和平台设计。亚博公司待遇在加入恩智浦之前,Ali是Cognivue Corp的工程副总裁,负责研发团队开发Vision SoC解决方案和认知处理器IP核心。阿里举办加拿大渥太华的卡尔顿大学的工程学位
2月25日,2021年
经过梅丽莎猎人
3月01日,2021年
2021年2月16日
经过朱利安德普朗克