自动除草机器人系统改装制作

    机器人车技发网分享一个外国的牛人们创建的一个低功率的，基于FPGA硬件的农业的农业机器人平台，用于从野外检测和清除杂草的项目。

     该项目借助机器视觉和神经网络通过训练杂草的模型然后用于识别。最终将杂草使用机械手清除掉，但到目前为止，进实现了机器视觉的识别功能、

机械手清除仍在进行中。这里分享一下人家的想法。

硬件组件如下
Xilinx ZCU104   × 1
Digilent Pmod DHB1: Dual H-bridge  × 1 双桥驱动
Digilent Pmod CON3: R/C Servo Connectors × 1 伺服
DC Motors with encoder× 2 直流电机带编码器
Servo Motor × 2 伺服电机
e-con Systems See3CAM_CU30 - 3.4 MP Low Light USB Camera × 1 摄像头
2500mw Laser Module × 1 激光
软件
Xilinx Vitis Ai  赛灵思的
Xilinx Petalinux Tools

     机器人正在成为我们在诸如工业，自动化，监视，军事等所有不同领域的日常生活中不可或缺的一部分。如今，基于ARM，基于i32 / 64 ISA的不同处理器通常用于构建大多数机器人平台。但是，这种基于处理器体系结构的应用程序在电池供电的设备上并未实现功耗优化，并且它们渴望大量不必要的功耗。我将要构建一个基于FPGA SOC的农业机器人平台，该平台具有针对自动Aggrotech应用的集成基于计算机视觉的方法。该平台将通过接口相机捕获图像数据，并基于获取的数据执行某些应用程序。我们在此重点关注的应用是从农业领域检测和清除杂草。

首先，通过  USB摄像头捕获农业领域的图像。然后，对捕获的图像进行某种对象检测深度学习模型的推断，以正确检测和定位可用杂草的位置。在这里，我们首先需要拥有一个植物杂草田间数据的数据库，然后使用一些基于深度学习的模型训练，首先使用tensorflow或caffe框架来创建深度学习模型。准备好经过训练的模型之后，我们必须使用该模型文件，并使用Vitis-AI软件将其转换为适合Xilinx特定推理的elf模型文件。由于COVID大流行情况，因此无法收集数据。因此，我们现在查找已经可用的模型文件dpu_tf_yolov3.elf，并暂时用于专门检测设备。检测完成后，有许多可能的机制需要更多的电机连接端口。ZCU104仅具有2个PMOD连接，尽管可以使用“ FMC-LPC至PMOD分支板”将其扩展为额外的7个PMOD插槽。此外，我们可以使用可用的“ FMC-LPC到MIPI摄像机分接板”来捕获农业现场工作场所的多视图图像，并使用ZCU104中可用的更多资源进行更好的高端处理。但是由于最近的COVID大流行，接收所有产品或从头开始制作并以硬件格式完成将花费大量时间。因此，在这里，我们将仅使用两个已经可用的PMOD接口，并为农业领域构建相对简单的设计和有效的除草系统。我们将使用一个Pmod DHB1，并将两个直流电机与其连接在一个PMOD接口中。通过另一个PMOD接口，我将连接一个Pmod CON3以控制伺服电动机的动作。

原文：https://www.hackster.io/parikshitsaha/automatic-weed-removal-robotic-system-d166ad

后期我们会借助该想法使用mobilenet 借助 tensorflow 训练我们自己的模型进行识别。