计算机视觉和神经网络将有助于识别水果和蔬菜的疾病
来自 Skoltech 和圣彼得堡国立航空航天仪器大学的科学家团队发表了一篇论文,其中他们提出了一种替代方法,用于在采后阶段识别苹果的腐烂和发霉区域,即水果储存在仓库中,然后再进行检测。交付给消费者。计算机视觉系统将能够在早期阶段识别出不同类型的缺陷,而此时人眼可能仍然无法识别这些缺陷。
该工作发表在《熵》杂志上。尽管许多流程都是自动化的,但水果和蔬菜在收获后阶段的质量评估,特别是在分选过程中,主要由人类进行。产品在运输给消费者的过程中可能会变质和损坏。人们可能会忽视和错过某些腐烂区域,特别是如果附近没有农艺师可以准确说出腐烂的类型或损害。
以苹果为例,科学家们研究了两种类型的缺陷:腐烂和霉菌。例如,如果苹果挤得很紧,它们就会相互碰撞,碰撞的地方会更快地腐烂。当储存条件被根本破坏或农民在收获期间没有注意到时,就会出现霉菌。
专家使用红外光来检测损坏情况,但正如研究人员指出的那样,这需要多光谱和高光谱相机。它们非常昂贵,有时还非常复杂。这项研究背后的想法是为这些相机提供一种替代方法,使用可以生成红外图像的深度学习模型。作者强调,他们并不寻求取代传统方法,而只是提供一种更容易使用和更先进的方法。
“我们使用了两种类型的神经网络:生成对抗网络和卷积网络。第一种类型的模型允许您从一种类型的图像中获取另一种类型的图像。在我们的例子中,我们从 RGB 图像(即可见照片)中获取红外图像。但这还不足以检测缺陷,因为生成对抗模型不会对图像进行分类。因此,卷积模型发挥了作用,它使我们能够识别图像中所需类别的对象。”该研究的第一作者、Skoltech 农业技术项目中心的初级研究工程师 Nikita Stasenko 说道。
研究人员分几个阶段进行了实验:首先,他们收集并处理可见照片中的数据。选取了四个不同品种的 16 个苹果来拍摄照片。接下来,每个品种的苹果都受到不同的影响:第一个被彻底清洗和干燥,第二个受到机械应力,第三个在-20度的温度下冷冻。
“收集数据后,我们评估了几种基于生成对抗神经网络的模型:Pix2Pix、CycleGAN 和 Pix2PixHD。我们测试了这些模型,并将生成的红外图像与原始图像进行了比较。根据评估质量指标,Pix2PixHD 模型生成的图像尽可能接近原始图像。”Nikita Stasenko 继续说道。
第二阶段使用了Mask R-CNN卷积模型——在团队之前的实验中,该模型证明自己是最有效的。为了训练它,科学家们收集了另一个仅由红外图像组成的数据集。接下来,对这些图片进行标记:它们标出了健康苹果的位置以及腐烂和发霉的区域。
在第三阶段,一组科学家使用了 Jetson Nano,这是一种特殊的嵌入式系统,可让您运行经过训练的神经网络。未来,基于该系统,将有可能创建一个真正的检测水果和蔬菜缺陷的设备。此外,科学家计划将结果扩展到其他作物,并测试其他神经模型。