3维点云技术彻底改变了植物表型参数的非侵入式测量，为农业和研究提供了重要数据。目前的研究重点是克服 2.5D 成像和遮挡的局限性。为此目的，正在探索运动结构、多视图立体和先进的主动 3D 重建技术等方法。然而，由于植物遮挡和环境因素，数据采集不完整以及表型参数提取不准确的问题仍然存在。最近，将深度学习与点云分析以及强化学习代理控制的 GAN 网络和多尺度几何感知 Transformer 网络等创新技术相结合，通过增强点云完成度和保持原始数据的完整性，有望解决这些挑战。

2023年11月，Plant Phenomics 发表题为《基于深度学习的遮挡条件下植物叶子的点云完成》的研究文章。

本研究利用基于神经网络的点云补全，特别是 PF-Net 算法，来重建大白菜叶子的 3D 模型，该模型因其复杂的结构而具有挑战性。使用 PF-Net 创建和训练卷心菜叶点云数据集，并使用 Azure Kinect 相机获得不完整的点云。神经网络补充了这些不完整的点云，实现了全3D重建，然后与MVS-SFM算法进行精度比较。结果表明，PF-Net成功地从MVS-SFM和Azure Kinect数据集完成了各种形状和弯曲程度的点云，展示了其完成复杂结构的强大能力。然而，在多个缺失部分的区域，完成效果较差。随着缺失率的增加，补全效应减弱，特别是在叶点云的孔洞中，这表明虽然网络有效地学习了结构关系，但它在处理更大的缺失区域时遇到了困难。在自然遮挡条件下，与 MVS-SFM 算法相比，PF-Net 提高了叶点云的完整性，但在多重遮挡或高缺失率方面遇到了困难。该研究还检查了重建精度和叶面积提取结果。重建点云中大约一半的点对距离误差小于2 mm，表明与MVS-SFM方法具有中等一致性。叶面积提取分析表明，点云完成后叶面积估计的准确性有所提高，结果与使用 MVS-SFM 算法获得的结果接近。

尽管取得了这些令人鼓舞的结果，但该研究承认在完成现实世界的不完整点云方面存在差距，并且由于点云的旋转不变性特性而导致点云方向的挑战。未来的改进包括开发更真实的训练数据集并解决方向估计挑战，可能通过多阶段完成网络，该网络可以在完成模型之前学习和调整模型的正确姿势。总体而言，该研究为使用主动传感器进行植物表型研究提供了新的视角，并证实了深度学习在提高表型参数估计精度方面的潜力。