近日，东北农业大学教授沈维政率领的智慧畜牧创新团队创新性提出了一种模态映射完成网络方法，用于解决多模态奶牛行为识别中的模态丢失问题。该方法能够利用已知模态的数据来预测和补充缺失模态的数据，能够在数据不完整的情况下准确地识别奶牛的多种行为，提高了行为识别的鲁棒性和适用性。相关成果发表在Artificial Intelligence in Agriculture上。

在奶牛养殖中，准确识别奶牛的行为对于提升健康管理、繁殖效率、生产性能以及动物福利至关重要。然而，多模态奶牛行为识别算法中存在模态丢失问题，这种情况可能是由于农场环境中传感器或视频信号干扰、恶劣环境条件、极端天气、网络波动等因素引起的。

本研究中，团队提出了一种模态映射完成网络方法，将不完整的传感器和视频数据映射到一起，以改善在模态丢失条件下奶牛行为的多模态识别。他们通过将不完整的传感器或视频数据进行映射，并应用多模态行为识别算法来识别五种特定行为：饮水、采食、躺卧、站立和行走。结果表明，在各种综合缺失系数下，该方法平均准确率为97.87%±0.15%，平均精确率为95.19%±0.40%，平均F1分数为94.685%±0.375%，总体准确率为94.67%±0.37%。该方法提高了基于多模态数据的奶牛行为识别的鲁棒性和适用性，解决了奶牛行为数字孪生开发中的实际问题，并为农场的智能化和精准管理提供了全面支持。

该研究提供了一种更可靠、更精准的行为监测手段，通过这种技术可以协助养殖户能够更及时地发现奶牛的健康问题、优化饲料分配、提高繁殖效率，从而实现更高效的农场管理。此外，该技术还为奶牛行为的数字孪生模型的构建提供了支持，有助于进一步推动智慧农业和精准畜牧的发展。

相关论文信息：https://doi.org/10.1016/j.aiia.2025.04.005