一． 卫星遥感与人工智能发展现状

1.1 卫星遥感发展现状

随着中国北斗卫星的不断升空，遥感源数据逐渐丰富，北斗定位、遥感、影像、地理信息等技术越趋成熟，卫星遥感的应用也在多个行业开展。

通过航天渠道，我们获悉遥感卫星数据主要包括以下四大类数据，可应用于综合应用服务（1）具每日更新能力的30-50米多光谱或者高光谱资源监测卫星数据，可实现地理数据监测、预报与统计分析日更新能力；（2）每月更新能力的2-5米高分辨率光学成像卫星数据，可实现发展态势监测与统计分析月更新能力；（3）分辨率高达0.5-0.8米的高分成像卫星数据，可实现重点目标或区域的精细化监测与应用分析，更新频率3个月以上；（4）合成孔径雷达SAR以及干涉合成孔径雷达InSAR数据，可实现高精度地形变化监测以及不受天气影响的数据感知服务能力。

根据中国科学院计算机网络信息中心承办的地理空间数据云平台获悉，目前卫星遥感数据（1）免费公开数据有：LANDSAT系列数据、MODIS 陆地标准产品、MODIS 中国合成产品、MODISL1B 标准产品、DEM 数字高程数据、EO-1 系列数据、大气污染插值数据、Sentinel数据、高分四号数据产品、高分一号WFV数据产品、NOAA VHRR 数据产品（2）商业收费数据有：高分一号、高分二号、高分三号、资源一号、资源三号（3）已处理地理汇集数据有：标注数据、遥感解译数据、地理信息数据、大气海洋数据、生态环境数据、社会经济数据。大家可以搜索平台，注册下载。

1.2 人工智能发展现状

近年来，全球人工智能技术快速发展，成为推动科技和产业加速发展的重要力量，对经济社会发展和人类文明进步产生深远影响。

近70年的发展历程中，人工智能经历了灌输规则、灌输知识、从数据中学习这三个阶段。国内外一些IT大厂(如：ChatGPT、谷歌、百度、阿里等)相继投入研发，开发了人工智能大模型底座，这类模型拥有‘大数据+大算力+强算法’特征，依托这些模型底座可以进行行业二次及多次训练。 

计算机视觉应用是人工智能的一个重要分支，利用人工智能和机器学习（AI/ML）准确地处理这些数据，以进行对象识别和图像识别以及分类、推荐、监控和检测。

计算机视觉应用程序现已改善农业部门的整体运作。卫星遥感影像有助于分析大片土地和改进耕作方式。计算机视觉应用程序可自动执行很多任务，例如监测田间状况、识别作物病害、检查土壤湿度以及预测天气和作物产量。利用计算机视觉进行植物、土地监测是智慧农业的一个关键应用。

二． 实现的技术路线

2.1 卫星遥感影像数据的获取与处理

目前可通过中国科学院计算机网络信息中心承办的地理空间数据云平台获取卫星遥感数据，本次我们着重分析分辨率高达0.5-0.8米的高分成像卫星遥感数据。通过获取的源数据进行再处理，（1）遥感基础数据导入；（2）建立农业遥感图形图；（3）信息提取量化测定；（4）输出和应用。

图1 卫星遥感数据处理步骤

2.2训练数据

我们收集了2019-2020 年生长季的1200个田地遥感数据。对于每个字段，我们选择了在生长季节的不同时间拍摄的三张图像，从而获得了3600张可用于预训练的原始图像。我们选择包含2020年的数据，尽管它不是原始监督数据集的一部分，但是质量很高，分布与2019年类似，并且我们希望鼓励围绕将不同源域合并到建模方法中进行探索，将此原始图像加上原始监督数据集（全场格式）表示为“扩展农业视觉数据集”（AV+）；。 AV与AV+相比的统计数据如表1所示。

图2 AV与AV+图像集

图2：左：根据AV数据集构建的全场图像（仅限RGB）。 此大小的字段大约为15,000×15,000像素，可以产生许多更小的图块。右：用于细粒度分割任务的样本图像和标签。

遥感的特点之一是数据重访：多次从同一位置捕获图像。通过数据重访，时间信息可以作为空间信息之外的附加变化维度。在AV+中，典型的重访时间从7天到6个月不等，在种植前、生长和收获季节的不同时间点捕获田地。

表1：农业愿景和扩展农业愿景（原始图像部分）的统计。 我们提供有关图像数量、图像大小、像素数、颜色通道和地面样本分辨率 (GSD) 的信息。

2.3细粒度分割数据集

由于难以收集足够量的带注释数据，高分辨率遥感数据（尤其是农业）的细粒度分割任务经常被忽视。为了探索 AV+ 数据集和训练方法非常具有挑战性、数据有限的域内（即相同传感器和地理）任务的可转移性，我们构建了一个密集注释的数据集。我们收集了2020年生长季的68个遥感数据。从这些航班中，选择了184个形状为 1500 × 1500 的图块，并密集注释了四个类别：土壤、杂草、农作物和非管理区域（例如道路、树木、水道、建筑物）；“忽略”标签用于排除由于图像收集问题、阴影或云而可能无法识别的像素。该数据集中的注释比 AV+ 数据集中的注释更细粒度。例如，AV+数据集将杂草密度高的区域识别为“杂草簇”，而该数据集在像素级别单独识别每种杂草，并按适当的类别标记这些区域中的任何作物或土壤。图2（右）显示了示例图像和注释。

细粒度的性质和较小的数据集大小使得这是一项非常具有挑战性的分割任务：非常年轻的作物通常看起来像杂草，成熟作物中生长的杂草只能通过作物行的较大结构的中断来检测，未管理的区域通常包含草以及其他与杂草非常相似但种植者不关心的生物量，并且类别高度不平衡。

2.3训练率定

在本节中，我们提出了在 AV+ 数据集训练方法，针对训练模型我们需进行率定校准，下面通过时间对比进行阐述。

虽然像素级训练学习对空间推理能有效表示，但利用 AV+ 学习的时间信息结构的表示更具有说服力。我们创建了不随时间变化的附加嵌入子空间，由于主干网络通过额外的子空间学习时间感知特征，因此它在下游任务中提供了更精确和更通用的模式分析。通过从同一区域（即同一领域）但在不同时间获取一对图像来定义正时间对，如图 3 所示。我们探讨了正时间对的时间对齐是否提供了结构为预训练提供了比简单的人工转换（即翻转、移位）更有意义的内容。

以恒定时间（3个月）分离不同，图像之间的时间差从1周到6个月不等，对图像进行如下调整。 首先，我们随机选择来自同一场地、相同位置但不同时间的具有 512×512 的三个图块将被定义为xt1、xt2和xt3。 仅将随机裁剪 Tcrop 应用于查询图像以生成查询视图，即 xq = Tcrop(xt1)。 包含时间方差和人工方差的第一个关键视图定义为 xk0= T (xt1)，其中 T 是 MoCo 中使用的典型数据增强管道。 与查询视图相比，第二个键仅包含时间增强。

图3 AV+ 中时间对比度的可视化

因此，我们对查询图像应用完全相同的裁剪窗口，xk1 = Tcrop(xt2)。 第三个密钥仅包含人工增强，xk2 =T (xt0)。 遵循 MoCo 和 SeCo 学习策略（行业率定策略），这些视图可以映射到对时间增强、人工增强和两者方差不变的三个子空间。通过这种方式，我们充分探索了AV+中的多时间尺度信息，以进一步提高编码器的时间敏感性。 由于时间对比度不一定跨季节或强制子空间内的季节性对齐，因此我们将我们的方法表示为时间对比度（TemCo）。

为了确保有效的计算，我们不在每个时间子空间中计算逐像素对比更新。相反，我们分配了两个额外的投影仪来进行像素级对比学习。 我们在在线主干网和像素级投影仪之后添加了PPM，以平滑学习的功能。 然后，我们通过点积计算平滑特征向量和动量编码器特征的相似度。

三． 效果验证

我们在四个下游任务上对模型训练学习表示的性能和可迁移性进行基准测试：农业模式分类、AV+ 语义分割、细粒度语义分割和土地覆盖分类。

数据集。我们以 AV+ 作为数据集来预训练主干网。具体来说，所有原始图像都被裁剪为形状为 512×512 的图块，没有重叠，遵循 训练基本原则。因此，我们最终得到了300万张裁剪图像。对于每个图块，它将被发送到对比学习模块。

实施细节。 我们将每个模型训练200个周期，批量大小为512。对于初始模型，我们使用 SGD 作为优化器，权重衰减为0.0001，动量为0.9。学习率最初设置为0.03，并在第120和160个时期除以10。本文中使用的所有人工数据增强都遵循 MoCo-V2 的工作，因为该数据增强管道实现了最佳性能。 这些数据增强包括随机颜色抖动、灰度变换、高斯模糊、水平翻转、调整大小和裁剪。

使用所有四个通道（RGB 和 NIR）来完全提取数据集中包含的特征。在测试 ImageNet 初始化的主干进行比较时，将预训练权重的红色通道对应的权重从ImageNet 复制到 NIR 通道，以用于所有下游任务。

下游分类任务考虑九种模式：养分缺乏、风暴损害、干旱、内行、双株和杂草。这些模式的更多详细描述可以在补充中找到。我们对基本模型 (MoCo)及其变体在 AV+ 标记部分的分类任务上的性能进行了基准测试和验证，遵循三个协议：(i)线性探测（ii）非线性探测，以及（iii）针对下游任务微调整个网络。

最终证明基于卫星遥感数据，配合、与人工智能训练学习，能够不断学习识别农田不同时期差异变化，从而能够找出农田特征，如养分缺乏、风暴损害、干旱、内行、双株和杂草等，以便政府、农民可以及时收到有问题的区域的警报，及时作出应对措施。

四． 结论

卫星遥感为农业带来了巨大的新机遇，与其他领域一样，遥感和对地观测数据存在大量未标记数据和相对较少的注释。因此，利用这些未标记数据中的信息成为一项关键任务。 当前人工智能的迅猛发展下，通过人工智能动态训练能有效推动这些工作的进展，该模型包含基于原始 AV 数据集和AV+的带注释的全场图像，辅以不同时间拍摄的卫星遥感图像，围绕农业农田业务背景进行训练学习。 原始的未标记数据将使我们能够继续探索自监督、半监督和弱监督方法，我们已经开始在这里对这些方法进行基准测试。现我们训练的模型已在个别区县城市进行测试使用，效果良好。

接下来，我们对基于对比学习的自监督预训练方法进行彻底的基准研究，捕捉这些数据的细粒度、时空性质。我们分析了线性探测、非线性探测和微调下 AV+ 数据集的分类公式。我们还基于带有冻结和未冻结编码器的 AV+ 原始分割公式以及相同公式下的极小细粒度分割任务，检查了在遥感方法中经常被忽视的分割任务。我们进一步将该模块与新一代组件TemCo结合成一个丰富的框架，捕获数据的密集时空结构。

自我监督方法对于卫星遥感应用至关重要，特别是对于农业农田而言，本研究发布和基准研究朝着这个方向迈出了重要一步。

参考文献：

1郑远攀等. 深度学习在图像识别中的应用研究综述[J]. 计算机工程与应用, 2019, 55(12): 20-36.

2许迪等. 卫星遥感影像在农田灌排系统识别中的应用研究[J]. 农业工程学报, 2004, 20(2): 36-39.

3陈仲新等. 农业遥感研究应用进展与展望[J]. 遥感学报, 2021, 20(5): 748-767.

4赖积保等. 新一代人工智能驱动的陆地观测卫星遥感 应用技术综述[J]. Journal of Remote Sensing, 2022, 26(8).

作者简介：夏勇\男\1986.11\上海交通大学本科毕业\工程师\多年从事电子信息工程工作；