text: superpixel-based deep learning method to time-series images of tree canopies中文名称:基于超像素的深度学习方法对潮湿热带林冠层时间序列图像进行叶片物候监测
  热带叶片物候，特别是树冠尺度上的变化主导着季节性碳和水通量。
  然而，鉴于热带森林物种多样性丰富，对其叶片物候的准确监测手段仍然缺乏。
  基于塔式RGB物候相机的绿色坐标(GCC)时间序列已被广泛应用于温带森林的叶片物候监测，但其在热带地区的应用仍存在问题。
  为了改善对热带物候学的监测，我们探索了使用深度学习模型(即基于超像素ResNet50,SP-ResNet50)来自动区分phenocam图像中的叶片和非叶片，并在树冠尺度上推导叶片分数。
  为了评估我们的模型，我们使用了一年的数据，这些数据来自巴拿马两个对比鲜明的森林中的六个phenocam。
  我们首先在不同的采集时间、曝光条件和特定的phenocams中建立了一个全面的叶子和非叶子像素库。
  然后我们将这个库划分为培训和测试组件。
  最后，我们将模型导出的叶片物候与GCC导出的叶片物候进行了比较。
  我们的研究结果表明:1)SP-ResNet50模型能够准确区分叶片和非叶片(总体准确率为93%)，并且在所有三个水平的评价中都很稳健;2)该模型准确量化了整个森林生态系统的叶分数物候;3)综合利用叶分数和GCC可以推断出叶片的出芽、成熟和衰老的时间，这是模拟热带森林光合季节变化的关键信息。
  本研究为利用物候相机进行热带物候自动监测提供了一种改进的方法。
  研究区域和数据
  我们使用巴拿马共和国的两个低地季节性湿润热带森林作为研究地点。
  这两个地点包括自然城市公园(PNM;8.9950 N, 79.5431 W)和圣洛伦佐保护区的一个湿常绿森林(SLZ;北纬9.2810度，西经79.9745度)，靠近巴拿马运河的加勒比海入口。
  图1:研究地点和非光学相机数据。
  (a)两个研究地点的位置，即圣洛伦佐保护区(SLZ，绿星)和自然都市公园(PNM，红星)。
  图(a)中的背景图改编自ESRI的《国家地理》。
  (本图图例中有关颜色的参考资料，读者可参考本文的网络版。)
  对于这两个站点，三架由Moultrie Wingscapes TimelapseCam Pro (Wingscapes, Inc.， Alabaster, AL, USA)制造的标准RGB 物候相机被安装在顶棚起重机结构上，指向不同的罗盘方向。
  这些phenocams在以后被提到分别为PNM-1、PNM-2、PNM-3和SLZ-1、SLZ-2、SLZ-3。
  对每个phenocam进行编程，以每天当地时间上午10点至下午1点50分的10分钟间隔自动采集图像。
  phenocam图像以JPG格式保存(每通道8位，共3个波段)，插值分辨率为6080*3420像素。
  本研究中使用的图像涵盖了从2016年12月3日到2017年12月31日的全年周期。
  图2:人工分割的上层冠层树冠的视野内的每个phenocam。
  每个彩色多边形表示一个人工识别的冠层树冠，具有相应的树ID，该树ID在phenocam图像中持续出现至少10个月。
  我们的工作流程主要分为四个步骤:1)将卷积神经网络(ResNet50)模型与基于超像素的分割算法相结合，构建基于超像素的残差网络50 (SP-ResNet50)深度学习模型;2)利用从时间序列phenocam图像中提取的叶片和非叶片的综合超像素库训练和评价SP-ResNet50模型;3)在树冠尺度上比较SP-ResNet50衍生的叶分数序列与GCC衍生的叶分数序列;4)研究了两个林点的生态系统尺度的植被物候变化。
  图3:方法的流程图。
  (a)将残差网络50模型与基于超像素的分割方法相结合，建立SP-ResNet50模型;(b)利用三个水平的phenocam图像时间序列中的叶子和非叶子超像素库训练和评估SP-ResNet50模型，并将SP-ResNet50模型结果与U-Net模型结果进行交叉比较;(c) sp - resnet50衍生叶片组分与GCC衍生叶片物候指标的交叉比较;(d)研究两个站点叶片组分的生态系统尺度物候变化。
  构建超像素库
  (a)采用SLIC算法对phenocam图像进行分割，超像素为带黄色边框的多边形;(b)在分割的phenocam图像的示例区域的超像素的近距离视图;(c)一个超像素生成单个图像patch的例子:蓝色方块表示图像patch，黄色不规则多边形表示超像素，红色星形表示超像素的几何中心。
  微调SP-ResNet50模型的最佳参数
  将超像素库划分为训练和测试部分
  将SP-ResNet50模型结果与语义分割模型进行交叉比较
  图5:(a)图像patch大小(W)和(b)超像素大小(S)对基于测试集的SP-ResNet50模型总体精度的影响。
  图6:从树冠叶分数时间序列(灰色点)推导四个叶片物候日期的例子，使用双logistic模型(黑线)。
  这些物候期包括叶片开始出芽(SOLE;淡绿色)，叶末出芽(EOLE;深绿色)，落叶开始(SOLF;黄色)和落叶结束(EOLF;橙色)。
  表1:基于独立测试集的SP-ResNet50模型的准确性评估，包括(a)使用来自4个phenocam (PNM-1、PNM-2、SLZ-1和SLZ-2)的训练集训练模型，并使用来自剩余两个phenocam (PNM-3和SLZ-3)的测试集进行评估，(b)使用训练集的模型训练的所有6个phenocams和评估使用相同的独立测试集6,(c)模型被训练使用所有的数据从6个奇数月phenocams和评估所有数据从所有6个偶数个月,(d)利用来自6个phenocams的所有数据，采用5倍交叉验证方法对模型进行训练和评估。
  图7:树叶分数值来自SP-ResNet50和特定图像的监督分类。
  虚线表示每天的平均树冠叶分数，线旁边是相关变异系数(CV)。
  图9:利用SPResNet50模型对6个物候期的所有鉴定树冠的变异系数(CV)进行直方图分析。
  (a) PNM-1的phenocam图像及其对应的分类结果(b)图像特异性监督分类，(c) SP-ResNet50模型，(d) U-Net模型。
  红色圆圈表示每个图像的相同位置。
  圆点表示PNM站点的树木，三角形表示SLZ站点的树木;虚线表示GCC在0.33 ~ 0.37之间的分段拟合段;实线为GCC大于0.37时的拟合段。
  图13:比较的四个物候日期导出使用叶分数与派生使用GCC,包括物候日期(天01 / 01/2016)(a)叶的开始出现(唯一),(b)的叶出现(进化),(c)的开始落叶(林洋新能源)和结束(d)落叶(EOLF)。
  灰色点表示所有落叶和半落叶树冠;虚线表示1:1的线。
  绿色圆点和橙色圆点分别表示冠鳞叶分数和GCC;LF表示冲叶;LD代表叶片发育，LS代表叶片衰老。
  (3)sp - resnet50衍生叶分数的生态系统尺度物候特征
  图15:(a)叶级和(b) MODIS EVI与BRDF校正的生态系统尺度季节变化浅灰色阴影表示PNM和SLZ站点的旱季;误差条表示一个标准差。
  与传统的基于颜色的GCC度量方法相比，我们的模型导出的叶分数度量方法具有明确的生物物理意义，可以帮助捕获每年落叶/半落叶和常绿树木的叶片交换量，并区分叶片物候习性。
  我们还发现，结合使用叶分数和GCC有助于推断叶片年龄在一年周期中的变化，包括叶片出芽、成熟和衰老的时间和持续时间，这为跟踪潮湿热带森林中叶片质量的季节性变化以及生态系统规模的光合能力提供了关键信息。