研究背景：
柑橘果实的检测是柑橘产量映射中最重要也是最具挑战性的步骤之一。对于成熟的柑橘，其果实和叶子之间的颜色差异显著，之前的基于成像的方法可以取得良好的结果。然而，对于未成熟的绿色柑橘果实的检测，其果实和叶子的颜色非常相似，所以这项工作要难得多。
研究目标：
开发出一种结合色彩和热成像来检测未成熟绿色柑橘果实的方法。
研究方法：
本研究使用实验来确定热成像的最佳条件。我们建立了一个多模态成像平台来整合色彩和热成像相机。我们还开发了一种新的图像配准方法，用于结合色彩和热成像并匹配两种图像中的果实，从而达到像素级的准确性。
主要发现：
创建了一种新的颜色-热成像联合概率（CTCP）算法，能够有效地融合来自色彩和热成像的信息，将潜在的图像区域分类为果实和非果实类别。此外，我们还开发了算法，将图像配准、信息融合、果实分类和检测整合为一步，以便实时处理。使用色彩和热成像的融合，使得未成熟绿色柑橘果实的检测率从仅使用色彩图像的78.1%提高到90.4%，同时精度率也从86.6%提高到了95.5%。
2015 年 8 月 7 日白天（夏季典型的一天）环境大气（蓝色虚线）、柑橘果实表面（洋红色线）和柑橘叶表面（绿色虚线）的温度变化。
在一天中的不同时间获取的同一柑橘树冠层的热图像。
使用成像系统进行水果检测的工作流程。
为训练目的而手动标记的柑橘树冠图像。树冠被分成四个图像，(a)、(b)、(c)、(d)，并用作 Faster R-CNN 的输入。
基于Faster R-CNN检测在彩色图像中提取水果区域，并根据图像配准结果在热图像中提取相应的水果区域。红色框为彩色图像中检测到的水果；蓝色框为图像配准步骤找到的热图像中对应的水果位置；两个白色虚线框是彩色和热图像中提取的水果区域。
使用等式将从热图像中选择的 30 个区域分为水果（红色圆圈）和非水果（蓝色圆圈）类别。(1)。在 30 个区域中，只有两个区域被错误分类（用黄色箭头表示）。
黑色数据点和线：The Recall – Precision仅使用彩色图像检测结果的精度曲线。红色数据点：使用融合的颜色和热信息时的召回率和准确率。