爱刨根知识网

  1. 首页 > 经验知识 > >

无人汽车无法避开没见过的物体？问题出在训练pipeline上

生活经验知识分享

他们提出的目标检测方法，可以检测未见过的新物体，相对于 Mask R-CNN 有了巨大改进 。
编译丨王晔
编辑丨青暮
人类经常会遇到种类新颖的工具、食物或动物，尽管以前从未见过，但人类仍然可以确定这些是新物体 。
与人类不同，目前最先进的检测和分割方法很难识别新型的物体，因为它们是以封闭世界的设定来设计的 。它们所受的训练是定位已知种类（有标记）的物体，而把未知种类（无标记）的物体视为背景 。这就导致模型不能够顺利定位新物体和学习一般物体的性质 。
最近，来自波士顿大学、加州大学伯克利分校、MIT-IBM Watson AI Lab 研究团队的一项研究，提出了一种检测和分割新型物体的简单方法 。
原文链接：https://arxiv 。org/pdf/2112 。01698v1 。pdf
为了应对这一挑战，研究团队创建一个数据集，对每张图片中的每一个物体进行详尽的标记 。然而，要创建这样的数据集是非常昂贵的 。如下图所示，事实上，许多用于物体检测和实例分割的公共数据集并没有完全标注图像中的所有物体 。
图 1 。标准的物体检测器训练中存在的问题 。该例来自 COCO，有色框是注释框，而白色虚线框是潜在的背景区域 。许多白色虚线区域实际上定位了物体，但在传统的物体检测器训练中被认为是背景，从而压制了新物体的目标属性 。
1
【无人汽车无法避开没见过的物体？问题出在训练pipeline上】问题背景
未能学习到一般的目标属性会在许多应用场景中暴露出各种问题 。例如具身人工智能，在机器人、自动驾驶场景中，需要在训练中定位未见过的物体；自动驾驶系统需要检测出车辆前方的新型物体以避免交通事故 。
此外，零样本和小样本检测必须对训练期间未标记的物体进行定位 。开放世界实例分割旨在定位和分割新的物体，但最先进的模型表现并不理想 。
研究团队发现，导致目前最先进的模型表现不理想的原因在于训练 pipeline，所有与标记的前景物体重叠不多的区域将被视为背景 。如图 1 所示，虽然背景中有可见但却未被标记的物体，但模型的训练 pipeline 使其不能检测到这些物体，这也导致模型无法学习一般的目标属性 。
为了解决该问题，Kim 等人提出学习候选区域（region proposals ）的定位质量 ，而不是将它们分为前景与背景 。他们的方法是对接近真实标记的 object proposals 进行采样，并学习估计相应的定位质量 。虽然缓解了部分问题，但这种方法除了需要仔细设置正 / 负采样的重叠阈值外，还有可能将潜在的物体压制目标属性 。
2
方法
为了改进开放集的实例分割，研究团队提出了一个简单并且强大的学习框架，还有一种新的数据增强方法，称为 “Learning to Detect Every Thing”（LDET） 。为了消除压制潜在物体目标属性这一问题，研究团队使用掩码标记复制前景物体并将其粘贴到背景图像上 。而前景图像是由裁剪过的补丁调整合成而来的 。通过保持较小的裁剪补丁，使得合成的图像不太可能包含任何隐藏物体 。
然而，由于背景是合成图像创建而来的，这就使其看起来与真实图像有很大的不同，例如，背景可能仅由低频内容组成 。因此，在这种图像上训练出来的检测器几乎表现都不是很好 。
为了克服这一限制，研究团队将训练分成两部分：
1）用合成图像训练背景和前景区域分类和定位头（classification and localization heads）；2）用真实图像学习掩码头（mask head） 。
图 2 。本文的增补策略是通过提高小区域的比例作为背景来创建没有潜在物体的图像 。
图 3 。原始输入（左）和合成图像（右） 。用颜色标示了掩码区域，使用小区域作为背景，避免了背景中会隐藏物体 。在某些情况下，背景补丁恰好可以定位前景物体（左栏第二行） 。要注意的是，这种情况很少见， 可以看出补丁被明显放大了 。
在训练分类头（classification head）时，由于潜在物体在合成图像时就已经被移除了，因此将潜在物体视为背景的几率变得很小 。此外，掩码头是为在真实图像中分割实例而训练的，因此主干系统学习了一般表征，能够分离真实图像中的前景和背景区域 。
也许这看起来只是一个小变化，但 LDET 在开放世界的实例分割和检测方面的表现非常显著 。
在 COCO 上，在 VOC 类别上训练的 LDET 评估非 VOC 类别时，平均召回率提高了14 。1点 。令人惊讶的是，LDET 在检测新物体方面有明显提高，而且不需要额外的标记，例如，在 COCO 中只对 VOC 类别（20 类）进行训练的 LDET 在评估 UVO 上的平均召回率时，超过了对所有 COCO 类别（80 类）训练的 Mask R-CNN 。如图 2 所示，LDET 可以生成精确的 object proposals，也可以覆盖场景中的许多物体 。
图 4 。在开放世界中进行实例分割，Mask R-CNN（上图）比本文所研究的方法（下图）所检测到的物体要少 。在此任务中，在不考虑训练种类的情况下，模型必须对图像中的所有物体进行定位并对其分割 。图中的两个检测器都是在 COCO 上训练，并在 UVO 上测试的 。在新的数据增补方法和训练方案的帮助下，本文的检测器准确地定位出许多在 COCO 中没有被标记的物体 。
图 5 。训练流程 。给定一个原始输入图像和合成图像，根据在原始图像上计算的掩码损失和分类，以及在合成图像上的回归损失来训练检测器 。
本文的贡献总结如下：
提出了一个简单的框架——LDET，该框架由用于开放世界实例分割的新数据增补和解耦训练组成 。
证明了本文的数据增补和解耦训练对在开放世界实例分割中实现良好的性能至关重要 。
LDET 在所有设置中都优于最先进的方法，包括 COCO 的跨类别设置和 COCO-to-UVO 和 Cityscape-to-Mapillary 的跨数据集设置 。
3
实验结果
研究团队在开放世界实例分割的跨类别和跨数据集上评估了 LDET 。跨类别设置是基于 COCO 数据集，将标记分为已知和未知两类，在已知类别上训练模型，并在未知类别上评估检测 / 分割性能 。
由于模型可能会处在一个新的环境中并且遇到新的实例，所以跨数据集设置还评估了模型对新数据集的归纳延伸能力 。为此，采用 COCO 或 Cityscapes 作为训练源，UVO 和 Mappilary Vista 分别作为测试数据集 。在此工作中，平均精度（AP）和平均召回率（AR）作为性能评估标准 。评估是以不分等级的方式进行的，除非另有说明 。AR 和 AP 是按照 COCO 评估协议计算的，AP 或 AR 最多有 100 个检测值 。
表 1 。COCO 中 VOC → Non-VOC 泛化的结果 。表中最后一行的蓝色部分是对 Mask R-CNN 的改进 。LDET 超过了所有的基线，并相较于 Mask R-CNN 有巨大改进 。
图 6 。在 COCO 数据集中，VOC to Non-VOC 的可视化 。上图：Mask R-CNN，下图：LDET 。注意训练类别不包括长颈鹿、垃圾箱、笔、风筝和漂浮物 。LDET 比 Mask R-CNN 能更好地检测许多新的物体 。
表 2 。VOC → Non-VOC 的数据和训练方法的消融研究 。最后一行是本文提出的框架 。
表 3 。class agnostic 训练的消融研究 。class agnostic 训练对 LDET 和 Mask R-CNN 的性能有些许提高 。
图 7 。基线 Mask R-CNN 存在着对标记实例的过度拟合 。因此，随着训练的进行，它检测新物体的性能会下降 。相比之下，本文的方法基本上随着训练，性能都会提升 。
表 4 。与 COCO 上测试的无监督方法和 DeepMask 的比较 。需注意的是，DeepMask 使用 VGG 作为主干 。LDET 和 DeepMask 是在 VOC-COCO 上训练的 。
表 5 。改变背景区域的大小 。2-m 表示用输入图像的 2-m 的宽度和高度裁剪背景区域 。从较小的区域取样背景，往往会提高 AR，降低 AP 。
表 6 。ResNet50 与 ResNet101 的对比 。ResNet101 倾向于比 ResNet50 表现得更好，这在 LDET 中更明显 。
表 7 。region proposal network 和 region of interest head 的比较 。bounding boxes 的 AP 和 AR 。
图 8 。COCO 实验中的目标属性图（RPN score）的可视化 。LDET 捕获了各种类别的物体性，而 Mask R-CNN 则倾向于抑制许多物体 。
表 8 。COCO → UVO 泛化的结果 。上：在 VOC-COCO 上训练的模型，下：在 COCO 上训练的模型 。与基线相比，LDET 在所有情况下都表现出较高的 AP 和 AR 。
图 9 。在 COCO 上训练的模型结果的可视化 。上图：Mask R-CNN，下图：LDET 。最左边的两张图片来自 UVO，其他的来自 COCO 的验证图片 。
表 9 。Cityscapes → Mappilary Vista 的归纳结果 。LDET 对自动驾驶数据集是有效的 。AR0 。5 表示 AR，IoU 阈值 =0 。5 。
推荐阅读
GAIR 2021 大会首日：18 位 Fellow 的 40 年 AI 岁月，一场技术前沿的传承与激辩
2021-12-10
致敬传奇：中国并行处理四十年，他们从无人区探索走到计算的黄金时代 | GAIR 2021
2021-12-09
时间的力量—— 1991 人工智能大辩论 30 周年纪念：主义不再，共融互生｜GAIR 2021
2021-12-12
论智三易，串联通讯，贯通边缘，演进认知，汇于机器：听五位 IEEE Fellow 畅谈 AI 未来 | GAIR 2021
2021-12-25
新一代 AI 人才从哪里来，该往哪里去？| GAIR 2021 院长论坛
2021-12-29
雷峰网

    推荐阅读


    上一篇：q币怎么转给好友

    下一篇：金茂悦二手房价格 亚奥金茂悦