SAM进化版SAV来了让机器能看懂真实世界

今年4月，Meta的AI模型Segment Anything Model(SAM，分割一切模型)发布,一键轻松实现图像分割，难怪网友直呼太强。

SAM模型之所以在计算机视觉领域产生重要影响，是因为图像分割是许多任务中的基础步骤，比如自动驾驶、人脸识别、车牌识别等都有用到。

在这些应用过程中，从目标检测、分割再到识别的整个流程，由算法自动完成，无需人工干预，而SAM模型正是专攻其中的图像分割。

虽然SAM是图像分割的代表性模型，但不可避免存在以下短板：

1.它能够处理图片分割，但是不能处理视频，尤其是不能对视频里边移动的物体做连续追踪。

2.它能分割，但是并不认识所分割的区域到底是什么。

3.它存在过度分割的问题，经常把一个完整的物体分割成不同的部分，而人是把目标作为整体看待的。

SAV模型

现在，云创数据(835305.BJ)在SAM和YOLOv8的基础上，“分割一切”模型的进化版——分割一切视频Segment-Any-Video(SAV)来了，进一步丰富了计算机视觉成果。

SAM模型之所以在计算机视觉领域产生重要影响，是因为图像分割是许多任务中的基础步骤，比如自动驾驶、人脸识别、车牌识别等都有用到。在这些应用过程中，从目标检测、分割再到识别的整个流程，由算法自动完成，无需人工干预，而SAM模型正是专攻其中的图像分割。

虽然SAM是图像分割的代表性模型，但不可避免存在以下短板：

1.它能够处理图片分割，但是不能处理视频，尤其是不能对视频里边移动的物体做连续追踪。

2.它能分割，但是并不认识所分割的区域到底是什么。

3.它存在过度分割的问题，经常把一个完整的物体分割成不同的部分，而人是把目标作为整体看待的。

作为一种新的图像、视频分割方法，SAV可以在图片或视频中实现全自动标注，一键分割物体。

同时，基于Zero-Shot Transfer(零样本迁移)，SAV无需额外训练，即使是训练库中没有的图片，也可以实现轻松分割。

与SAM相比，SAV升级主要表现在以下方面：

1.既可以分割图片，也可以分割视频;

2.可以明确目标对象并打标签;

3.可得到语义上完整的目标区域。

基于此，研发团队在SAM的基础上加入YOLOv8检测模型，YOLOv8返回的结果中包含目标框、类别及置信度，目标框可作为提示信息输入到SAM，类别名称即为标签，因此SAM加YOLOv8可有效地解决上述问题。

该方法同样可用于视频分割任务，与处理单幅图像不同的是，除了分割，我们通常更关心目标的运动轨迹、目标重识别，以及如何实现一键抠视频等。因此研发团队在SAM和YOLOv8的基础上加入跟踪算法，持续关注感兴趣的目标，这样比单纯地分割每帧图像更有实际意义。

考虑到使用了目标检测模型，在跟踪方面，研发团队选择Tracking-By-Detection(TBD)范式的跟踪方法，例如BoTSORT，而TBD是目前多目标跟踪任务中特别有效的范式。

由于YOLOv8无法检测到它不能识别的物体，可以设置两个超参数来确定新的物体，即未知区域与检测区域的交并比r，以及未知区域的像素个数n。具体而言，按面积对m2中的区域作降序排序，依次取出其中的区域，然后分别与m计算交并比，若交并比r小于0.3且该区域的像素个数n大于100，则认为该区域是一个新的物体。按照此方法处理m2中的所有区域，即可完成SAV分割单幅图像的全部流程。

潜在用途

无人驾驶。特斯拉无人驾驶汽车经常会把树桩或者墓碑当成行人，这个对于无人驾驶来说是不利的，因为如果是电线杆子在路边的话，我们没必要让无人驾驶汽车减速，但如果是一个行人准备过马路的话，那么就需要预先作出处理。SAV可以有效地解决这种问题。

无人机自主飞行。无人机自主飞行在密林中或者建筑物中，需要对所有的目标进行识别，并且做出恰当的反应。SAV将大大提高这种智能水平。

机器人视觉。机器人行走在工厂或者街上的时候，如果不认得障碍物，不认得道路，不认得其他移动的物体，那将寸步难行。SAV将为机器人装上智慧的眼睛。

重点区域防护。可连续追踪和识别每个目标，结合其他的算法对目标的身份和行为进行识别。确保重点区域的的每一个人，每一辆车都在管控的范围内。