作者:张静 来源:澎湃新闻 发布时间:2023/5/29 11:38:46
选择字号:
视觉模型SegGPT来啦!具备上下文推理能力

 

·SegGPT是一个利用视觉提示完成任意分割任务的通用视觉模型,具备上下文推理能力,训练完成后无需微调,只需提供示例即可自动推理并完成对应分割任务,包括图像和视频中的实例、类别、零部件、轮廓、文本、人脸、医学图像等。

·Meta AI图像分割基础模型SAM的精细标注能力与SegGPT的通用分割标注能力相结合,能把任意图像从像素阵列解析为视觉结构单元,像生物视觉那样理解任意场景。

ChatGPT引发语言大模型狂潮,AI另一个重大领域视觉的GPT时刻何时到来?

5月28日,北京智源人工智能研究院在2023中关村论坛平行论坛之一的人工智能大模型发展论坛上推出通用分割模型SegGPT(Segment Everything In Contex),这是一个利用视觉提示(prompt)完成任意分割任务的通用视觉模型。

论文地址:https://arxiv.org/abs/2304.03284

标注出一个画面中的彩虹,可批量化分割其他画面中的彩虹。

SegGPT是智源通用视觉模型Painter的衍生模型,针对分割一切物体的目标做出优化。SegGPT具备上下文推理能力,训练完成后无需微调,只需提供示例即可自动推理并完成对应分割任务,包括图像和视频中的实例、类别、零部件、轮廓、文本、人脸、医学图像等。它的灵活推理能力支持任意数量的视觉提示。自动视频分割和追踪能力以第一帧图像和对应的物体掩码作为上下文示例,SegGPT能够自动对后续视频帧进行分割,并且可以用掩码的颜色作为物体的ID,实现自动追踪。

用画笔大致圈出行星环带(上图),在预测图中准确输出目标图像中的行星环带(下图)。

此前,Meta公司发布了AI图像分割基础模型SAM,SegGPT与SAM的差异在于,SAM“一触即通”,通过一个点或边界框,在待预测图片上给出交互提示,识别分割画面上的指定物体。SegGPT“一通百通”,给出一个或几个示例图像和意图掩码,模型就能知道用户意图,“有样学样”地完成类似分割任务。用户在画面上标注识别一类物体,即可批量化识别分割同类物体,无论是在当前画面还是其他画面或视频环境中。

SegGPT能够根据用户提供的宇航员头盔掩码这一上下文(上图),在新的图片中预测出对应的宇航员头盔区域(下图)。

无论是“一触即通”还是“一通百通”,都意味着视觉模型已经“理解”了图像结构。SAM精细标注能力与SegGPT的通用分割标注能力相结合,能把任意图像从像素阵列解析为视觉结构单元,像生物视觉那样理解任意场景。

(原标题:北京智源推出通用视觉分割模型SegGPT,具备上下文推理能力)

 
特别声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。
 
 打印  发E-mail给: 
    
 
相关新闻 相关论文

图片新闻
多波段观测揭示磁星快速射电暴可能起源 新型沸石分子筛合成领域取得突破性进展
热带森林“赢家”更小更快 《自然》2024年十大人物公布
>>更多
 
一周新闻排行
 
编辑部推荐博文