Meta在4月初发布了史上首个图像分割基础模型SAM（Segment Anything Model），该模型具有强大的分割能力和用户友好的操作方式。用户只需简单点击即可选择对应物体，物体将被立即分割出来，且分割结果非常精准。截至4月15日，SAM的GitHub仓库已经获得了高达26k的Star数。
论文地址：https://arxiv.org/abs/2304.02643、项目地址：https://github.com/facebookrese
中国科学技术大学和东方理工高等研究院的研究团队近日提出了一种新的图像修补模型，名为「修补一切」（Inpaint Anything，简称 IA）模型。该模型基于「分割一切」模型，可以实现移除、填补和替换图像中的物体和场景，无需复杂操作。
且这个项目已经开源了，感兴趣的小伙伴可以看看
论文链接：http://arxiv.org/abs/2304.06790、代码库链接：https://github.com/geekyutao/Inpaint-Anything
「修补一切」模型不需要生成精细化的掩码，只需一键点击标记选定对象，即可实现多种典型图像修补应用场景，包括目标移除、目标填充、背景替换等。
IA 拥有三个主要功能：
- 移除一切（Remove Anything）：用户只需点击一下想要移除的物体，IA 将无痕地移除该物体，实现高效「魔法消除」；
- 填充一切（Fill Anything）：同时，用户还可以进一步通过文本提示（Text Prompt）告诉 IA 想要在物体内填充什么，IA 随即通过驱动已嵌入的 AIGC（AI-Generated Content）模型（如 Stable Diffusion）生成相应的内容填充物体，实现随心「内容创作」；
- 替换一切（Replace Anything）：用户也可以通过点击选择需要保留的物体对象，并用文本提示告诉 IA 想要把物体的背景替换成什么，即可将物体背景替换为指定内容，实现生动「环境转换」。
实际操作结果
移除一切（Remove Anything）：
步骤如下：
- 第 1 步：用户点击想要移除的物体；
- 第 2 步：SAM 将该物体分割出来；
- 第 3 步：图像修补模型（LaMa）填补该物体。
移除一切（Remove Anything）示意图
移除一切（Remove Anything）示意图
填充一切（Fill Anything）：
配合着文字 prompt 输入，还能修改图片，比如：
输入 text prompt: "a camera lens in the hand" → 手中的甜甜圈就变成了相机镜头。
a camera lens in the hand
「填充一切」步骤如下：
- 第 1 步：用户点击想要移除的物体；
- 第 2 步：SAM 将该物体分割出来；
- 第 3 步：用户通过文本示意想要填充的内容；
- 第 4 步：基于文本提示的图像修补模型（Stable Diffusion）根据用户提供的文本对物体进行填充。
实验结果：
文本提示：a Picasso painting on the wall
文本提示：a sports car on a road
替换一切场景（Replace Anything）
「填补一切」步骤如下：
- 第 1 步：用户点击想要移除的物体；
- 第 2 步：SAM 将该物体分割出来；
- 第 3 步：用户通过文本示意想要替换的背景；
- 第 4 步：基于文本提示的图像修补模型（Stable Diffusion）根据用户提供的文本对物体的背景进行替换。
图中使用的文本提示：a man in office
文本提示：sit on the swing
a bus, on the center of a country road, summer
总结
研究者建立这样一个有趣的项目，来展示充分利用现有大型人工智能模型所能获得的强大能力，并揭示「可组合人工智能」（Composable AI）的无限潜力。项目所提出的 Inpaint Anything (IA) 是一种多功能的图像修补系统，融合了物体移除、内容填补、场景替换等功能（更多的功能正在路上敬请期待）。
IA 结合了多种视觉基础模型，实现了对用户操作友好的无掩码化图像修复，并可以处理具有任意长宽比和 2K 高清分辨率的图像，且不受图像原始内容限制。
该项目已经完全开源，未来研究者将进一步挖掘 IA 的潜力以支持更多实用的新功能，并将其应用到更多现实应用中。这项成果为图像修补技术的发展提供了新思路，为相关领域的研究和应用带来了新的希望。
相关文章推荐：
全球首款SEEM视频/图像分割神器，一键分割
相关文章
