拓竹3D生成大模型研究新突破,精准分割3D模型部件

网页:https://fenghora.github.io/SegviGen-Page/
演示:https://huggingface.co/spaces/fenghora/SegviGen
论文原文:https://arxiv.org/pdf/2603.16869
SegviGen的核心突破在于:将3D部件分割转化为“部件级上色”问题,让AI能够自动将复杂3D模型拆分为具有结构意义的不同部件。实验数据显示,该方法在交互式部件分割上较此前最优方法提升40%,在全分割上提升15%,而仅使用了0.32%的标注训练数据。对于3D打印行业而言,这一技术一旦落地,模型自动拆件、智能上色、多色打印的“全自动闭环”或将迎来真正的颠覆时刻。

一、部件分割的“路线之争”:2D升维的困境
要理解SegviGen的价值,先要理解部件分割在3D内容生产中的位置。部件分割提供了3D资产的显式部件级结构,是3D内容创作流程的核心基础,可支持部件级编辑、动画绑定以及3D打印等工业用途。
然而,现有方法普遍存在局限。此前行业主流路径大多围绕 “2D升维3D” 展开——先生成物体的多视角图像,再建模成3D资产。这一模式存在不可逆的信息丢失,生成的模型难以真正应用于工业设计、3D打印等对精度要求较高的领域。

具体到部件分割,一条路线是通过2D到3D的蒸馏将2D分割先验迁移到3D,但计算和时间开销巨大,且往往产生模糊边界;另一条路线则将分割模型应用于多视角投影图像以获得2D掩码,再反投影融合为3D掩码,但运行开销大、对视角覆盖敏感。简而言之,现有方法都存在一定局限——2D先验与3D结构之间的不匹配,以及依赖从头开始的昂贵训练。
二、SegviGen的思路:让雕塑家顺手“涂色”
SegviGen的创新在于,它没有从零训练分割模型,而是复用预训练3D生成模型中已经学习到的结构先验。

具体而言,模型将输入3D资产编码为潜在表示,并将部件分割转化为“部件级上色”问题——预测每个体素的部件指示性颜色,每种颜色对应一个独立部件。
一个通俗的比喻:传统方案像请两个工人——一个雕塑家负责捏泥人,一个解剖学家负责拆泥人。SegviGen的思路是:让雕塑家在捏泥人的时候,顺手用不同颜色的泥块捏不同部件,捏完一看,颜色已经标好了,不需要再请解剖学家。
关键设计:训练时,同一个模型要用十套随机配色反复涂。目的不是让模型记住“这个部件是红色”,而是让它学会“哪一堆该同色、哪一堆该异色”。如果省掉这一步,模型学会的就是认颜色而不是认结构,换个没见过的东西立刻没法用。
三、三种模式:从点选到全自动,覆盖全场景
SegviGen在一个统一架构中支持三种分割设置:
交互式部件分割:用户点击模型上的一个点,系统自动分割出对应部件;
全分割:自动将整个模型分割为所有独立部件;
2D分割图引导的全分割:用户提供2D分割图作为引导,支持任意部件粒度——这是SegviGen独有模式,对工业应用至关重要

从实验结果看,SegviGen在交互式部件分割上,关键指标IoU@1较此前最优方法P3-SAM提升40%;在全分割上,跨数据集平均后以15%的整体IoU优势超越最佳基线。更关键的是,这一表现仅使用了0.32%的标注训练数据。

四、开源与落地:MIT协议,可无缝衔接切片软件
SegviGen已全面开源。论文编号为arXiv:2603.16869,代码与模型权重已在GitHub公开,采用MIT协议,允许自由使用和修改。项目主页为:https://fenghora.github.io/SegviGen-Page/。


行业报道指出,SegviGen支持点选单件、全自动分割、2D贴图驱动三种模式,边界精准且兼容AI生成模型,代码权重已公开,可无缝衔接切片软件。
五、产业意义:3D打印“全自动闭环”正在成为可能
从应用场景看,该技术未来可用于3D模型编辑、模型自动拆件、多色及多材料打印等智能化工具。用户可以更方便地选中模型中的某个部件进行上色或零件拆分。想象一下:AI生成一个复杂模型,自动拆分成多个部件,自动分配颜色和材料,一键导出可打印文件——这不再是科幻。

从竞争维度看,未来3D打印行业竞争不只在于打印速度、精度和稳定性,也在于谁能更好地帮助用户获得、编辑并制造3D内容。SegviGen所代表的方向,正是连接AI 3D内容生成与现实打印制造工作流的关键一步。
从拓竹科技的战略布局看,其出现在论文作者名单中释放出重要信号——技术布局可能正从打印硬件、切片软件和模型社区,进一步延伸到3D内容生成、结构理解和可制造模型处理等更底层环节。拓竹正在围绕硬件、软件、模型社区和AI创作工具构建更完整的3D打印生态。

南极熊观察
当前3D打印行业的AI化探索,大多集中在应用层工具接入和流程优化——接入第三方大模型、辅助模型搜索、提示词生成、切片参数推荐等。而SegviGen所代表的方向,已经深入AI 3D内容理解与生成模型的底层。它不是简单调用外部AI工具,而是研究如何利用3D生成模型内部的结构知识,完成对3D资产的部件级理解。
有趣的是,论文通篇没有提多色3D打印,谈的全都是零件分割、编辑、绑定等通用能力。但正是这些底层能力的突破,才是3D打印真正走向“智能制造”的关键——当AI能够理解模型的“骨骼”与“关节”,切片、上色、支撑生成等环节才有可能实现真正的自动化。
当论文成果从顶会走向产品——以拓竹过往将技术快速产品化的节奏来看,这一天或许不会太远。而SegviGen所代表的“原生3D”技术路线,正在为3D打印行业打开一个全新的想象空间:从“生成模型”到“理解模型”再到“制造模型”的全自动闭环。
