在假造实际、元宇宙技能快速发展的配景下，三维假造内容创作的高本钱与低服从题目不停是行业痛点。克日，浙江大学盘算机科学与技能学院博士研究生、魔芯科技陈天润领导团队，依托浙江大学鲲鹏昇腾科教创新杰出中央提供的算力支持，实现了基于昇腾平台NPU的首个三维模子天生算法模子Img2CAD的开辟。
该研究结果的焦点突破之一在于破解了用天生模子得到脚本语言对三维布局的精准表达，让希罕抽象的草图、图片等多模态输入能被通过Transformer布局高效“翻译”为三维多少信息，不必要可微渲染器，可以或许完备在NPU上实现练习和高效推理，无需大量Vector算力——并终极得到能被3D打印、CNC制造加工、数字天下展览展示的高精度3D模子，可直接导入现有CAD软件中举行编辑。此中昇腾加快套件MindSpeed提供了关键支持，该工具支持多范例数据加载构建，可机动适配多模态数据的异构特性，保障了视觉大模子与脚本语言表现模块的高效协同。
与此同时，通过算法模子布局的优化，团队实现了三维天生的即时交互建模。CANN算子库能充实发挥NPU的并行盘算本领和高效内存访问机制，能大幅淘汰盘算耽误和通讯开销，进一步提拔模子推理速率，使体系可以或许快速相应用户输入的草图或图片，为现实落地场景中构建流通的及时3D交互建模体验提供了坚固的技能保障。
该项目开辟的三维天生方法可以或许用于3D数据资产的构建，并服务于KOKONI3D打印机等应用场景，为数字制造、AR/VR相干财产提供了高效的内容创作办理方案。现在，项目已完成3篇结果论文，包罗1篇中科院1区期刊论文和2篇CCF-A类集会论文，相干结果已在部门场景实现贸易化落地，并将连续动员昇腾的汹涌算力在三维数字化财产应用。
此次跨模态可控三维天生技能的突破，不但是浙江大学鲲鹏昇腾科教创新杰出中央在产学研融合上的一次乐成实践，更标记着智能三维内容创作迈入“低门槛、高服从、高质量”的新阶段。将来，随着技能的连续迭代，Img2CAD相干模子将为工业计划、数字文创、AR/VR等千行百业注入创意动能，推动假造与实际天下的融合界限不停拓展。
