事实上,3D生成的方向起初并不为指导老师们所看好,师生之间也曾经过反复讨论,有老师认为生成式人工智能的研究或许不是今年图形学领域关注的重点。但最终,学生所展现出的执行力得到了意料之外的反馈。
6月19日,计算机图形学重量级国际会议SIGGRAPH 2024技术论文奖揭晓,上科大信息学院两项3D资产生成工作获得最佳论文荣誉提名。次日,IEEE国际计算机视觉与模式识别会议(CVPR)揭榜,上科大信息学院学生与合作者的文章摘得最佳学生论文奖。6月28日,第61届设计自动化国际会议(DAC)公布奖项,上科大信息学院师生科研团队再次斩获一个最佳论文奖提名。
纵观各项成果,上科大信息学院执行院长虞晶怡告诉澎湃新闻(www.thepaper.cn)记者,最显著的是这些论文都是由学生主导,学生提出非常创新的思想,而老师更多时候是支持和辅助。
作为课题负责人之一的许岚教授表示,CLAY所做的“文生3D”背后的神经网络模型和“文生视频”的SORA一致,但最终的表达形式不同。与多数3D生成的大模型是利用多视角二维图案进行生成不同,CLAY所做的是“文生3D”的原生技术,对3D资产有独特的处理,强调生成内容的可控性和交互性,且它所能生成的3D模型质量,基本是目前学术界和工业界之最。CLAY所承载的技术,对于游戏、电影等数字娱乐产业的发展会有显著的拔高。
SIGGRAPH的两项获奖成果均涉及3D的AI生成。CLAY是全新的3D原生Diffusion Transformer生成式大模型,旨在轻松将想象力转化为3D模型。CLAY由一个拥有15亿参数的模型构成,擅长创建高质量、逼真的3D资产。
专业设置上,上科大只分学院而不进行专业细分。信息学院内并没有计算机系、电子工程系之类的划分,有的只是视觉与数据智能中心、后摩尔器件与集成系统中心、自动化与机器人中心等7个研究中心。这些中心有各自不同的科研方向,同时高度交叉融合,它们不具备区分学生的行政意义,但学生可以根据自己的科研兴趣或导师意向,加入不同中心的课题组,参与感兴趣的科研。
在人工智能领域,前沿科研成果迭代极快,课堂上讲授的内容常常跟不上现实中科研的进展。因此创新的潜力往往在于年轻人,而学校要培养的,是学生自主学习的方法与钻研的态度。CVPR2024最佳学生论文奖获得文章的第一作者,信息学院2021届硕士生余泽浩表示:“学习《随机过程》这门课时,邵子瑜教授对教学参考材料的选择和使用十分严谨,他对采用的内容进行验证和校正,而不是简单的复制,给我留下很深刻的印象。”
AI时代的教育、关于AI的教育,对于所有人来说都是挑战。教材需要不断流动,实时更新,一旦停止学习,老师和学生都会迅速落伍。虞晶怡表示,AI教育的范式在快速改变。例如把前沿课程的“教材”改为“教参”或许更为合适,可以让教学内容更快速地进行迭代。此外,国际顶尖高校经常通过研讨课的形式,鼓励老师和学生深入交流,一起思考和探索从未想过的问题和方法,也非常值得借鉴。
从课题组的立场来说,许岚表示本科就加入科研的学生,可以有一个更长的培养周期,相较于科研所需要的成长和时间来说会更有利。当然,兴趣和学有余力还是最基本的要求。事实上,上科大建校伊始就强调让学生在科研中接触到前沿的研究方向和研究方法,拓宽自己的眼界。
十天时间,同一学院四项研究成果接连在国际顶会中脱颖而出,高密度的同时有着高含金量。据悉,本届SIGGRAPH共评选出5篇最佳论文、12篇最佳论文荣誉提名。CVPR 2024共有11532篇提交论文,接收2719篇,最终仅有10篇论文获奖,最佳学生论文更是只有2篇。DAC今年共收到1435篇论文,录用337篇。其中,仅有1篇最佳论文奖和3篇最佳论文奖提名,入选率为0.27%。
获DAC提名的论文是“LLM-HD: Layout Language Model for Hotspot Detection with GDS Semantic Encoding”(利用大语言模型对芯片版图进行编码及光刻热点检测)。团队提出了全新的“语言模型+高性能GPU”的版图热点检测范式,为大语言模型应用到集成电路制造、量测奠定了理论和工程基础。这也是首次有人用自然语言处理的方式去处理芯片制造中缺陷检测的问题,史无前例。
学界与工业界的耦合同样是教学过程中的重点。虞晶怡告诉记者,信息科学不能只是纸上谈兵,书本上都是上世纪的问题,而本世纪有很多重要的问题,需要通过工业界来学习和了解。因此要鼓励教授和学生参与创业,比如CLAY的完成单位中,就有学生创业企业影眸科技的身影。
DressCode则是由本科生作为主导产出的研究成果,第一作者何开是上科大在读大四学生。DressCode利用自然语言的能力,集成了用于缝纫图案生成的SewingGPT和经过微调的扩散模型来合成PBR纹理,展示了用于服装生成、补全和编辑的交互友好应用。这种专为3D服装设计的生成式AI框架,生成结果完全符合生产和游戏制作领域的需求。把版图设计和生成模型拼接起来,对于图形学领域的研究是一个重大突破。
这为学生的培养提供了更大的自由度和选择的容错空间。也正是在这样的模式下,本科生参与科研在上科大成了非常普遍的事。许岚告诉记者,课题组里每年都会有本科生,有时候本科生的数量甚至能占到一半。有些过得比较充实的本科生,毕业时的科研成果可以达到硕士甚至博士的毕业要求。
与传统高校的培养方式不同,上海科技大学作为一所创新型研究型高校,从课程安排到专业设置,一直以各种方式寻求教育方法的突破,鼓励学生在本科阶段就主动参与科研。
此外,信息学院几乎所有的课程都是“本研一体”,本科生和研究生一同授课。成绩的考量往往不是通过考试,而是凭借最终的课题设计。选题可以很开放,也可以和老师探讨,通过这种方式,学生能够清晰地了解到科研的流程与分工是怎样的,为其将来的科研工作奠定坚实的基础。
斩获CVPR最佳学生论文奖的,是由上海科技大学、捷克技术大学、德国图宾根大学、图宾根人工智能中心共同发表的“Mip-Splatting: Alias-free 3D Gaussian Splatting”(利用多层级的高斯泼溅方法来实现高清三维重建和自由视角渲染)。该项研究攻克了画面渲染的技术难题,有效提升了三维重建的清晰度问题,论文的前三位作者均为上科大在读或毕业学生。许岚确信,这一成果将有效促进数字孪生的技术应用降本增效,是数字城市建设和发展的必经之路。
何开大一暑假便进入了VRVC实验室,在实验室度过三年时光,完成了三篇论文。回顾获奖研究的出发点,他说道:“在我们实验室相继研发出了数字人头面部生成算法、头发表达算法、语言驱动数字人动作的一系列算法后,我和学长分析发现数字化服装设计在整个数字人的生成流程中也是非常重要的一环。”
教育不能再是“填鸭式”的。上科大有一门《信息科学技术导论》课程,作为通识课要求全校学生修习,但这门课并不轻松。课堂上只讲授基础的理论知识,学生需要在课后花费更多的时间与精力去学习钻研。
可提现的游戏今年6月下旬,上海科技大学信息科学与技术学院(以下简称为“上科大信息学院”)多篇学生论文连续亮相国际顶级学术会议,斩获最佳论文或最佳论文提名。
同样值得一提的是,参与获奖课题研究的学生横跨信息学院本硕博各个阶段,两篇获得SIGGRAPH最佳论文荣誉提名的论文之中,更有一篇是由本科生作为第一作者。鼓励本科生参与科研,跳脱传统高校专业划分,上科大为师生提供了足够活跃的科研土壤。