(资料图片)
在7月6日举行的2023世界人工智能大会(WAIC 2023)开幕式和科学前沿全体会议上,上海人工智能实验室(上海AI实验室)联合香港中文大学和上海市测绘院发布全球首个城市级NeRF实景三维大模型“书生·天际(LandMark)”(简称“书生·天际”)。
书生·天际在大模型层面提出一种新的实景三维模型表征和训练范式,可以4K级图像精度准确呈现大规模三维城市场景。在重构出来的三维实景中,不仅具备包括移除、移动和新建城市建筑等城市布局的调整能力,还可以“上帝视角”调节光照、季节等城市风格。书生·天际已超越“城市重建”,突破性实现了“城市编辑”功能。
未来,上海AI实验室将对书生·天际的建模范围和功能进行扩展,并对书生·天际的算法、算子和系统全部进行开源。
“今天当谈到AIGC,我们想到的还是一张张照片;未来,AIGC将可能生成我们心目中的家、心目中的整个城市。”上海AI实验室林达华教授表示,书生·天际让超写实城市级三维实景成为可能,还将继续进化,覆盖更多城市区域和地标建筑,提供更多、更丰富的三维实景功能。
此外,上海AI实验室还与商汤科技联合香港中文大学、复旦大学、上海交通大学及清华大学发布全新升级的“书生通用大模型体系”(简称“书生大模型”),包括书生·多模态、书生·浦语和书生·天际等三大基础模型,以及首个面向大模型研发与应用的全链条开源体系。
(潘洁 摄)
目前,书生大模型在130多个评测中性能达世界领先或先进水平。其中,书生·多模态无缝整合了语言、图像、视频等多种模态,首次实现通过自然语言定义视觉任务,并具有多模态交互和跨模态生成能力;升级后的书生·浦语为国内首个正式发布的支持8K语境长度的千亿参数级语言大模型;书生·天际则是全球首个城市级NeRF实景三维大模型,具备千亿参数,在全球首次实现对100平方公里城市实景进行4K高精度建模以及编辑。
上海AI实验室主任助理乔宇教授表示,“实验室坚持以原始创新引领技术进步,以开源开放赋能创新生态,此次书生通用大模型体系全面升级,模型家族进一步丰富,能力更强,覆盖模态和任务更广。同时,实验室还在模型、数据、工具和评测等层面进行全方位开源,推动技术创新与产业进步。”
标签: