生成画面对输入相机之精准跟随,且多条运镜之生成结局保方位一致不会有抵触;通过后操练算法之设计,使得保快速生成之同时画面品质不会衰减。
于AI飞速演进之今日,所有之讯息皆可“一键得”。
混元全球模型2.0支文、图、视频多种输入。
混元全球模型 2.0让 AI 从“对话”、“画图”、“捏物体”,演进到之“造全球”——包含者、物、景之完整全球。
申请于线体验:https://3d.hunyuan.tencent.com/sceneTo3D 模型还支角色模式,用户可操作角色于街道、建筑、场景中逍遥探求,不限光阴,具有物理碰撞,就像于游戏里一样。
相较量混元全球模型1.0,2.0之模型架构全面晋级,画面精细度与确凿感大幅提升。
用户还可自定义风格,按需生成确凿风、漫画风、游戏风之3D方位。
模型会根据每名场景之不同语义,筹划出“环绕物体”、“最大漫游”等五类运镜轨迹,此样搭配下一步之全球扩展模型,可让用户于 3D 全球中之探求路径既自又有趣。
通过团队自研之方位Agent技艺,结合VLM与游戏自动寻路算法常用之navmesh表征,让大模型能够体谅方位语义,并智能筹划出有意义之漫游轨迹,确保覆盖场景中最有身价之区域,同时免除穿墙、跑飞。
实机演示:输入“生成一名温馨之绘本风格小木屋”,游戏角色可逍遥穿行于生成之3D场景中所有实质均为3D文书,且全部由HY-World 2.0大模型一键生成 同时,全球模型2.0支复刻确凿3D场景,用户输入一段确凿方位之视频或者多视角图片,模型就能构建出高精度之数术孪生方位。
不同于谷歌之Genie 3与混元全球模型1.5仅能生成一分钟视频文书,全球模型2.0之实用性更进一步:它可直接生成可二次编辑之3D资产文书,此些生成之3D资产可直接导入到游戏制或者具身仿真引擎,实现真正可玩、可用。
技艺呈文: https://3d-models.hunyuan.tencent.com/world/world2_0/HY_World_2_0.pdf 实机演示:输入“生成一名日式RPG风格之中世纪地牢”,即可生成一名3D方位资产 最后,将所有生成之片段通过HY-WorldMirror 2.0 整顿为一名一统之、可交互之 3D 全球。
开源代码:https://github.com/Tencent-Hunyuan/HY-World-2.0 沿之筹划好之轨迹,模型通过视频生成技艺不断“扩展”全球。
通过记忆力机制之设计以及体系化之中间操练与后操练,团队打造之目前业界最强之新视角生成(NVS)模型HY-WorldStereo。
本文系观察者网独家稿件,未经授权,不得转载。
谈自己曾提到赛季初需五轮左右之磨合,球队今之磨合情况如何。
有之全景图,下一步为筹划“怎么走”。
生成成后,用户可将资产导入到Unity、UE 等引擎、进行二次编辑,显著降低之游戏地图之创作门槛。
支多种模态输入,草图变地图、图片变方位 HY-World 2.0 全新晋级HY-Pano-2.0模型, 采用端到端隐式修习预案,让模型自己学会从寻常图片到 360 度全景之方位映射,完全不需任何相机元数。
输入一段书契或一张图片,模型即可精准解析繁语义,一键生成风格多样之可漫游全球。
以3D生成为主轴,一统方位体谅、生成、重修 旧俗法门需精确之相机参数才能生成全景图,但现状中此些参数往往拿不到。
再配合团队之确凿全景照片与 UE 引擎合成数据之混合操练计策,保证之生成品质与泛化本领。
混元生成之3DGS与Mesh之混合表征,也让用户能够开启角色模式进行有确凿物体碰撞之交互。
不过,或也有者提出疑问:AI时代,读书还重要吗。
基于晋级后之 WorldMirror 2.0 架构,模型支任意尺寸图像与视频输入,一次性预测密集点云、多视角深度图、表面法线及相机参数 ,一次生成永久可复用。
再大部头之著作,皆可通过几名词元,于几秒钟内提炼出要点、生成摘要、写出一篇架构完整之读后感。
(文/陈济深 编辑/张广凯) 此一步之枢纽革新于于“精确之相机控制 + 细粒度视觉细节保 + 方位一致性记忆机制”,此一套流程可确保新生成之区域与已有区域于几何与视觉上完美衔接,不会“穿帮”。
与其他全球模型相比,混元全球模型2.0于场景完整度(物体侧面与背面)以及对输入图片之遵循程度表现更优。
混元全球模型2.0以3D为主轴,通过一统方位体谅、生成、重修之架构,实现之SOTA级之生成效果。
用定制之Depth alignment与自随顺Mask gaussian场景改良算法,生成之场景采用 3D 高斯泼溅(3DGS)表示,同时可转出高品质mesh,可无缝导出到 Unity/UE 等主流游戏引擎,支二次编辑与创作。
前景,室内装修预览、都邑筹划、人文遗产守护等场景,皆可基于此一本领实现快速构建与还原。