腾讯大模型上线文生视频，并宣布开源

腾讯混元大模型公布最新进展：正式上线视频生成能力，这是继文生文、文生图、3D生成之后的又一新里程碑。与此同时，腾讯开源该视频生成大模型，参数量130亿，是当前最大的视频开源模型。“用户只需要输入一段描述，即可生成视频，”腾讯混元相关负责人透露，目前的生成视频支持中英文双语输入、多种视频尺寸以及多种视频清晰度。目前该模型已上线腾讯元宝APP，用户可在AI应用中的“AI视频”板块申请试用。企业客户通过腾讯云提供服务接入，目前API同步开放内测申请。通过腾讯元宝APP-AI应用-AI视频即可使用该功能（前期需申请）在与国内外多个顶尖模型的评测对比显示，混元视频生成模型在文本视频一致性、运动质量和画面质量多个维度效果领先，在人物、人造场所等场景下表现尤为出色。腾讯混元生成视频大模型可以实现超写实画质、生成高度符合提示词的视频画面，画面流畅不易变形。比如，在冲浪、跳舞等大幅度运动画面的生成中，腾讯混元可以生成非常流畅、合理的运动镜头，物体不易出现变形；光影反射基本符合物理规律，在镜面或者照镜子场景中，可以做到镜面内外动作一致。同时，模型还可以实现在画面主角保持不变的情况下自动切镜头，这是业界大部分模型所不具备的能力。视频由腾讯混元视频生成，提示词：超大海浪，冲浪者在浪花上起跳，完成空中转体。摄影机从海浪内部穿越而出，捕捉阳光透过海水的瞬间。水花在空中形成完美弧线，冲浪板划过水面留下轨迹。最后定格在冲浪者穿越水帘的完美瞬间。视频由腾讯混元视频生成，提示词：穿着白床单的幽灵面对着镜子。镜子中可以看到幽灵的倒影。幽灵位于布满灰尘的阁楼中，阁楼里有老旧的横梁和被布料遮盖的家具。阁楼的场景映照在镜子中。幽灵在镜子前跳舞。电影氛围，电影打光。视频由腾讯混元视频生成，提示词：一位中国美女穿着汉服，头发飘扬，背景是伦敦，然后镜头切换到特写镜头视频由腾讯混元视频生成，提示词：特写镜头拍摄的是一位 60 多岁、留着胡须的灰发男子，他坐在巴黎的一家咖啡馆里，沉思着宇宙的历史，他的眼睛聚焦在画外走动的人们身上，而他自己则基本一动不动地坐着，他身穿羊毛大衣西装外套，内衬系扣衬衫，戴着棕色贝雷帽和眼镜，看上去很有教授风范，片尾他露出一丝微妙的闭嘴微笑，仿佛找到了生命之谜的答案，灯光非常具有电影感，金色的灯光，背景是巴黎的街道和城市，景深，35 毫米电影胶片。An extreme close-up of an gray-haired man with a beard in his 60s wears a brown beret and glasses , he is deep in thought pondering the history of the universe as he sits at a cafe in Paris, his eyes focus on people offscreen as they walk as he sits mostly motionless, he is dressed in a wool coat suit coat with a button-down shirt , he wears a brown beret and glasses and has a very professorial appearance, and the end he offers a subtle closed-mouth smile as if he found the answer to the mystery of life, the lighting is very cinematic with the golden light and the Parisian streets and city in the background, depth of field, cinematic.混元的领先能力主要源于其技术创新。其基于跟Sora类似的DiT架构，并在架构设计上进行多多处升级。混元视频生成模型适配了新一代文本编码器提升语义遵循，其具备强大的语义跟随能力，更好地应对多个主体描绘，实现更加细致的指令和画面呈现；采用统一的全注意力机制，使得每帧视频的衔接更为流畅，并能实现主体一致的多视角镜头切换；通过先进的图像视频混合VAE（3D 变分编码器），让模型在细节表现有明显提升，特别是小人脸、高速镜头等场景。腾讯混元视频生成模型画面具备高质感，可用于工业级商业场景例如广告宣传、动画制作、创意视频生成等场景。此前，《人民日报》、央视网、新华社、《21世纪经济报道》、重庆卫视、《羊城晚报》、《南方都市报》等多家媒体