评论
分享

清华团队“国产Sora”效果惊艳,背后创业公司已融资数亿元

这个是认证

热点科技

2024-04-28 12:57 北京

68234 0 0

清华大学联合生数科技正式发布了中国首个高一致性、高动态性视频大模型 Vidu。从放出的视频来看,Vidu 生成的视频效果非常惊艳,在一致性、运动幅度等方面已经达到了 Sora 的水准,虽然比不上 Sora 的时长,但整体上已经可以对标 Sora。

Vidu:" 画室里的一艘船驶向镜头 "

Sora:" 逼真的特写视频,展示两艘海盗船在一杯咖啡内航行时互相争斗的场景。"

不过,无论是 Sora 还是 Vidu,目前都还没有正式发布,而且除了视频生成的时长以外,成功率、质量对于视频生成大模型而言也是非常重要,所以真实差距或许还有待日后仔细比较。但无论 Sora 还是 Vidu,其更大的意义还是在于采用了新的技术。

据了解,目前市面上很多视频生成工具增加视频长度的思路是采用插帧技术,这种方法通过在原始视频帧之间插入额外的帧来提升视频的流畅度和长度,还有一些工具则主要通过组合不同的模型和技术来生成较长的视频,在一些较为简单的视频动画制作中,已经呈现出了非常不错的效果。

此前央视制作的文生视频 AI 动画《千秋诗颂》

但与此同时,这两种方式都可能会在内容的流畅性和视觉表现上显得不够连贯,缺乏自然的过渡效果,还会出现画质下降,尤其是在快速运动或阴影处理上的扭曲和模糊等一系列问题。

而 Vidu 采用了和 Sora 完全一致的 Diffusion 和 Transformer 融合的架构,底层基于生数自研的 U-ViT 架构,是第一个融合了 Diffusion 和 Transformer 的架构,据称比 Sora 的 DiT 架构早了一年。生数科技联合创始人兼 CEO 唐家渝表示,生数科技在 3 月份就实现了 8 秒的视频生成,在 4 月突破 16 秒,未来还将继续加速迭代。

公开数据显示,生数科技成立于 2023 年 3 月,核心团队来自清华大学人工智能研究院,还有来自北京大学、阿里巴巴、腾讯、字节跳动的多位技术人才。公司员工总数近 90% 为研发人员。

去年 6 月,生数科技获得蚂蚁集团、BV 百度风投、卓源资本的近亿元天使轮融资;8 月,完成了数千万元天使 + 轮融资;今年 3 月,生数科技完成新一轮数亿元融资,由启明创投领投,达泰资本、鸿福厚德、智谱 AI、老股东 BV 百度风投和卓源亚洲继续跟投。在三轮融资总计数亿元人民币的资本加持下,生数科技已成为目前国内多模态大模型中估值最高的初创公司之一。

# SORA
# AI
本文为凯迪网自媒体“凯迪号”作者上传发布,代表其个人观点与立场,凯迪网仅提供信息发布与储存服务。文章内容之真实性、准确性由用户自行辨别,凯迪网有权利对涉嫌违反相关法律、法规内容进行相应处置。
举报
投喂支持
点赞
发表评论
请先 注册 / 登录后参与评论
推荐阅读