2月10日，界面新闻获悉，豆包大模型团队联合北京交通大学、中国科学技术大学共同开发的视频生成实验模型“VideoWorld”正式开源。
不同于主流多模态模型，VideoWorld 在业界首次实现无需依赖语言模型，即可认知世界。这一创新，也是在人工智能视频生成和多模态认知方面取得的重要突破。
传统的多模态模型，如Sora、DALL-E和Midjourney等，大多依赖于语言或标签数据来学习知识，而VideoWorld则通过纯视觉信号进行学习和推理。这一特性使得VideoWorld在处理如折纸、打领结等难以通过语言清晰表达的任务时，具有显著优势。
大模型的视觉理解能力一直是AI前沿研究方向之一。视频中存在大量冗余信息，会影响模型的学习效率，使得视频序列的知识挖掘效率显著落后于文本形式。但李飞飞教授曾在TED演讲中提到，“幼儿可以不依靠语言理解真实世界”。与语言相比，“用眼睛看”是人类门槛更低的认知方式。
据介绍，VideoWorld的核心技术基于一种潜在动态模型（LDM），该模型能够高效压缩视频帧间的变化信息，显著提升知识学习的效率和效果。
此外，VideoWorld还结合了自回归Transformer架构和矢量量化-变分自编码器（VQ-VAE），实现了高质量的视频生成和复杂的任务推理。通过这一组合，VideoWorld能够从未标注的视频数据中学习复杂的任务知识，包括规则、推理和规划能力。
在实际应用中，在不依赖任何强化学习搜索或奖励函数机制前提下，VideoWorld 达到了专业 5 段 9x9 围棋水平，能够选择最佳落子位置并击败高水平的对手。
此外，该模型还具有扩展到自动驾驶、智能监控等领域的潜力。
VideoWorld的开源项目代码和模型已公开发布，豆包大模型团队也提供了详细的安装和运行指南。
2月10日，受此消息影响，A股视觉认知概念股午后大幅走强，创业板星宸科技直线拉升涨停，全志科技、富瀚微、虹软科技等纷纷大幅冲高。
47847
26
47847
26
48158
46
18095
59
76276
17
65573
36
63128
4
86478
85
30367
78
63524
2
62738
4
31856
47
71272
50
83067
20
99712
97
54978
31
63720
90
94331
53
29063
54
68942
21
89181
94
23218
58
28745
52
81201
44
17391
69
29549
6
17480
70
89028
4
98746
88
79267
68
83517
81
27017
78
54410
77
62398
1
63428
58
63473
31
47199
19
84052
15
22
19684
80
22271
49
94874
50
36152
35
45060
29
74946
99
90160
42
41857
66369
8
47534
52
61701
41
52980
33
50061
60
68054
69
53
92885
11