如果只靠文字，AI 对世界的理解终究是残缺的。世界大部分信息并不以文字的形式存在：一张图、一段声音、一个动作，都在传递文字难以承载的含义。

过去一年，多模态能力从「亮点」变成了「标配」。新的模型几乎都开始具备看图、听声的能力，有些还能理解和生成视频。

从「看图说话」到「真正理解」

早期多模态模型的能力，停留在「描述图片内容」：图片里有猫、有桌子、有窗户。这种描述有用，但浅。

现在的多模态模型，开始表现出更接近「理解」的行为。它能读懂图表里的趋势，能看出代码截图中的错误，能从一张模糊的照片里推断出场景和情境。更重要的是，它能把这些视觉信息和文字信息放在一起推理。

语音让交互变自然

语音能力的变化同样明显。过去，语音往往只是「把说的话转成文字」再交给文字模型处理。如今，模型可以更直接地理解语气、停顿和情绪，回复也更像真人对话。

这让 AI 从「键盘后面的工具」，逐渐走向「可以开口交流的对象」。对很多不擅长打字的场景——开车、做饭、带娃——语音是唯一自然的交互方式。

视频是下一个前沿

相比图像和语音，视频的理解与生成仍然更难：时间维度的加入，让信息量和计算量都成倍增长。但进展是实实在在的——模型已经能对一段视频的内容做连贯的总结和问答，也能生成越来越流畅的短片。

视频能力成熟之后，影响会远超「娱乐」。监控分析、自动驾驶、医疗影像、工业质检，这些领域都在等待真正可靠的视频理解。

多模态的深层意义

多模态的价值，不只是「多了一种输入方式」。它让模型有机会在更接近真实世界的维度上学习，也让 AI 能处理的任务从「文字游戏」扩展到真实世界的复杂问题。

当 AI 能看、能听、能说，它就不再是一个只会聊天的程序，而是一个开始感知世界的系统。这才是更让人兴奋、也更值得警惕的变化。