多模态（Multimodal）

多模态是指 AI 模型可以处理不止一种类型的信息，例如看图回答问题、听懂语音并用文字回复、根据文字生成图片或视频。当前国内外主流大模型大多已经具备图像理解能力，部分支持实时语音对话和视频理解。

在企业场景中，多模态的用途很具体：识别票据、合同和表单并抽取字段；根据商品图片生成描述文案；巡检人员拍照上传后自动判断设备状态；客服接收用户发来的截图并定位问题。

引入多模态能力时要关注几个问题：图片和音视频的 Token 消耗通常比纯文字高，需要评估成本；识别结果对关键字段仍需校验；涉及人脸、证件等个人信息时要遵守个人信息保护相关规定；AI 生成的图片和视频需按规定添加标识。

选型时建议用真实业务样本测试，例如自家的单据格式、现场拍摄的照片，而不是只看厂商的演示效果。光线、角度、手写体等因素对识别效果影响很大。测试样本最好覆盖不清晰、不规范的真实情况，以免上线后效果落差过大。