Java AI转型实战（十五）：多模态 AI 入门——图片理解

让 AI 不仅能“读文字”还能“看图片”01 引子经过十四篇实战我们构建了一个完整的智能助手应用它能够多轮对话流式输出知识库检索RAG工具调用Agent循环推理但所有这些能力都基于文字。AI 只能处理我们输入的文字却无法“看见”我们上传的图片。试想一下这些场景用户上传一张系统架构图问“这个系统有哪些模块”用户拍了一张产品照片问“这个产品有什么特点”用户上传一份手写文档问“这上面写了什么”如果 AI 只能处理文字这些需求都无法满足。而这就是多模态 AI要解决的问题——让 AI 能够同时处理文字、图片、音频等多种模态的信息。这一篇的目标让我们的智能助手具备图片理解能力。02 什么是多模态 AI2.1 单模态 vs 多模态对比单模态 AI多模态 AI输入类型仅文字文字 图片 音频 视频能力范围文本理解、文本生成图像识别、视觉问答、语音合成典型模型GPT、通义千问qwen-vl-plus、GPT-4V2.2 图片理解的应用场景场景说明实际用途图像描述AI 描述图片内容无障碍辅助、内容审核视觉问答根据图片回答问题产品识别、故障诊断OCR从图片中提取文字证件识别、文档扫描图表分析解析图表数据数据分析、报告解读2.3 技术选型我们使用阿里云的qwen-vl-plus模型原因如下与现有阿里百炼生态无缝集成支持图像理解、视觉问答、OCR 等多种能力与已使用的通义千问模型共享 API Key03 代码实现3.1 添加依赖在pom.xml中添加 DashScope SDK3.2 创建图片理解服务ImageUnderstandingService.java3.3 创建 ControllerImageController.java04 测试验证测试场景一描述图片内容请求测试场景二图片问答请求05 踩坑记录坑一包名错误现象导入com.alibaba.dashscope.multimodal.MultiModal时报错。原因不同版本的 DashScope SDK 包名不同。解决2.19.x 版本使用javaimport com.alibaba.dashscope.aigc.multimodalconversation.MultiModalConversation; import com.alibaba.dashscope.aigc.multimodalconversation.MultiModalConversationParam; import com.alibaba.dashscope.aigc.multimodalconversation.MultiModalConversationResult;坑二类型转换错误现象不兼容的类型: ListMapString, Object 无法转换为 ListObject解决使用Arrays.asList(Map.of(...))并显式声明返回类型同时用SuppressWarnings(unchecked)忽略类型转换警告。坑三缺少异常捕获现象未报告的异常错误 UploadFileException解决在 catch 子句中添加UploadFileExceptionjava} catch (ApiException | NoApiKeyException | UploadFileException e) {06 成果总结经过这一篇你的智能助手新增了图片理解能力能力状态图片内容描述✅视觉问答✅结构化信息提取✅布局与关系分析✅07 下期预告图片理解只是多模态 AI 的起点。接下来可以继续深入的方向方向内容语音合成TTS文字转语音让 AI“说话”OCR 增强从图片中提取文字用于证件识别、文档扫描多轮图文对话围绕图片进行多轮对话本地图片上传支持 MultipartFile 上传方便测试下一篇我们探索语音合成——让 AI 不仅能“看”还能“说”。 我是超超不吵吵10年Java全栈正在转型AI应用开发。每周一篇实战笔记不贩卖焦虑只分享能落地的技术。全网同名欢迎关注。