← 多模态与文档智能

如何把票据和支付截图识别成可核对的结构化数据?

中等 票据截图结构化识别 · 第 2 / 2 问 更新于 2026/11/11
多模态视觉模型票据识别结构化输出人工核对
本题落地项目AI Agent智能记账与财务管家

简化版

先检查和整理原图,再让视觉模型按明确字段抽取,随后用程序验证金额、日期和字段来源,保留原始识别依据并让用户核对。识别成功只表示取得候选数据,正式入账还需要身份校验、幂等去重和用户确认。

详细版

链路可以拆为图像输入、模型提取、字段校验、现场核对和业务提交五步。视觉模型负责理解画面与字段关联,代码负责把模糊输出变成符合业务约束的数据。

环节要做的事失败时的处理
输入检查格式、大小、方向、透明背景和分辨率提示重新上传
抽取指定金额、日期、商户、条目数组与原文保存识别失败依据
校验检查正金额、日期格式和可用分类明确缺失或待补全
核对显示原图和可编辑候选用户修改后再提交
入账校验归属、去重、事务写入返回逐条结果

字段类型合法并不代表读图正确。金额由“108.00”误读成“103.00”仍是合法数字,单靠JSON解析无法发现,所以原图回看、业务规则与人工核对都应保留。

完整版教学

一、先定义识别目标和业务出口

票据识别不是把整张图自由描述成一段话,而是提取后续系统需要处理的字段。 同一画面可能包含商品单价、合计、优惠和实付,必须说明哪个字段代表入账金额。 一张图还可能包含多笔交易,输出结构应允许数组并限制最大条目数。 未读清的字段应返回缺失标记或提示,不能为了满足结构自动填入常见店名。

{
  "items": [
    {"merchantName": "示例商户", "amount": "108.00", "tradeTime": "2026-11-01"}
  ],
  "rawText": "可回看的识别文本"
}

示例结构是接口契约,真正是否允许缺失字段要由业务定义。 识别结果与正式交易使用不同状态,便于解释“读出来了,但还没有入账”。

二、图像预处理为什么会影响字段准确性

手机照片可能依靠EXIF方向标记显示为竖图,直接按原始像素送入模型可能方向错误。 透明PNG直接转成JPEG也可能形成黑色背景,让原本清晰的小字失去对比。 因此先校正方向,再将透明图铺到合适背景,最后考虑尺寸和编码。 压缩需要权衡传输成本与文字清晰度,不能说重新编码对精度永远没有影响。

原图 3200 × 2400
长边限制1600时:缩放比例0.5 → 1600 × 1200
原来高16像素的小字只剩8像素,关键数字可能更难辨认

长边上限应在实际样本上核对字段正确率。 低质量输入需要重新拍摄或局部放大等明确处理,单纯提高模型自报置信度没有帮助。

三、图像消息与文本提示怎样一起组织

使用支持图片输入的接口时,图像与文字是同一请求中的不同内容块。 文字说明字段语义和输出结构,图像提供识别证据,不能把base64长串当成普通文本让模型阅读。 采用data URL会增加请求体积,缓存和日志应避免无意重复保存整张图片的编码。 如果使用远程URL,则还要验证模型服务能访问到图片,以及访问链接的有效期。

用户消息
  ├─ text:提取实付金额、交易时间、商户,输出items数组
  └─ image:图像URL或接口支持的图像内容块
          ↓
视觉模型返回结构候选 → 解析和业务校验

不要只发一条文本测试就声称图片链路正常。 连通性测试需要真实携带图片并检验可见字段,而不是只检查HTTP返回成功。

四、格式校验和事实校验分开做

第一层检查是否是合法JSON、顶层是否符合约定、items是否为数组。 第二层检查金额是否有效、方向是否属于枚举、日期是否能转换为统一格式。 第三层回看金额和商户是否有图片依据,避免把小计、余额和优惠当成交易实付。 如果截图缺少收支方向,默认值必须清楚展示给用户,不能把推断伪装成识别事实。

结果JSON合法业务范围合法是否确认事实正确
amount为字母是否否
amount为-108是取决于金额约定否
108误读为103是是否
人核对后确认108是是本次人工确认

日期只读到一天时,可按业务约定补时间并显示提示。 无法确认的字段要标记出来,让用户知道哪些是原图字段、哪些是系统补全。

五、同图复用与入账去重是两件事

同图识别输出复用减少视觉模型重复请求,入账去重防止重复产生业务流水。 前者可以按用户和文件内容指纹寻找已成功的输出,后者需要稳定的交易标识。 即使复用识别原文,本次分类建议也可能因用户新偏好而不同,不宜把整个旧页面结果原样当成最终结果。 入账时必须再次查重,解析时查过并不能挡住两个页面同时提交。

同一张图两次上传 → 可以只做一次视觉提取
同一条结果两次确认 → 必须只产生一笔流水

同一票据可能真有两条相同金额、相同时间的商品,单靠这两个字段去重会误删。 应结合稳定条目编号或同图出现序号,明确去重粒度;裁切、压缩后的不同文件也未必拥有相同指纹。

六、核对与提交如何形成闭环

核对页展示候选字段,用户可以修改分类、金额、时间和商户等允许调整的内容。 但原始识别依据、用户归属和去重标识不能仅相信页面传回的值。 可以保存服务端预览记录,或签名保存原始依据,在确认时验证有效期和所属用户。 正式交易写入、统计更新以及分类纠正记忆应按业务需要放在同一事务里。

批量提交要逐行返回成功、失败或重复状态。 例如20条候选中18条成功、2条需补日期,页面应保留这2条的修正入口,而不是显示整个批次已全部入账。 资金转移、重复条目和无效金额不能为了凑齐原图条数硬写入流水。 原图保留和识别输出保留还应服从用户访问权限与删除规则。

七、怎样评估识别链路

字段层分别统计金额、日期、商户的精确匹配,不要只报告“模型输出了JSON”。 流程层检查重复上传、重复确认、并发提交、无效文件及失败后重试。 数据集按支付截图、纸质小票、小字、旋转、模糊和遮挡切片,观察不同输入的错误来源。 没有标注集就不能宣称一个精确的识别准确率。

100张标注票据:金额完全匹配94张,日期完全匹配90张
金额字段准确率=94%,日期字段准确率=90%
这不等于94%的整张票据全部字段正确

记忆钩子:图像是证据,模型出候选,代码验约束,人核对后才形成账。

八、常见误区与追问

  • 误区:JSON解析成功就代表金额正确。 错读的数字同样可能满足类型和范围约束。
  • 误区:压缩只影响体积。 过度缩小会让小字不可读,应检查关键字段质量。
  • 误区:同图复用就解决了重复入账。 缓存模型输出与业务幂等属于两层机制。
  • 追问:视觉模型一定要和OCR一起用吗? 可以直接视觉提取,也可组合OCR;取舍依赖版式、字段精度、成本与证据需求。
  • 追问:一张图有多条同金额记录怎么办? 去重键需要表达条目身份,不能把金额和日期相同直接当成同一笔。
  • 追问:用户改分类会不会改掉原建议? 原建议应由服务端留存或签名,确认时才能准确识别纠正行为。

九、加强记忆

沿着“整理图像、提取字段、验证约束、显示依据、确认提交”复述整条链路,每一步都有自己的成功条件。模型正确返回数据结构只是中间结果,金额事实、本人归属和重复提交还要分别核对。遇到追问先区分是读图错误、字段错误还是写库错误,再说对应的预处理、校验、人工确认和幂等措施,避免用一个置信度或一条Prompt包办所有问题。

项目实战落地

项目里怎么做的

《AI Agent智能记账与财务管家》:截图记账选择直接视觉模型提取:Pillow按EXIF转正、透明图铺白底、长边最多1600像素并编码为质量80的JPEG,再将文字指令和base64 image_url放入同一HumanMessage。程序解析items和rawText,检查金额、整理时间并自动分类,返回现场核对结果;本人同图成功输出按SHA-256复用。当前没有独立OCR引擎、双路投票或票据框坐标输出。

为什么这样取舍

直接VLM能结合票据画面提取多字段,减少额外OCR管线;压缩可能损失小字细节,所以最终入账保留人工核对。8MB单图、每批最多5图是入口限制,不是模型精度指标。

面试官还会追问

  • 透明PNG为什么不能直接转JPEG?
  • 同图同金额同时间有多条商品时,去重键怎样区分?

学完《AI Agent智能记账与财务管家》,上面这些追问你都会迎刃而解。

本题落地项目地狱锤炼AI Agent智能记账与财务管家基于 FastAPI + LangGraph + LangChain、ReAct Agent、Function Calling 和 MySQL 持久化记忆,构建智能记账与个人财务管家,实现自然语言与截图识别记账、Excel 账单导入、分级自动分类、预算监控与超支预警、Agent 自主消费诊断、个人记忆 RAG 财务问答及周报月报生成,通过记账纠正、消费偏好提取和建议反馈积累跨会话记忆,结合真实流水校验、省钱方案去重和执行过程留痕,覆盖智能录入、账本分析、个性化建议与反馈记忆持续复用的完整闭环。FastAPIAgentLangChainLangGraphRAG源码+SQL配套面试文档喂饭学习教程环境安装文档 学习这个项目