如何把票据和支付截图识别成可核对的结构化数据?
简化版
先检查和整理原图,再让视觉模型按明确字段抽取,随后用程序验证金额、日期和字段来源,保留原始识别依据并让用户核对。识别成功只表示取得候选数据,正式入账还需要身份校验、幂等去重和用户确认。
详细版
链路可以拆为图像输入、模型提取、字段校验、现场核对和业务提交五步。视觉模型负责理解画面与字段关联,代码负责把模糊输出变成符合业务约束的数据。
| 环节 | 要做的事 | 失败时的处理 |
|---|---|---|
| 输入 | 检查格式、大小、方向、透明背景和分辨率 | 提示重新上传 |
| 抽取 | 指定金额、日期、商户、条目数组与原文 | 保存识别失败依据 |
| 校验 | 检查正金额、日期格式和可用分类 | 明确缺失或待补全 |
| 核对 | 显示原图和可编辑候选 | 用户修改后再提交 |
| 入账 | 校验归属、去重、事务写入 | 返回逐条结果 |
字段类型合法并不代表读图正确。金额由“108.00”误读成“103.00”仍是合法数字,单靠JSON解析无法发现,所以原图回看、业务规则与人工核对都应保留。
完整版教学
一、先定义识别目标和业务出口
票据识别不是把整张图自由描述成一段话,而是提取后续系统需要处理的字段。 同一画面可能包含商品单价、合计、优惠和实付,必须说明哪个字段代表入账金额。 一张图还可能包含多笔交易,输出结构应允许数组并限制最大条目数。 未读清的字段应返回缺失标记或提示,不能为了满足结构自动填入常见店名。
{
"items": [
{"merchantName": "示例商户", "amount": "108.00", "tradeTime": "2026-11-01"}
],
"rawText": "可回看的识别文本"
}
示例结构是接口契约,真正是否允许缺失字段要由业务定义。 识别结果与正式交易使用不同状态,便于解释“读出来了,但还没有入账”。
二、图像预处理为什么会影响字段准确性
手机照片可能依靠EXIF方向标记显示为竖图,直接按原始像素送入模型可能方向错误。 透明PNG直接转成JPEG也可能形成黑色背景,让原本清晰的小字失去对比。 因此先校正方向,再将透明图铺到合适背景,最后考虑尺寸和编码。 压缩需要权衡传输成本与文字清晰度,不能说重新编码对精度永远没有影响。
原图 3200 × 2400
长边限制1600时:缩放比例0.5 → 1600 × 1200
原来高16像素的小字只剩8像素,关键数字可能更难辨认
长边上限应在实际样本上核对字段正确率。 低质量输入需要重新拍摄或局部放大等明确处理,单纯提高模型自报置信度没有帮助。
三、图像消息与文本提示怎样一起组织
使用支持图片输入的接口时,图像与文字是同一请求中的不同内容块。 文字说明字段语义和输出结构,图像提供识别证据,不能把base64长串当成普通文本让模型阅读。 采用data URL会增加请求体积,缓存和日志应避免无意重复保存整张图片的编码。 如果使用远程URL,则还要验证模型服务能访问到图片,以及访问链接的有效期。
用户消息
├─ text:提取实付金额、交易时间、商户,输出items数组
└─ image:图像URL或接口支持的图像内容块
↓
视觉模型返回结构候选 → 解析和业务校验
不要只发一条文本测试就声称图片链路正常。 连通性测试需要真实携带图片并检验可见字段,而不是只检查HTTP返回成功。
四、格式校验和事实校验分开做
第一层检查是否是合法JSON、顶层是否符合约定、items是否为数组。 第二层检查金额是否有效、方向是否属于枚举、日期是否能转换为统一格式。 第三层回看金额和商户是否有图片依据,避免把小计、余额和优惠当成交易实付。 如果截图缺少收支方向,默认值必须清楚展示给用户,不能把推断伪装成识别事实。
| 结果 | JSON合法 | 业务范围合法 | 是否确认事实正确 |
|---|---|---|---|
| amount为字母 | 是 | 否 | 否 |
| amount为-108 | 是 | 取决于金额约定 | 否 |
| 108误读为103 | 是 | 是 | 否 |
| 人核对后确认108 | 是 | 是 | 本次人工确认 |
日期只读到一天时,可按业务约定补时间并显示提示。 无法确认的字段要标记出来,让用户知道哪些是原图字段、哪些是系统补全。
五、同图复用与入账去重是两件事
同图识别输出复用减少视觉模型重复请求,入账去重防止重复产生业务流水。 前者可以按用户和文件内容指纹寻找已成功的输出,后者需要稳定的交易标识。 即使复用识别原文,本次分类建议也可能因用户新偏好而不同,不宜把整个旧页面结果原样当成最终结果。 入账时必须再次查重,解析时查过并不能挡住两个页面同时提交。
同一张图两次上传 → 可以只做一次视觉提取
同一条结果两次确认 → 必须只产生一笔流水
同一票据可能真有两条相同金额、相同时间的商品,单靠这两个字段去重会误删。 应结合稳定条目编号或同图出现序号,明确去重粒度;裁切、压缩后的不同文件也未必拥有相同指纹。
六、核对与提交如何形成闭环
核对页展示候选字段,用户可以修改分类、金额、时间和商户等允许调整的内容。 但原始识别依据、用户归属和去重标识不能仅相信页面传回的值。 可以保存服务端预览记录,或签名保存原始依据,在确认时验证有效期和所属用户。 正式交易写入、统计更新以及分类纠正记忆应按业务需要放在同一事务里。
批量提交要逐行返回成功、失败或重复状态。 例如20条候选中18条成功、2条需补日期,页面应保留这2条的修正入口,而不是显示整个批次已全部入账。 资金转移、重复条目和无效金额不能为了凑齐原图条数硬写入流水。 原图保留和识别输出保留还应服从用户访问权限与删除规则。
七、怎样评估识别链路
字段层分别统计金额、日期、商户的精确匹配,不要只报告“模型输出了JSON”。 流程层检查重复上传、重复确认、并发提交、无效文件及失败后重试。 数据集按支付截图、纸质小票、小字、旋转、模糊和遮挡切片,观察不同输入的错误来源。 没有标注集就不能宣称一个精确的识别准确率。
100张标注票据:金额完全匹配94张,日期完全匹配90张
金额字段准确率=94%,日期字段准确率=90%
这不等于94%的整张票据全部字段正确
记忆钩子:图像是证据,模型出候选,代码验约束,人核对后才形成账。
八、常见误区与追问
- 误区:JSON解析成功就代表金额正确。 错读的数字同样可能满足类型和范围约束。
- 误区:压缩只影响体积。 过度缩小会让小字不可读,应检查关键字段质量。
- 误区:同图复用就解决了重复入账。 缓存模型输出与业务幂等属于两层机制。
- 追问:视觉模型一定要和OCR一起用吗? 可以直接视觉提取,也可组合OCR;取舍依赖版式、字段精度、成本与证据需求。
- 追问:一张图有多条同金额记录怎么办? 去重键需要表达条目身份,不能把金额和日期相同直接当成同一笔。
- 追问:用户改分类会不会改掉原建议? 原建议应由服务端留存或签名,确认时才能准确识别纠正行为。
九、加强记忆
沿着“整理图像、提取字段、验证约束、显示依据、确认提交”复述整条链路,每一步都有自己的成功条件。模型正确返回数据结构只是中间结果,金额事实、本人归属和重复提交还要分别核对。遇到追问先区分是读图错误、字段错误还是写库错误,再说对应的预处理、校验、人工确认和幂等措施,避免用一个置信度或一条Prompt包办所有问题。
项目实战落地
项目里怎么做的
《AI Agent智能记账与财务管家》:截图记账选择直接视觉模型提取:Pillow按EXIF转正、透明图铺白底、长边最多1600像素并编码为质量80的JPEG,再将文字指令和base64 image_url放入同一HumanMessage。程序解析items和rawText,检查金额、整理时间并自动分类,返回现场核对结果;本人同图成功输出按SHA-256复用。当前没有独立OCR引擎、双路投票或票据框坐标输出。
为什么这样取舍
直接VLM能结合票据画面提取多字段,减少额外OCR管线;压缩可能损失小字细节,所以最终入账保留人工核对。8MB单图、每批最多5图是入口限制,不是模型精度指标。
面试官还会追问
- 透明PNG为什么不能直接转JPEG?
- 同图同金额同时间有多条商品时,去重键怎样区分?
学完《AI Agent智能记账与财务管家》,上面这些追问你都会迎刃而解。