DriftLedger/plugins/ppocr/README.md
fengmengqi 76a5853ab6 feat: 重构渠道模型与管道架构,全面升级 UI 主题和报表功能
核心重构 — 去除 channel 字段,引入 sourceAccount 模型:
- 从 ImportedEvent、Rule、EnhancedRule、OcrRule 等接口中彻底移除 channel 字段
- rules.ts 中 resolveChannelAccount → resolveSourceAccount,规则匹配与账户解析不再依赖渠道概念
- dedup.ts 重写去重逻辑:从基于渠道匹配改为基于交易对手(counterparty)匹配,支持相同金额/交易对手/时间窗口的多级置信度判断
- transferRecognizer.ts 增加资产负债表账户校验,确保转账双方均为 Assets/Liabilities 类账户
- 全局替换影响:types、rules、ocr、adapters、adapters-migrations、所有服务层和测试
新增基础设施:
- domain/constants.ts — 统一常量定义(支付包名、截图关键词、去重参数、方向检测函数 detectDirection()),消除 OCR/SMS/截图等模块的重复定义
- domain/channelConfig.ts — 渠道配置系统(支付宝/微信/银行),支持按包名和名称查找
- domain/pipelineSingleton.ts — 共享 BillPipeline 单例,解决 importStore/automationStore 的互斥锁共享问题
- domain/transactionBuilder.ts — 统一交易构建入口 buildAndSaveTransaction(),同时服务手动录入和无障碍监听
OCR 增强:
- 新增账单详情页解析(parseDetailPageBill),支持支付宝/微信详情页结构化提取
- checkIsDetailPage() 识别详情页特征词,防止误提取(如"消费1次"被误读为金额)
- 金额正则支持千分位逗号分隔,商户名正则改用 lookahead 边界匹配
- 时间解析支持中文格式(年月日)和跨年推断
- OcrProcessor 新增详情页路由,跳过 Layer 1 规则匹配
UI 全面升级:
- 主题重设计:accent 色从绿色改为靛蓝(#4F46E5),深色模式适配 OLED 纯黑,引入 Quicksand/Caveat 字体
- 新增 commonStyles.ts 统一 chip/input/modal 等通用样式
- 首页 Bento 网格布局:净资产英雄卡片 + 定期账单/月度统计并排展示
- 报表新增周报标签页,月报整合日历视图(支持点击查看当日交易明细)
- TrendLine 图表从 View 条形图重写为 SVG 贝塞尔曲线
- CategoryPicker 从水平滚动改为 4 列网格 + emoji 图标
- Button/Card 增加 press 缩放动画
管道与自动化改进:
- automationPipeline.ts 新增 handleIncomingBillEvent() 实时账单处理(悬浮账单卡片 + 前台 Alert 确认)
- 新增无障碍文本直解析 parseAndProcessAccessibilityTexts(),微信/支付宝详情页绕过 OCR
- rules.ts 新增智能还款检测(花呗/信用卡还款自动路由)和退款视为收入处理
- metadataStore 默认规则精简为 6 条通用规则,移除约 20 条个人化硬编码规则
存储与同步:
- storePersistence.ts 原子写入 + 崩溃恢复 + 重试机制
- 备份升级到 v2 格式,包含 settings 和 metadata
- 同步路径统一从 mobile.bean 改为 main.bean
- _layout.tsx 启动时自动迁移旧 mobile.bean 到 main.bean
其他:
- 删除独立日历页面,功能合并到报表月报标签
- i18n 清理:移除渠道相关翻译,新增 50+ 翻译键
- docs/android-build-guide.md 重写为 APK 体积优化指南
- 新增 design-system/beancount-mobile/MASTER.md 设计系统文档
- 测试全面更新覆盖以上所有变更
2026-07-18 18:02:45 +08:00

4.0 KiB
Raw Blame History

PP-OCRv5 (ONNX Runtime) Config Plugin

本插件在 expo prebuild 时注入 PP-OCRv5 本地 OCR 原生模块plan.md 决策 4

引擎选用 ONNX Runtime跨平台、微软官方、Windows 友好),替代原 NCNN 方案。

文件结构

plugins/ppocr/
├── app.plugin.js              # Config Plugin 入口prebuild 时执行)
├── android/                   # Kotlin 原生实现prebuild 时复制进原生工程)
│   ├── OcrModule.kt           # React Native BridgeONNX Runtime 推理 + det/rec 前后处理
│   └── OcrPackage.kt          # RN Package 注册(注入到 MainApplication.getPackages
└── assets/                    # ONNX 模型 + 字典(需自行下载放置)
    ├── ppocrv5_det.onnx       # 文本检测模型
    ├── ppocrv5_rec.onnx       # 文本识别模型(多语言,输出 18385 维)
    └── ppocrv5_dict.txt       # PP-OCRv5 多语言字典18383 字符CTC 解码用)

模型获取(一键下载)

社区已转好的 ONNX 版本(来自官方 Paddle 权重,无质量损失):

# 在项目根目录执行
mkdir -p plugins/ppocr/assets
cd plugins/ppocr/assets

# det 模型4.8 MB
curl -L -o ppocrv5_det.onnx https://huggingface.co/ilaylow/PP_OCRv5_mobile_onnx/resolve/main/ppocrv5_det.onnx

# rec 模型16.6 MB
curl -L -o ppocrv5_rec.onnx https://huggingface.co/ilaylow/PP_OCRv5_mobile_onnx/resolve/main/ppocrv5_rec.onnx

# PP-OCRv5 多语言字典74 KB必须与上面的 rec 模型配套)
curl -L -o ppocrv5_dict.txt https://raw.githubusercontent.com/PaddlePaddle/PaddleOCR/main/ppocr/utils/dict/ppocrv5_dict.txt

或用 HuggingFace CLI首次下载原生模型再转 ONNX 的方式,参见历史 git log

⚠️ 字典必须与 rec 模型配套ppocrv5_rec.onnx 输出 18385 维(= 18383 字符 + blank + 特殊位), 必须使用 ppocrv5_dict.txt18383 行)。若错用旧版 ppocr_keys_v1.txt(仅 6623 行), CTC 解码会把真实字符的高索引全部丢弃,只输出形如 '消'青'露'仰' 的单引号穿插单字符乱码。

来源说明:ilaylow/PP_OCRv5_mobile_onnx 是社区维护的 PP-OCRv5 mobile ONNX 镜像,基于官方 PaddlePaddle/PP-OCRv5_mobile_det_rec 转换而来。

性能配置(参考 AutoAccounting OcrProcessor.kt

优化项 配置
引擎 ONNX Runtime Android 1.20.1
执行器 CPU兼容性最稳部分设备 GPU 会崩溃)
线程 intraOp=2 / interOp=2
det 图像 最大边 960px短边压缩 720px
rec 图像 固定高度 48px
ABI arm64-v8a主流设备

使用

app.json 注册插件:

{
  "plugins": ["./plugins/ppocr"]
}

JS 层通过 src/services/ocrBridge.tsNativeOcrBridge 调用,桥接到 NativeModules.PpOcr

  • recognizeText(base64) → 返回纯文本(多行用 \n 连接)
  • recognizeTextBlocks(base64) → 返回带坐标的文本块数组 [{text, x, y, width, height, confidence}]
  • isReady() → 模型是否加载完成

当前状态

  • app.plugin.js Config Plugin 逻辑prebuild 注入 Kotlin + 模型 + gradle 依赖 + MainApplication 注册)
  • android/OcrModule.kt ONNX Runtime 推理det DB 后处理 + rec CTC 解码)
  • android/OcrPackage.kt RN Package 注册
  • assets/:需自行下载放置(见上「模型获取」),版权/体积原因不入仓库

真机构建步骤:放置模型文件 → npx expo prebuild --platform androidConfig Plugin 会把 Kotlin 源码与 assets/ 下的模型/字典复制进 android/)→ npx expo run:android

若之前已 prebuild 过且更换过字典/模型文件,务必重新执行 npx expo prebuild --clean,否则 android/app/src/main/assets/ 下可能残留旧字典(如 ppocr_keys_v1.txt),导致新代码找不到配套字典。