AstroResearch

fmq/AstroResearch

Fork 0

Commit Graph

Author	SHA1	Message	Date
Asfmq	3f1935678b	feat: LLM/Embedding 客户端模块化、侧边栏折叠交互、arXiv→ADS 下载回退与前端体验重构后端架构 - 抽取翻译服务中内嵌的 LLM HTTP 调用为独立的 LlmClient / EmbeddingClient（src/clients/llm.rs），翻译模块改为委托调用，消除对 reqwest/serde 的直接耦合 - Config 新增 EMBEDDING_API_KEY/EMBEDDING_API_BASE/EMBEDDING_MODEL 三项配置，默认 fallback 至 LLM 对应值，补齐向量嵌入基础设施下载策略优化 - arXiv 直连下载失败后自动回退至 ADS 网关 PUB_PDF→EPRINT_PDF→CrossRef 多级通道，替换此前单路径策略；批量同步同步应用此逻辑 - PDF/HTML 任一方成功时，失败方的 path 字段不再存储 "error:" 报错字符串，改为置 NULL，防止日志污染数据前端交互增强 - 侧边栏支持折叠/展开：收起为仅图标模式(w-16)，展开恢复完整模式(w-64)；收起后点击 Logo 展开，含流畅 cubic-bezier 过渡动画 - 阅读面板新增 PDF 内嵌预览：已下载 PDF 时可通过 iframe 切换查看 /api/files 下的本地文献 - reader/citation 面板未选文献时展示带图标的空状态引导页，替代空白页 - 文献详情面板改为固定高度弹性布局(h-[460px])，各区块按比例分配避免内容挤压；期刊名过长截断+悬停tooltip；关键词无数据显式占位 - 全局移除 emoji Unicode，统一替换为 lucide-react 图标组件，消除跨平台字体渲染差异反爬检测精细化 - 按响应长度分层：>150KB 跳过检测（完整文献），<5KB 才扫描通用 HTTP 错误关键字，杜绝长文献误触 Cloudflare/503 模式匹配 - 新增 Radware Bot Manager、ShieldSquare WAF 特征识别健壮性 - Obscura 下载校验失败后自动清理硬盘残留坏文件 - 健康检查工具：文献已有有效 HTML 但 PDF 字段为旧报错时自动判定可修复 - 上传接口 body limit 提升至 100MB，新增 /api/files 静态文件服务路由 - StandardPaper 新增 has_pdf/has_html 字段区分格式级下载状态	2026-06-13 11:11:33 +08:00
Asfmq	8cc2b74abc	feat: 手动上传绕防爬、下载错误诊断与健康检查工具；模块化重构 API 与批量同步后端： - 将 handlers.rs (1338行) 拆分为 helpers/papers/notes/sync 四模块 - 将 batch_sync.rs 拆分为 batch/{mod,meta,asset} 三模块 - 新增 POST /api/upload 多部件文件上传接口 - 新增 POST /api/no_resource 标记文献"无全文资源" - 新增 GET/POST /api/active_bibcode 追踪活跃文献 - StandardPaper 结构体扩展 pdf_error / html_error 错误诊断字段 - download.rs 记录下载失败详情至数据库 - 新增 health_check 二进制工具，支持只读扫描与 --fix 自动修复 - 移除 scratch/ 目录、recovered_handlers.rs 及调试日志前端： - 新建 CustomSelect 可复用组件，替换全部原生 select - LibraryPanel：同步按钮反馈动画、下载失败/无资源状态筛选与计数、文献类型筛选、状态优先排序、搜索一键清空 - 详情弹窗：错误诊断展示、手动 PDF/HTML 上传区、无资源标记/恢复 - SearchPanel：扩展文献类型徽章、下载失败状态提示 - SyncPanel：同步启动乐观 UI 更新、日志容器内自动滚动 - Tab 状态 localStorage 持久化、弹窗 z-index 修复	2026-06-11 22:56:36 +08:00

Author

SHA1

Message

Date

Asfmq

3f1935678b

feat: LLM/Embedding 客户端模块化、侧边栏折叠交互、arXiv→ADS 下载回退与前端体验重构

**后端架构**
  - 抽取翻译服务中内嵌的 LLM HTTP 调用为独立的 LlmClient /
    EmbeddingClient（src/clients/llm.rs），翻译模块改为委托调用，消除
    对 reqwest/serde 的直接耦合
  - Config 新增 EMBEDDING_API_KEY/EMBEDDING_API_BASE/EMBEDDING_MODEL
    三项配置，默认 fallback 至 LLM 对应值，补齐向量嵌入基础设施

  **下载策略优化**
  - arXiv 直连下载失败后自动回退至 ADS 网关 PUB_PDF→EPRINT_PDF→CrossRef
    多级通道，替换此前单路径策略；批量同步同步应用此逻辑
  - PDF/HTML 任一方成功时，失败方的 path 字段不再存储 "error:" 报错字符串，
    改为置 NULL，防止日志污染数据

  **前端交互增强**
  - 侧边栏支持折叠/展开：收起为仅图标模式(w-16)，展开恢复完整模式(w-64)；
    收起后点击 Logo 展开，含流畅 cubic-bezier 过渡动画
  - 阅读面板新增 PDF 内嵌预览：已下载 PDF 时可通过 iframe 切换查看
    /api/files 下的本地文献
  - reader/citation 面板未选文献时展示带图标的空状态引导页，替代空白页
  - 文献详情面板改为固定高度弹性布局(h-[460px])，各区块按比例分配避免
    内容挤压；期刊名过长截断+悬停tooltip；关键词无数据显式占位
  - 全局移除 emoji Unicode，统一替换为 lucide-react 图标组件，
    消除跨平台字体渲染差异

  **反爬检测精细化**
  - 按响应长度分层：>150KB 跳过检测（完整文献），<5KB 才扫描通用 HTTP
    错误关键字，杜绝长文献误触 Cloudflare/503 模式匹配
  - 新增 Radware Bot Manager、ShieldSquare WAF 特征识别

  **健壮性**
  - Obscura 下载校验失败后自动清理硬盘残留坏文件
  - 健康检查工具：文献已有有效 HTML 但 PDF 字段为旧报错时自动判定可修复
  - 上传接口 body limit 提升至 100MB，新增 /api/files 静态文件服务路由
  - StandardPaper 新增 has_pdf/has_html 字段区分格式级下载状态

2026-06-13 11:11:33 +08:00

Asfmq

8cc2b74abc

feat: 手动上传绕防爬、下载错误诊断与健康检查工具；模块化重构 API 与批量同步

后端：
  - 将 handlers.rs (1338行) 拆分为 helpers/papers/notes/sync 四模块
  - 将 batch_sync.rs 拆分为 batch/{mod,meta,asset} 三模块
  - 新增 POST /api/upload 多部件文件上传接口
  - 新增 POST /api/no_resource 标记文献"无全文资源"
  - 新增 GET/POST /api/active_bibcode 追踪活跃文献
  - StandardPaper 结构体扩展 pdf_error / html_error 错误诊断字段
  - download.rs 记录下载失败详情至数据库
  - 新增 health_check 二进制工具，支持只读扫描与 --fix 自动修复
  - 移除 scratch/ 目录、recovered_handlers.rs 及调试日志

  前端：
  - 新建 CustomSelect 可复用组件，替换全部原生 select
  - LibraryPanel：同步按钮反馈动画、下载失败/无资源状态筛选与计数、
    文献类型筛选、状态优先排序、搜索一键清空
  - 详情弹窗：错误诊断展示、手动 PDF/HTML 上传区、无资源标记/恢复
  - SearchPanel：扩展文献类型徽章、下载失败状态提示
  - SyncPanel：同步启动乐观 UI 更新、日志容器内自动滚动
  - Tab 状态 localStorage 持久化、弹窗 z-index 修复

2026-06-11 22:56:36 +08:00

2 Commits