fmq/AstroResearch
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
25 Commits 1 Branch 0 Tags 113 MiB
5ad0cf1d28
Commit Graph

6 Commits

Author SHA1 Message Date
Asfmq
5ad0cf1d28 - Config 按职责拆分为 LlmConfig/EmbeddingConfig/VisionConfig/CdsConfig/StorageConfig 五个子结构 
- AppState 拆分为 LlmState/DataSourceState/SessionState 三个子结构，消除 50+ 平铺字段
- 新增 ServiceError 结构化错误类型替代 handler 中的 msg.contains() 字符串匹配
- 移除 api::handlers 兼容命名空间，路由直接引用 agent/auth/papers 等模块

- login_rate_limiter/upload_rate_limiter 从 Mutex\<HashMap\> 迁移为 DashMap（无锁）
- 新增 session_last_active: DashMap\<String, AtomicU64\>，auth 中间件快速路径免写锁
- 会话过期清理改为按间隔触发（300s），避免每次请求全表扫描
- MAX_SESSIONS 1000→10000，SSE 广播通道 256→1024

- AgentTool trait 新增 is_internal()/display_name()，SSE 事件携带工具元数据
- 新增 GET /chat/tools 端点暴露注册工具列表
- pending_questions/pending_permissions 增加 created_at 时间戳，自动清理过期条目（10min TTL）
- Agent 超时现在正确 abort 后台任务并设置取消令牌

- FITS 解析: APOGEE/DESI 改用 read_image+切片替代 read_rows（修复 fitsio panic）
- ZTF: CIRCLE 参数分隔符 +→空格（修复 IRSA 400），半径自动裁剪至硬上限
- MAST TESS: parse_tic_json 兼容数组/对象两种 API 响应格式
- 统一检索: per_target_limit 默认 50→1，sources 支持 per-source release/version
- Gaia 测光从 VizieR 镜像切换至官方 TAP 服务

- 向量化降级从串行改为并发 5 条/批（buffer_unordered）
- 混合检索 RRF 合并从借用改为 owned RetrievalResult

- PDF 中间件: URL 解码 %2F/%2E 后判扩展名；文件名过滤非 ASCII + 禁 \ 防头注入
- chat_agent 日志截断问题内容至 50 字符；list_sessions 强制 limit clamp

- 设计令牌三层架构: primitive→semantic→component，浅色暖纸张学术/暗色 Night Indigo
- useTheme hook + ThemeToggle 侧边栏组件 + main.tsx 防 FOUC 初始化
- 全组件从硬编码 slate 色迁移至语义令牌（bg-surface/text-content/border-subtle 等）
- 新增 ToastContainer 非阻塞通知系统

- deploy.sh 引入 SSH ControlMaster 单次密码复用
 2026-07-11 14:12:11 +08:00
Asfmq
85b6429c30 feat: Agent 多模式系统、视觉模型集成、LLM 能力分层与 P3 性能收尾 
核心架构变更：

  1. Agent 多模式系统替代 Coordinator
     - 移除 src/agent/coordinator/（Coordinator Agent/Worker/Tools，946 行）
     - 新建 src/agent/modes/：声明式模式抽象（AgentMode/ModeConfig/ToolSet）
     - 三种内置模式：
       - default：通用科研助手，零覆盖保持现有行为
       - deep-research：16 步、启用思考、research 权限、系统性调研
       - literature-reader：白名单工具、只读沙箱、结构化阅读
     - ModeRegistry + ModeConfig 预设 + ToolSet 过滤 + 身份/原则覆盖
     - AgentRuntime::with_mode() 统一入口，模式持久化到 session.mode 字段
     - GET /api/chat/modes 提供模式列表给前端选择器

  2. 视觉模型与图片分析
     - 新增 analyze_image 工具（340 行）：本地/URL 图片 → 视觉模型流式分析
     - LlmClient::analyze_image_stream()：SSE 增量实时推送
     - 配置：LLM_VISION_MODEL / LLM_VISION_API_KEY / LLM_VISION_API_BASE
     - 前端：粘贴/选择图片附件，重试时复用文件路径
     - Service 层移除 /chat/rag 和 /chat/figure 端点，统一走 Agent SSE
     - Body limit 提升至 100MB 适配大图上传

  3. LLM 三级能力分层
     - Tier 1 (Core) → Tier 2 (Medium) → Tier 3 (Fast)，级联回退
     - medium_llm / fast_llm / vision_llm 注入 AppState
     - 资产批量翻译 → Medium LLM + Semaphore(3) 并发控制
     - 记忆提取/上下文压缩子代理 → Fast LLM
     - SubAgentRunner::with_llm_client() 支持注入专用 LLM

  4. 数据库与性能优化
     - SQLite 启用 WAL + busy_timeout(10s) 处理并发写入
     - RAG ingest：DELETE 合并为原子语句 + 批量事务写入
     - Meta sync：save_paper_to_db_tx() 事务化批量插入
     - 翻译词典：first_words HashSet 预过滤 + next_valid_index 跳跃优化
     - read_file 不截断输出 + skip_persist 防止级联磁盘持久化

  5. 工具系统增强
     - ToolContext 增加 tool_call_id + max_output_chars
     - ToolOutput 增加 skip_persist 标记
     - TextDelta SSE 携带可选 tool_call_id 支持工具的流式输出
     - ChatMessage::text() 辅助方法
 2026-06-24 19:52:27 +08:00
Asfmq
49784739fa feat: Agent 全栈升级——模块化重构、Hooks/Skills/Memory/SubAgent/Team 子系统、审计与任务持久化 
架构重构：
  - Agent Runtime 由单文件拆为 runtime/ 目录 12 模块（熔断/流式执行/Token预算/文件缓存/权限等）
  - Agent Tools 由单文件拆为 tools/ 目录 20+ 模块（filesystem/astro/memory/skill/subagent/team 等）
  - 解析器体系重构（common.rs 836行变更），各解析器同步升级
  - Download 服务重构（562行），反爬策略强化
  - LLM 客户端重构（266行），流式调用优化

  新子系统：
  - Hooks 生命周期系统（9种事件类型，PreToolUse/PostToolUse 支持输入输出拦截）
  - Skills 双层加载系统（system-reminder 轻量注入 + LoadSkillTool 按需加载，notify 文件监听热更新）
  - Memory 项目记忆管理（类型/提取/去重/衰减/保活/选择策略/护栏 7 模块）
  - SubAgent 上下文隔离子代理运行器（独立 ReAct 循环 + Hook 管道）
  - Team 多智能体团队协作（文件 inbox 通信、lead/teammate 协调）
  - TaskBoard DAG 任务依赖管理
  - Trajectory 会话轨迹、Terminal 终止信号、Autonomous 自主模式、Background 异步通知

  数据库：
  - agent_tasks 表（DAG 依赖模式，blocked_by JSON 数组）
  - agent_audit_log 表（工具调用审计：名称/状态/耗时/输出预览）
  - agent_identity 迁移（消息/审计/任务的 agent_name 归属，agent_team_members 团队注册表）

  API：
  - GET /chat/metrics 聚合指标端点
  - GET /chat/sessions/:id/audit 会话审计查询
  - GET /chat/questions + POST /chat/answer 人机交互问答

  工程：
  - 新增依赖：serde_yaml、notify、glob、walkdir、lru
  - Skills 目录含 methodology/plotting/presentation 三个初始 SKILL.md
  - CLAUDE.md 完整项目架构文档
 2026-06-17 00:14:02 +08:00
Asfmq
22e7e1dcee feat: RAG 文献问答、天体目标识别、解析器模块化与批量管线扩展 
核心新增：
  - RAG 问答系统：Markdown 安全切片器 (LaTeX 保护) + 向量化 + sqlite-vec 检索 + LLM 生成
  - 天体目标识别：IAU 标准正则提取 15+ 星表标识符，CDS SIMBAD/Sesame 查询与本地缓存
  - 多模态 LLM：chat_completion_with_image 支持图表视觉分析
  - CLI Skills Agent (cli.rs)：对外暴露 rag/target/ingest 等 5 个子命令
  - 解析器模块化重构：单体 778 行 → 按期刊拆分 (A&A/ar5iv/IOP/Generic/PDF) +
    common.rs 静态正则工具库

  管线与 Schema：
  - AssetSync→AssetBatch 重命名，批量管线新增 embed/target 两个处理阶段
  - 新增 paper_chunks_content (RAG 切片) 和 paper_targets (天体缓存) 两张表
  - StandardPaper 新增 has_vector 字段，所有查询同步更新

  前端：
  - 新增 AI 助手侧边栏 (RAG 问答 + 来源跳转高亮)
  - 最近浏览文献列表 (localStorage 持久化)、跨面板无缝导航
  - SyncPanel 批量阶段扩展为下拉选项，支持向量化/天体识别

  测试与清理：
  - 集成测试合并至 ads.rs 和 llm.rs，新增 chunker + target 单元测试 15 个
  - 删除旧单体 parser.rs、独立测试文件及过期 scratch 脚本
 2026-06-15 13:25:18 +08:00
Asfmq
cd6af4f995 feat: 重构 PDF/文献检索同步机制、升级引力图交互与控制台 UI 样式 
- [后端/PDF解析] 重构 MinerU PDF 解析流程：引入预签名两阶段直传机制，解决大文件 API 传输限制问题；支持轮询机制与本地 images 备用目录存储。
- [后端/同步与下载] 新增经典 ADS SCAN 扫描件 PDF 和 ADS_PDF 直接通道的下载逻辑；新增常用同步检索配置的持久化存储与去重管理 API。
- [后端/日志] 重构日志系统，支持控制台 pretty 输出与每日滚动文件日志（使用上海 +08:00 时区），引入 HTTP 路由请求链路追踪。
- [前端/引力图] 升级引用星系图 canvas 交互：支持平移拖拽与滚轮缩放，添加引力圈轨道装饰及未导入文献的半透明视觉区分。
- [前端/控制台] 统一重构为扁平高对比度浅色纯中文控制台样式；重新设计文献详情弹窗与状态进度条。
- [数据库] 新增 papers 表的 doctype 字段及 sync_queries 检索配置表。
 2026-06-10 17:29:07 +08:00
Asfmq
307a1c0cee feat: 初始化 AstroResearch 核心系统代码及重构技术文档 2026-06-08 17:23:27 +08:00