fmq/AstroResearch
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
25 Commits 1 Branch 0 Tags 113 MiB
eaf85707b5
Commit Graph

9 Commits

Author SHA1 Message Date
Asfmq
eaf85707b5 refactor: 全栈架构重构与质量硬化 
核心架构重构:
- Config 按职责拆分为 LlmConfig/EmbeddingConfig/VisionConfig/CdsConfig/StorageConfig 五个子结构
- AppState 拆分为 LlmState/DataSourceState/SessionState 三个子结构，消除 50+ 平铺字段
- 新增 ServiceError 结构化错误类型替代 handler 中的 msg.contains() 字符串匹配
- 移除 api::handlers 兼容命名空间，路由直接引用 agent/auth/papers 等模块

认证性能优化:
- login_rate_limiter/upload_rate_limiter 从 Mutex<HashMap> 迁移为 DashMap（无锁）
- 新增 session_last_active: DashMap<String, AtomicU64>，auth 中间件快速路径免写锁
- 会话过期清理改为按间隔触发（300s），避免每次请求全表扫描
- MAX_SESSIONS 1000→10000，SSE 广播通道 256→1024

Agent 工具增强:
- AgentTool trait 新增 is_internal()/display_name()，SSE 事件携带工具元数据
- 新增 GET /chat/tools 端点暴露注册工具列表
- pending_questions/pending_permissions 增加 created_at 时间戳，自动清理过期条目（10min TTL）
- Agent 超时现在正确 abort 后台任务并设置取消令牌

观测数据源修复:
- FITS 解析: APOGEE/DESI 改用 read_image+切片替代 read_rows（修复 fitsio panic）
- ZTF: CIRCLE 参数分隔符 +→空格（修复 IRSA 400），半径自动裁剪至硬上限
- MAST TESS: parse_tic_json 兼容数组/对象两种 API 响应格式
- 统一检索: per_target_limit 默认 50→1，sources 支持 per-source release/version
- Gaia 测光从 VizieR 镜像切换至官方 TAP 服务

RAG 并发优化:
- 向量化降级从串行改为并发 5 条/批（buffer_unordered）
- 混合检索 RRF 合并从借用改为 owned RetrievalResult

安全加固:
- PDF 中间件: URL 解码 %2F/%2E 后判扩展名；文件名过滤非 ASCII + 禁 \ 防头注入
- chat_agent 日志截断问题内容至 50 字符；list_sessions 强制 limit clamp

前端双主题:
- 设计令牌三层架构: primitive→semantic→component，浅色暖纸张学术/暗色 Night Indigo
- useTheme hook + ThemeToggle 侧边栏组件 + main.tsx 防 FOUC 初始化
- 全组件从硬编码 slate 色迁移至语义令牌（bg-surface/text-content/border-subtle 等）
- 新增 ToastContainer 非阻塞通知系统

部署优化:
- deploy.sh 引入 SSH ControlMaster 单次密码复用
 2026-07-11 14:57:40 +08:00
Asfmq
8f1ed6d08c feat: 观测层跨源扩展——ZTF/TESS 时域 + Gaia XP 光谱还原 + FITS 预览与统一全源检索 
后端（新增 ~4400 行）：
- 新增 IRSA/IPAC、MAST 两客户端：ZTF 光变曲线（IRSA REST，CSV，免认证）、
  TESS 光变（MAST TIC cone search + LC FITS），均复用 SSRF 安全重定向 + 重试
- Gaia DR3 XP_CONTINUOUS 光谱还原（gaia_xp/）：逆向 GaiaXPy calibrate() 算法，
  55 个 Hermite 系数 → 采样光谱；design_matrix 启动时 OnceLock 预计算一次。
  因 fitsio crate 遇 PD(55) 变长数组列会 panic，改用 fitsio-sys 直连 CFITSIO
  原生读取；新增 fitsio/fitsio-sys（vendored，无需系统 cfitsio）
- FITS 预览解析层（preview.rs）：跨 LAMOST/SDSS/DESI/Gaia XP 的异构 FITS
  （BinTable/Image/Hermite 系数）统一归一化为 ObservationPreview JSON
  （Spectrum/LightCurve/Photometry/Image 标签枚举，OCP 可扩展）
- 测光 fetcher（photometry.rs）：2MASS/AllWISE/Pan-STARRS/Gaia 四源，
  均复用 VizieR/Gaia TAP 查询、零新 HTTP 代码，配置驱动表名/列名差异
- 统一全源检索（unified.rs）：在 dispatch 之上叠加多目标 × 多源并发 cone 扇出，
  失败隔离，两阶段（检索聚合 → 勾选后复用现有 download 端点批量下载）
- registry 注册 6 个新 fetcher + list_all_keys() 暴露全 (Source,ProductSpec)
  组合供前端细粒度勾选；Source 枚举增 5 个变体
- 新增 3 条路由：GET /observation/preview、POST /observation/unified/{search,resolve}

前端（新增 ~1600 行）：
- UnifiedSearchPanel：三模式目标输入（坐标/天体名/CSV）+ 源 chip 筛选，
  按 (source,product) 分组展示候选源并支持勾选批量下载
- SpectrumPlot：手写内联 SVG 光谱折线图（零第三方绘图库），多段叠加 + hover 取值
- ObservationPreviewRenderer + useObservationPreview：预览渲染接入
- useObservation/ObservationResultCard/App 联动统一检索状态与下载链路
 2026-07-09 00:20:29 +08:00
Asfmq
2c8d0b8f8b feat: LAMOST DR12-14 与子版本体系接入、观测层安全加固与并发异步化 
- LAMOST 新增 DR12/13/14 及子版本（v0/v1.0/v1.1/v2.0）维度，Internal 发布标记需登录认证并前端灰显，release×subtype 交叉约束下沉至 capabilities 统一声明
- ObservationFetcher trait 扩展版本/认证/交叉约束能力声明，version 参数贯穿 client→service→API→Agent tool→前端全链路
- 安全：observation cache SQL 全参数绑定 + LIKE 转义、cone_cache_hash 加长度前缀防碰撞、DESI survey/program 白名单防穿越
- 异步化：persist/cached_files_total_size/maybe_persist_tool_result迁移到 tokio::fs；cancelled_runs 与 session_permission_checkers改用 DashMap；auth 读锁优先 + 60s 节流
- Gaia 去 native-tls 改禁用连接池规避 UnexpectedEof，reqwest 移除 native-tls feature
- 重构：Source/ProductType from_str 集中解析、download 模块拆分为 try_download_pdf/html、AgentRuntime::init 抽取共享逻辑
- 部署：新增 deploy.sh 一键打包推送脚本、catch-panic 启用
 2026-07-07 21:16:46 +08:00
Asfmq
2f1fd19d74 refactor: 观测层双轴正交重构——spectra→observation、工具/API 收敛、安全韧性加固 
将"以光谱为中心"的观测数据架构升级为 (Source × ProductType) 双轴正交模型，
光谱降级为与光变/测光/图像平级的产品类型之一；同步把分散的工具、API、缓存表
收敛为统一入口。新增 Gaia 光变曲线（EPOCH_PHOTOMETRY）支持。

【架构】services/spectra 整体替换为 services/observation（双轴正交）
- Source（LAMOST/Gaia/SDSS/DESI）× ProductType（Spectrum/LightCurve/Photometry/Image）
  正交组合，新增源/产品类型为纯加法（OCP）
- ObservationFetcher trait + ObservationRegistry：每个有效组合实现一个 fetcher，
  启动时注册；SDSS specobj/APOGEE 共用 key 按 subtype 二级路由
- cone 缓存逻辑模板方法化（trait 默认方法），消除各源 4 份重复代码
- 多文件 Artifact 模型：一个逻辑产物可含多文件（如 Gaia 光变 G/BP/RP 三波段各一 FITS）
- 统一编排 dispatch.rs：search（仅检索）/ download（检索+下载），支持坐标模式
  （cone→选源→下载）与标识符模式（直按 ID 下载）双输入

【Agent 工具整合】26 → 24
- 新增 find_observation：跨源×跨产品×双模式统一观测下载，取代 find_spectrum
- catalog_operation 升级为 6 合 1（search/describe/query/cone/export/lookup），
  取代独立的 query_vizier + cone_search
- citation_network + library_search 合并为 library.rs

【API 路由】
- 新增 /observation/{search,download,capabilities,list} 命名空间
- 移除 /catalog/{crossmatch,spectrum/download,spectrum/list}
- GET /observation/capabilities 暴露 registry 能力清单，前端动态渲染源/产品/版本
  下拉（不再硬编码各源支持矩阵）

【数据库迁移】
- 新表 observation_cache：新增 product 列 + artifacts_json（多文件产物），无 TTL
  （观测数据不可变，区别于 vizier_query_cache 的 7 天 TTL）
- 20260705140001：spectrum_cache 旧数据迁入 observation_cache，单文件→单元素 artifacts

【前端】
- 新 ObservationPanel（988 行）：双视图（检索下载 / 缓存库），选项由 capabilities 动态生成
- 新 useObservation hook、ObservationResultCard、observation/constants、utils/apiError

【安全与韧性加固】
- sessions 锁 Mutex → RwLock（读多写少，降低争用）
- 新增 upload_rate_limiter；login_rate_limiter 容量保护（10000 上限，超限清最旧一半）
- bookmarklet API 密钥 SHA-1 → SHA-256；ADMIN_PASSWORD 长度上限 128
- *_TIMEOUT_SECS / EMBEDDING_DIM 非法值告警并回退默认；DB_POOL_SIZE 可配置（原硬编码 5）
- sqlite-vec 注册逻辑下沉至 utils::register_sqlite_vec_extension
 2026-07-07 01:34:02 +08:00
Asfmq
a156252bc3 feat: 接入 VizieR 星表检索与 LAMOST/Gaia/SDSS/DESI 跨源光谱下载 
新增天文观测数据获取能力，覆盖星表查询与一维光谱下载两大场景：

星表检索（CDS VizieR）
- VizieR TAP 客户端（JSON 优先 + VOTable 降级），共享 IVOA VOTable 解析层
- 业务层支持自由 ADQL、锥形检索、交叉证认、星表发现与 CSV 导出
- ADQL 注入防护（标识符清洗 + 字符串字面量转义），TTL 缓存（7 天）

跨望远镜光谱下载（统一入口）
- 接入 LAMOST（ConeSearch + FITS.gz）、Gaia（TAP + DataLink ZIP）、
  SDSS（Data Lab TAP + SAS）、DESI（HEALPix coadd）四源
- 双模式：坐标模式（cone 检索 → 选源 → 下载）/ 标识符模式（直按 ID 下载）
- 光谱文件永久缓存（不可变），按 source+source_id 去重

Agent 与 API
- +4 工具：query_vizier / cone_search / find_spectrum / catalog_operation（22 → 26）
- +6 路由：/catalog/vizier、/cone、/crossmatch、/spectrum/{download,list}
- 前端新增 VizierResultCard / FindSpectrumCard 可视化卡片

工程重构
- services/target.rs (832 行) 拆分为 services/cds/{target,vizier}.rs + clients/cds/sesame.rs，
  贯彻 client（通信）/ service（缓存+编排）分层
- ADS 返回字段新增 data（关联数据表 URL），与星表功能联动
 2026-07-06 00:07:25 +08:00
Asfmq
f885c0a4a8 refactor: 服务层抽象下沉、异步锁全栈迁移、客户端韧性加固与移动端适配 
- 服务层拆分：删除 api/helpers.rs，新增 citation/note/session/pipeline/paper/vision 独立服务模块
  - Agent 工具精简：paper_content+paper_outline 合并为 paper.rs，图片分析逻辑下沉至 services/vision
  - 并发模型升级：std::sync::{Mutex,RwLock} → tokio::sync::{Mutex,RwLock}，消除 async
  上下文中的阻塞风险
  - 客户端加固：HTTP 客户端统一超时配置、ADS 429 / arXiv 503 自动重试、构造函数返回 Result
  - 启动安全：全局 panic hook 日志化、空密码拒绝启动、向量表维度不匹配需显式确认
  - CLI 扩展：构建完整 AppState 复用服务层，新增 Content/Outline/Citations/Search/Process 子命令
  - 前端：移动端汉堡菜单、侧栏滑出面板、引用星系触屏手势（单指拖拽/双指缩放）
 2026-06-30 19:26:01 +08:00
Asfmq
c5fd5b0d66 refactor: 全栈质量硬化 
后端:
  - 权限系统重写: 全局→按 Session 隔离, 新增规则查询 API
  - 安全加固: 登录 IP 限流, Token 仅存 Cookie, bibcode 白名单校验
  - SSE 超时保护, 异步 I/O 迁移, 10+ 处静默 DB 错误改为显式日志
  - ar5iv 下标解析修复, parse_paper_row 去重, 优雅关闭

  前端:
  - useSyncScroll 重写: 段落 ID 映射修复中英错位
  - 全局竞态修复 (active 标志), libraryRef 闭包过期修复
  - ErrorBoundary + vitest 测试基础设施
  - Logo 组件提取, CustomSelect 泛型化, TabId 类型统一
  - ReaderPanel 自动视图模式, AIAssistantPanel 状态批处理
 2026-06-28 14:40:26 +08:00
Asfmq
5db4cc5998 refactor: 全栈架构重构与质量硬化——API 错误统一、工具域重组、安全加固、前端组件化 
后端核心变更:
  - API 层: 新增 AppError 枚举统一错误类型，替代散落的 (StatusCode, String)
  - Agent 工具域: 重组为 astro/system/ 和 astro/research/ 两级域，新增 ProcessPaperTool 流水线工具
  - 安全: 新增 SSRF 双层防护 (同步字符串级 + 异步 DNS 解析级)，覆盖 IPv4/IPv6 私网段
  - 弱密码检测: 扩展弱密码列表并增加最小长度检查
  - LLM 客户端: 新增 ChatCompleter/Embedder trait，支持依赖注入与批量向量化 embed_batch
  - 批量处理: AssetBatch 从串行改为 Semaphore 并发池 (BATCH_CONCURRENCY=3)
  - 分块器: 重写为三阶段结构化管线 (章节解析→短节合并→带标题路径子块)
  - RAG: embedding 计算移出事务，RetrievalResult 新增 headings/section_index 字段
  - 检索: ADS/arXiv 并行检索 (tokio::join!)，去重改用 HashSet，本地库回填批量 IN 查询
  - 天体查询: Sesame API 升级到 v4，新增视差误差/自行/视向速度/多波段测光字段
  - 迁移: 14 个增量文件合并为单一 init.sql，支持 sqlx::migrate! 内存库集成测试
  - 测试: circuit_breaker/hooks/task_board/session/memory/streaming_executor 新增修正 15+ 测试

  前端架构重构:
  - 目录重组: features/ → pages/ + components/ + hooks/ 三层分离
  - App.tsx 从 1181 行压缩至 ~174 行 (逻辑抽入 9 个自定义 Hook)
  - Agent 面板拆分为 AgentSessionSidebar/AgentMessageList/AgentInputArea 子组件
  - 新增 GlobalDialog/PaperDetailModal/UncachedPaperModal 通用对话框组件
  - 工具函数抽取: celestial.ts (天体坐标格式), paper.tsx (文献信息渲染)
 2026-06-25 23:45:37 +08:00
Asfmq
49784739fa feat: Agent 全栈升级——模块化重构、Hooks/Skills/Memory/SubAgent/Team 子系统、审计与任务持久化 
架构重构：
  - Agent Runtime 由单文件拆为 runtime/ 目录 12 模块（熔断/流式执行/Token预算/文件缓存/权限等）
  - Agent Tools 由单文件拆为 tools/ 目录 20+ 模块（filesystem/astro/memory/skill/subagent/team 等）
  - 解析器体系重构（common.rs 836行变更），各解析器同步升级
  - Download 服务重构（562行），反爬策略强化
  - LLM 客户端重构（266行），流式调用优化

  新子系统：
  - Hooks 生命周期系统（9种事件类型，PreToolUse/PostToolUse 支持输入输出拦截）
  - Skills 双层加载系统（system-reminder 轻量注入 + LoadSkillTool 按需加载，notify 文件监听热更新）
  - Memory 项目记忆管理（类型/提取/去重/衰减/保活/选择策略/护栏 7 模块）
  - SubAgent 上下文隔离子代理运行器（独立 ReAct 循环 + Hook 管道）
  - Team 多智能体团队协作（文件 inbox 通信、lead/teammate 协调）
  - TaskBoard DAG 任务依赖管理
  - Trajectory 会话轨迹、Terminal 终止信号、Autonomous 自主模式、Background 异步通知

  数据库：
  - agent_tasks 表（DAG 依赖模式，blocked_by JSON 数组）
  - agent_audit_log 表（工具调用审计：名称/状态/耗时/输出预览）
  - agent_identity 迁移（消息/审计/任务的 agent_name 归属，agent_team_members 团队注册表）

  API：
  - GET /chat/metrics 聚合指标端点
  - GET /chat/sessions/:id/audit 会话审计查询
  - GET /chat/questions + POST /chat/answer 人机交互问答

  工程：
  - 新增依赖：serde_yaml、notify、glob、walkdir、lru
  - Skills 目录含 methodology/plotting/presentation 三个初始 SKILL.md
  - CLAUDE.md 完整项目架构文档
 2026-06-17 00:14:02 +08:00