 fmq
|
d6b064a490
|
feat: 科研分析层全栈落地——光谱/时域/运动学分析工具链 + JWST/X 射线数据源 + 定时文献同步
数据分析层（新增 services/{spectrum,timeseries,analysis}）:
- 光谱参数提取 parameters.rs：LAMOST/SDSS/APOGEE/DESI FITS header 跨源归一化读取
Teff/logg/[Fe/H]/RV 及 ASPCAP 20+ 元素丰度，rayon 并发批量提取
- 谱线测量 lines.rs：内置真空/空气波长谱线表，窗口内极值搜索 + 梯形法积分 EW + FWHM，支持自定义谱线
- 交叉相关测速 cross_correlate.rs：对数波长重采样对齐，内置 Pickles 模板按光谱型插值，
CCF 峰值位置提取 RV 及不确定度
- 周期搜索 periodicity.rs：Lomb-Scargle 周期图（含 FAP 误报概率）+ BLS 凌星检测 + 相位折叠
- 变星分类 classification.rs：振幅/偏度/峰度/过零率/eta 等统计特征 + 规则分类（RR Lyrae/Cepheid/食双星/AGN 等）
- SED 拟合 sed.rs：多波段测光黑体模型拟合，输出 T_eff/半径/消光 A_V/光度及不确定度
- 运动学 kinematics.rs：视差+自行+RV → 银河系 UVW 空间速度，含移动星群成员概率（Banyan Σ 简化版）
- 化学丰度 chemistry.rs：[α/Fe] vs [Fe/H] 计算，厚盘/薄盘/晕星族判别
- 观测规划 observability.rs：目标升落时间/airmass/月相影响/曝光时间估算
- 赫罗图 hr_diagram.rs：Gaia TAP CMD 查询，新增 GET /api/analysis/hr-diagram 端点
数据获取层:
- JWST：clients/mast/jwst.rs 封装 MAST Portal 锥形检索 + JwstSpectrumFetcher（NIRSpec/MIRI 光谱）
- X 射线：clients/heasarc 封装 HEASARC TAP（ADQL）+ XMM-Newton/Chandra 光谱 fetcher
- 图像 cutout：SDSS SkyServer/STScI DSS/Pan-STARRS 三源 cutout + 发现图（Finding Chart）生成
- Source 枚举新增 Jwst/Xmm/Chandra 并注册 ObservationRegistry，前端 SOURCE_THEME 与筛选器同步三源
Agent 工具集（24→35）:
- 新增 9 个分析工具：get_spectrum_parameters / measure_spectral_lines / measure_radial_velocity /
find_period / classify_variable_star / fit_sed / analyze_kinematics / analyze_abundance_pattern / plan_observation
- batch_process：批量样本"查询→下载→分析→报告"流水线，并发控制防数据源速率限制
- literature_monitor：按 ADS 查询式/时间窗/最低引用数检查最新文献
定时文献同步:
- sync_queries 表新增 is_scheduled 列（migration 20260713）
- 新增 POST /sync/queries/:id/schedule 端点
- 服务启动时拉起每小时调度器，对 is_scheduled=1 的检索配置静默执行 ADS（entdate 增量）/arXiv 增量同步
- search_history 工具收敛至 services/search::search_agent_history，消除 FTS 查询逻辑重复
其他:
- plotting skill 由占位填充为完整科研绘图规范：光谱/光变/折叠曲线/CMD/SED/[α/Fe]/周期图/Mollweide/发现图 9 类 matplotlib 模板
- 删除死代码 streaming_executor.rs（929 行，仅剩 mod 声明引用，无调用方）
- 新增 docs/roadmap-research-features.md 科研功能路线图及实现状态
|
2026-09-07 21:50:32 +08:00 |
|
|
fmq
|
eaf85707b5
|
refactor: 全栈架构重构与质量硬化
核心架构重构:
- Config 按职责拆分为 LlmConfig/EmbeddingConfig/VisionConfig/CdsConfig/StorageConfig 五个子结构
- AppState 拆分为 LlmState/DataSourceState/SessionState 三个子结构，消除 50+ 平铺字段
- 新增 ServiceError 结构化错误类型替代 handler 中的 msg.contains() 字符串匹配
- 移除 api::handlers 兼容命名空间，路由直接引用 agent/auth/papers 等模块
认证性能优化:
- login_rate_limiter/upload_rate_limiter 从 Mutex<HashMap> 迁移为 DashMap（无锁）
- 新增 session_last_active: DashMap<String, AtomicU64>，auth 中间件快速路径免写锁
- 会话过期清理改为按间隔触发（300s），避免每次请求全表扫描
- MAX_SESSIONS 1000→10000，SSE 广播通道 256→1024
Agent 工具增强:
- AgentTool trait 新增 is_internal()/display_name()，SSE 事件携带工具元数据
- 新增 GET /chat/tools 端点暴露注册工具列表
- pending_questions/pending_permissions 增加 created_at 时间戳，自动清理过期条目（10min TTL）
- Agent 超时现在正确 abort 后台任务并设置取消令牌
观测数据源修复:
- FITS 解析: APOGEE/DESI 改用 read_image+切片替代 read_rows（修复 fitsio panic）
- ZTF: CIRCLE 参数分隔符 +→空格（修复 IRSA 400），半径自动裁剪至硬上限
- MAST TESS: parse_tic_json 兼容数组/对象两种 API 响应格式
- 统一检索: per_target_limit 默认 50→1，sources 支持 per-source release/version
- Gaia 测光从 VizieR 镜像切换至官方 TAP 服务
RAG 并发优化:
- 向量化降级从串行改为并发 5 条/批（buffer_unordered）
- 混合检索 RRF 合并从借用改为 owned RetrievalResult
安全加固:
- PDF 中间件: URL 解码 %2F/%2E 后判扩展名；文件名过滤非 ASCII + 禁 \ 防头注入
- chat_agent 日志截断问题内容至 50 字符；list_sessions 强制 limit clamp
前端双主题:
- 设计令牌三层架构: primitive→semantic→component，浅色暖纸张学术/暗色 Night Indigo
- useTheme hook + ThemeToggle 侧边栏组件 + main.tsx 防 FOUC 初始化
- 全组件从硬编码 slate 色迁移至语义令牌（bg-surface/text-content/border-subtle 等）
- 新增 ToastContainer 非阻塞通知系统
部署优化:
- deploy.sh 引入 SSH ControlMaster 单次密码复用
|
2026-07-11 14:57:40 +08:00 |
|
|
fmq
|
2c8d0b8f8b
|
feat: LAMOST DR12-14 与子版本体系接入、观测层安全加固与并发异步化
- LAMOST 新增 DR12/13/14 及子版本（v0/v1.0/v1.1/v2.0）维度，Internal 发布标记需登录认证并前端灰显，release×subtype 交叉约束下沉至 capabilities 统一声明
- ObservationFetcher trait 扩展版本/认证/交叉约束能力声明，version 参数贯穿 client→service→API→Agent tool→前端全链路
- 安全：observation cache SQL 全参数绑定 + LIKE 转义、cone_cache_hash 加长度前缀防碰撞、DESI survey/program 白名单防穿越
- 异步化：persist/cached_files_total_size/maybe_persist_tool_result迁移到 tokio::fs；cancelled_runs 与 session_permission_checkers改用 DashMap；auth 读锁优先 + 60s 节流
- Gaia 去 native-tls 改禁用连接池规避 UnexpectedEof，reqwest 移除 native-tls feature
- 重构：Source/ProductType from_str 集中解析、download 模块拆分为 try_download_pdf/html、AgentRuntime::init 抽取共享逻辑
- 部署：新增 deploy.sh 一键打包推送脚本、catch-panic 启用
|
2026-07-07 21:16:46 +08:00 |
|
|
fmq
|
2f1fd19d74
|
refactor: 观测层双轴正交重构——spectra→observation、工具/API 收敛、安全韧性加固
将"以光谱为中心"的观测数据架构升级为 (Source × ProductType) 双轴正交模型，
光谱降级为与光变/测光/图像平级的产品类型之一；同步把分散的工具、API、缓存表
收敛为统一入口。新增 Gaia 光变曲线（EPOCH_PHOTOMETRY）支持。
【架构】services/spectra 整体替换为 services/observation（双轴正交）
- Source（LAMOST/Gaia/SDSS/DESI）× ProductType（Spectrum/LightCurve/Photometry/Image）
正交组合，新增源/产品类型为纯加法（OCP）
- ObservationFetcher trait + ObservationRegistry：每个有效组合实现一个 fetcher，
启动时注册；SDSS specobj/APOGEE 共用 key 按 subtype 二级路由
- cone 缓存逻辑模板方法化（trait 默认方法），消除各源 4 份重复代码
- 多文件 Artifact 模型：一个逻辑产物可含多文件（如 Gaia 光变 G/BP/RP 三波段各一 FITS）
- 统一编排 dispatch.rs：search（仅检索）/ download（检索+下载），支持坐标模式
（cone→选源→下载）与标识符模式（直按 ID 下载）双输入
【Agent 工具整合】26 → 24
- 新增 find_observation：跨源×跨产品×双模式统一观测下载，取代 find_spectrum
- catalog_operation 升级为 6 合 1（search/describe/query/cone/export/lookup），
取代独立的 query_vizier + cone_search
- citation_network + library_search 合并为 library.rs
【API 路由】
- 新增 /observation/{search,download,capabilities,list} 命名空间
- 移除 /catalog/{crossmatch,spectrum/download,spectrum/list}
- GET /observation/capabilities 暴露 registry 能力清单，前端动态渲染源/产品/版本
下拉（不再硬编码各源支持矩阵）
【数据库迁移】
- 新表 observation_cache：新增 product 列 + artifacts_json（多文件产物），无 TTL
（观测数据不可变，区别于 vizier_query_cache 的 7 天 TTL）
- 20260705140001：spectrum_cache 旧数据迁入 observation_cache，单文件→单元素 artifacts
【前端】
- 新 ObservationPanel（988 行）：双视图（检索下载 / 缓存库），选项由 capabilities 动态生成
- 新 useObservation hook、ObservationResultCard、observation/constants、utils/apiError
【安全与韧性加固】
- sessions 锁 Mutex → RwLock（读多写少，降低争用）
- 新增 upload_rate_limiter；login_rate_limiter 容量保护（10000 上限，超限清最旧一半）
- bookmarklet API 密钥 SHA-1 → SHA-256；ADMIN_PASSWORD 长度上限 128
- *_TIMEOUT_SECS / EMBEDDING_DIM 非法值告警并回退默认；DB_POOL_SIZE 可配置（原硬编码 5）
- sqlite-vec 注册逻辑下沉至 utils::register_sqlite_vec_extension
|
2026-07-07 01:34:02 +08:00 |
|
|
fmq
|
a156252bc3
|
feat: 接入 VizieR 星表检索与 LAMOST/Gaia/SDSS/DESI 跨源光谱下载
新增天文观测数据获取能力，覆盖星表查询与一维光谱下载两大场景：
星表检索（CDS VizieR）
- VizieR TAP 客户端（JSON 优先 + VOTable 降级），共享 IVOA VOTable 解析层
- 业务层支持自由 ADQL、锥形检索、交叉证认、星表发现与 CSV 导出
- ADQL 注入防护（标识符清洗 + 字符串字面量转义），TTL 缓存（7 天）
跨望远镜光谱下载（统一入口）
- 接入 LAMOST（ConeSearch + FITS.gz）、Gaia（TAP + DataLink ZIP）、
SDSS（Data Lab TAP + SAS）、DESI（HEALPix coadd）四源
- 双模式：坐标模式（cone 检索 → 选源 → 下载）/ 标识符模式（直按 ID 下载）
- 光谱文件永久缓存（不可变），按 source+source_id 去重
Agent 与 API
- +4 工具：query_vizier / cone_search / find_spectrum / catalog_operation（22 → 26）
- +6 路由：/catalog/vizier、/cone、/crossmatch、/spectrum/{download,list}
- 前端新增 VizierResultCard / FindSpectrumCard 可视化卡片
工程重构
- services/target.rs (832 行) 拆分为 services/cds/{target,vizier}.rs + clients/cds/sesame.rs，
贯彻 client（通信）/ service（缓存+编排）分层
- ADS 返回字段新增 data（关联数据表 URL），与星表功能联动
|
2026-07-06 00:07:25 +08:00 |
|
|
fmq
|
f885c0a4a8
|
refactor: 服务层抽象下沉、异步锁全栈迁移、客户端韧性加固与移动端适配
- 服务层拆分：删除 api/helpers.rs，新增 citation/note/session/pipeline/paper/vision 独立服务模块
- Agent 工具精简：paper_content+paper_outline 合并为 paper.rs，图片分析逻辑下沉至 services/vision
- 并发模型升级：std::sync::{Mutex,RwLock} → tokio::sync::{Mutex,RwLock}，消除 async
上下文中的阻塞风险
- 客户端加固：HTTP 客户端统一超时配置、ADS 429 / arXiv 503 自动重试、构造函数返回 Result
- 启动安全：全局 panic hook 日志化、空密码拒绝启动、向量表维度不匹配需显式确认
- CLI 扩展：构建完整 AppState 复用服务层，新增 Content/Outline/Citations/Search/Process 子命令
- 前端：移动端汉堡菜单、侧栏滑出面板、引用星系触屏手势（单指拖拽/双指缩放）
|
2026-06-30 19:26:01 +08:00 |
|
|
fmq
|
5db4cc5998
|
refactor: 全栈架构重构与质量硬化——API 错误统一、工具域重组、安全加固、前端组件化
后端核心变更:
- API 层: 新增 AppError 枚举统一错误类型，替代散落的 (StatusCode, String)
- Agent 工具域: 重组为 astro/system/ 和 astro/research/ 两级域，新增 ProcessPaperTool 流水线工具
- 安全: 新增 SSRF 双层防护 (同步字符串级 + 异步 DNS 解析级)，覆盖 IPv4/IPv6 私网段
- 弱密码检测: 扩展弱密码列表并增加最小长度检查
- LLM 客户端: 新增 ChatCompleter/Embedder trait，支持依赖注入与批量向量化 embed_batch
- 批量处理: AssetBatch 从串行改为 Semaphore 并发池 (BATCH_CONCURRENCY=3)
- 分块器: 重写为三阶段结构化管线 (章节解析→短节合并→带标题路径子块)
- RAG: embedding 计算移出事务，RetrievalResult 新增 headings/section_index 字段
- 检索: ADS/arXiv 并行检索 (tokio::join!)，去重改用 HashSet，本地库回填批量 IN 查询
- 天体查询: Sesame API 升级到 v4，新增视差误差/自行/视向速度/多波段测光字段
- 迁移: 14 个增量文件合并为单一 init.sql，支持 sqlx::migrate! 内存库集成测试
- 测试: circuit_breaker/hooks/task_board/session/memory/streaming_executor 新增修正 15+ 测试
前端架构重构:
- 目录重组: features/ → pages/ + components/ + hooks/ 三层分离
- App.tsx 从 1181 行压缩至 ~174 行 (逻辑抽入 9 个自定义 Hook)
- Agent 面板拆分为 AgentSessionSidebar/AgentMessageList/AgentInputArea 子组件
- 新增 GlobalDialog/PaperDetailModal/UncachedPaperModal 通用对话框组件
- 工具函数抽取: celestial.ts (天体坐标格式), paper.tsx (文献信息渲染)
|
2026-06-25 23:45:37 +08:00 |
|