 fmq
|
d6b064a490
|
feat: 科研分析层全栈落地——光谱/时域/运动学分析工具链 + JWST/X 射线数据源 + 定时文献同步
数据分析层（新增 services/{spectrum,timeseries,analysis}）:
- 光谱参数提取 parameters.rs：LAMOST/SDSS/APOGEE/DESI FITS header 跨源归一化读取
Teff/logg/[Fe/H]/RV 及 ASPCAP 20+ 元素丰度，rayon 并发批量提取
- 谱线测量 lines.rs：内置真空/空气波长谱线表，窗口内极值搜索 + 梯形法积分 EW + FWHM，支持自定义谱线
- 交叉相关测速 cross_correlate.rs：对数波长重采样对齐，内置 Pickles 模板按光谱型插值，
CCF 峰值位置提取 RV 及不确定度
- 周期搜索 periodicity.rs：Lomb-Scargle 周期图（含 FAP 误报概率）+ BLS 凌星检测 + 相位折叠
- 变星分类 classification.rs：振幅/偏度/峰度/过零率/eta 等统计特征 + 规则分类（RR Lyrae/Cepheid/食双星/AGN 等）
- SED 拟合 sed.rs：多波段测光黑体模型拟合，输出 T_eff/半径/消光 A_V/光度及不确定度
- 运动学 kinematics.rs：视差+自行+RV → 银河系 UVW 空间速度，含移动星群成员概率（Banyan Σ 简化版）
- 化学丰度 chemistry.rs：[α/Fe] vs [Fe/H] 计算，厚盘/薄盘/晕星族判别
- 观测规划 observability.rs：目标升落时间/airmass/月相影响/曝光时间估算
- 赫罗图 hr_diagram.rs：Gaia TAP CMD 查询，新增 GET /api/analysis/hr-diagram 端点
数据获取层:
- JWST：clients/mast/jwst.rs 封装 MAST Portal 锥形检索 + JwstSpectrumFetcher（NIRSpec/MIRI 光谱）
- X 射线：clients/heasarc 封装 HEASARC TAP（ADQL）+ XMM-Newton/Chandra 光谱 fetcher
- 图像 cutout：SDSS SkyServer/STScI DSS/Pan-STARRS 三源 cutout + 发现图（Finding Chart）生成
- Source 枚举新增 Jwst/Xmm/Chandra 并注册 ObservationRegistry，前端 SOURCE_THEME 与筛选器同步三源
Agent 工具集（24→35）:
- 新增 9 个分析工具：get_spectrum_parameters / measure_spectral_lines / measure_radial_velocity /
find_period / classify_variable_star / fit_sed / analyze_kinematics / analyze_abundance_pattern / plan_observation
- batch_process：批量样本"查询→下载→分析→报告"流水线，并发控制防数据源速率限制
- literature_monitor：按 ADS 查询式/时间窗/最低引用数检查最新文献
定时文献同步:
- sync_queries 表新增 is_scheduled 列（migration 20260713）
- 新增 POST /sync/queries/:id/schedule 端点
- 服务启动时拉起每小时调度器，对 is_scheduled=1 的检索配置静默执行 ADS（entdate 增量）/arXiv 增量同步
- search_history 工具收敛至 services/search::search_agent_history，消除 FTS 查询逻辑重复
其他:
- plotting skill 由占位填充为完整科研绘图规范：光谱/光变/折叠曲线/CMD/SED/[α/Fe]/周期图/Mollweide/发现图 9 类 matplotlib 模板
- 删除死代码 streaming_executor.rs（929 行，仅剩 mod 声明引用，无调用方）
- 新增 docs/roadmap-research-features.md 科研功能路线图及实现状态
|
2026-09-07 21:50:32 +08:00 |
|
|
fmq
|
eaf85707b5
|
refactor: 全栈架构重构与质量硬化
核心架构重构:
- Config 按职责拆分为 LlmConfig/EmbeddingConfig/VisionConfig/CdsConfig/StorageConfig 五个子结构
- AppState 拆分为 LlmState/DataSourceState/SessionState 三个子结构，消除 50+ 平铺字段
- 新增 ServiceError 结构化错误类型替代 handler 中的 msg.contains() 字符串匹配
- 移除 api::handlers 兼容命名空间，路由直接引用 agent/auth/papers 等模块
认证性能优化:
- login_rate_limiter/upload_rate_limiter 从 Mutex<HashMap> 迁移为 DashMap（无锁）
- 新增 session_last_active: DashMap<String, AtomicU64>，auth 中间件快速路径免写锁
- 会话过期清理改为按间隔触发（300s），避免每次请求全表扫描
- MAX_SESSIONS 1000→10000，SSE 广播通道 256→1024
Agent 工具增强:
- AgentTool trait 新增 is_internal()/display_name()，SSE 事件携带工具元数据
- 新增 GET /chat/tools 端点暴露注册工具列表
- pending_questions/pending_permissions 增加 created_at 时间戳，自动清理过期条目（10min TTL）
- Agent 超时现在正确 abort 后台任务并设置取消令牌
观测数据源修复:
- FITS 解析: APOGEE/DESI 改用 read_image+切片替代 read_rows（修复 fitsio panic）
- ZTF: CIRCLE 参数分隔符 +→空格（修复 IRSA 400），半径自动裁剪至硬上限
- MAST TESS: parse_tic_json 兼容数组/对象两种 API 响应格式
- 统一检索: per_target_limit 默认 50→1，sources 支持 per-source release/version
- Gaia 测光从 VizieR 镜像切换至官方 TAP 服务
RAG 并发优化:
- 向量化降级从串行改为并发 5 条/批（buffer_unordered）
- 混合检索 RRF 合并从借用改为 owned RetrievalResult
安全加固:
- PDF 中间件: URL 解码 %2F/%2E 后判扩展名；文件名过滤非 ASCII + 禁 \ 防头注入
- chat_agent 日志截断问题内容至 50 字符；list_sessions 强制 limit clamp
前端双主题:
- 设计令牌三层架构: primitive→semantic→component，浅色暖纸张学术/暗色 Night Indigo
- useTheme hook + ThemeToggle 侧边栏组件 + main.tsx 防 FOUC 初始化
- 全组件从硬编码 slate 色迁移至语义令牌（bg-surface/text-content/border-subtle 等）
- 新增 ToastContainer 非阻塞通知系统
部署优化:
- deploy.sh 引入 SSH ControlMaster 单次密码复用
|
2026-07-11 14:57:40 +08:00 |
|
|
fmq
|
2c8d0b8f8b
|
feat: LAMOST DR12-14 与子版本体系接入、观测层安全加固与并发异步化
- LAMOST 新增 DR12/13/14 及子版本（v0/v1.0/v1.1/v2.0）维度，Internal 发布标记需登录认证并前端灰显，release×subtype 交叉约束下沉至 capabilities 统一声明
- ObservationFetcher trait 扩展版本/认证/交叉约束能力声明，version 参数贯穿 client→service→API→Agent tool→前端全链路
- 安全：observation cache SQL 全参数绑定 + LIKE 转义、cone_cache_hash 加长度前缀防碰撞、DESI survey/program 白名单防穿越
- 异步化：persist/cached_files_total_size/maybe_persist_tool_result迁移到 tokio::fs；cancelled_runs 与 session_permission_checkers改用 DashMap；auth 读锁优先 + 60s 节流
- Gaia 去 native-tls 改禁用连接池规避 UnexpectedEof，reqwest 移除 native-tls feature
- 重构：Source/ProductType from_str 集中解析、download 模块拆分为 try_download_pdf/html、AgentRuntime::init 抽取共享逻辑
- 部署：新增 deploy.sh 一键打包推送脚本、catch-panic 启用
|
2026-07-07 21:16:46 +08:00 |
|
|
fmq
|
0ba85d7749
|
refactor: Prettier 格式化全量前端、Library 服务端分页筛选、Agent 工具输出可视化与 .agent 目录统一
代码质量：
- 新增 .prettierrc + eslint-plugin-prettier，全量格式化所有 TSX/TS/CSS 文件
- npm scripts 新增 format / format:check / lint:fix
Logo 重设计：
- SVG logo 从简单星月改为望远镜+轨道+三角架+星光，favicon 同步更新
Library 服务端分页与多维筛选：
- LibraryQueryParams 支持 q(全局搜索)/status(下载状态)/doctype/author/year/journal/sort_by
- API 返回 {items, total}，默认每页 12 条
- 前端新增筛选面板：搜索栏、状态下拉、文献类型、排序、分页控件
Agent 工具输出可视化：
- 新增 SpecialToolRenderers.tsx：query_target 天体参数卡片(含 SIMBAD/VizieR 链接)、search_papers
文献列表(内嵌下载/阅读/星系跳转按钮)
- 系统内部工具(compress_context 等)无错误时自动隐藏，减少时间线噪音
- ToolCallCard 与 Reader/Citation 打通：可在工具输出中直接打开文献或跳转引用星系
.agent 目录统一：
- memory/tool-results/trajectories/images 全部归入 library/.agent/ 子目录
PDF 加载修复：
- BilingualViewer 改用 fetch → blob:// URL 加载 PDF，绕过 iframe SameSite Cookie 限制
|
2026-07-03 00:11:02 +08:00 |
|
|
fmq
|
f885c0a4a8
|
refactor: 服务层抽象下沉、异步锁全栈迁移、客户端韧性加固与移动端适配
- 服务层拆分：删除 api/helpers.rs，新增 citation/note/session/pipeline/paper/vision 独立服务模块
- Agent 工具精简：paper_content+paper_outline 合并为 paper.rs，图片分析逻辑下沉至 services/vision
- 并发模型升级：std::sync::{Mutex,RwLock} → tokio::sync::{Mutex,RwLock}，消除 async
上下文中的阻塞风险
- 客户端加固：HTTP 客户端统一超时配置、ADS 429 / arXiv 503 自动重试、构造函数返回 Result
- 启动安全：全局 panic hook 日志化、空密码拒绝启动、向量表维度不匹配需显式确认
- CLI 扩展：构建完整 AppState 复用服务层，新增 Content/Outline/Citations/Search/Process 子命令
- 前端：移动端汉堡菜单、侧栏滑出面板、引用星系触屏手势（单指拖拽/双指缩放）
|
2026-06-30 19:26:01 +08:00 |
|
|
fmq
|
c5fd5b0d66
|
refactor: 全栈质量硬化
后端:
- 权限系统重写: 全局→按 Session 隔离, 新增规则查询 API
- 安全加固: 登录 IP 限流, Token 仅存 Cookie, bibcode 白名单校验
- SSE 超时保护, 异步 I/O 迁移, 10+ 处静默 DB 错误改为显式日志
- ar5iv 下标解析修复, parse_paper_row 去重, 优雅关闭
前端:
- useSyncScroll 重写: 段落 ID 映射修复中英错位
- 全局竞态修复 (active 标志), libraryRef 闭包过期修复
- ErrorBoundary + vitest 测试基础设施
- Logo 组件提取, CustomSelect 泛型化, TabId 类型统一
- ReaderPanel 自动视图模式, AIAssistantPanel 状态批处理
|
2026-06-28 14:40:26 +08:00 |
|
|
fmq
|
5f2d2d83f6
|
refactor: 大文件模块化拆分、自进化Skill管线、前端设计系统统一
后端：
- runtime: 拆分 AgentConfig/events/duplicate_detector 为独立模块
- error_recovery: 1499行单体拆为 classification(21种FailoverReason)/overflow/mod
- executor: 提取 helpers.rs (PreparedCall/ToolExecutionResult/execute_single_tool)
- skills: 新增 SkillCreator + SelfImprovePipeline（模式检测→自动生成SKILL.md→质量审查）
- clients/llm: 拆分为 chat/embedding/types 三个子模块
- services/download: 1548行拆为 mod/headers(反爬+SSRF)/strategies(多级回退)
- services/batch/asset: 1264行拆为 mod/helpers/process
前端：
- 设计系统统一: sky/indigo → blueprint 色系, rounded-xl→lg, shadow-lg→sm
- 删除 Vite 模板残留 App.css
- GlobalDialog/PaperDetailModal/UncachedPaperModal 提取公共 BaseModal 组件
|
2026-06-27 09:56:36 +08:00 |
|