fmq/AstroResearch
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

feat: LAMOST DR12-14 与子版本体系接入、观测层安全加固与并发异步化

Browse Source 
- LAMOST 新增 DR12/13/14 及子版本（v0/v1.0/v1.1/v2.0）维度，Internal 发布标记需登录认证并前端灰显，release×subtype 交叉约束下沉至 capabilities 统一声明
- ObservationFetcher trait 扩展版本/认证/交叉约束能力声明，version 参数贯穿 client→service→API→Agent tool→前端全链路
- 安全：observation cache SQL 全参数绑定 + LIKE 转义、cone_cache_hash 加长度前缀防碰撞、DESI survey/program 白名单防穿越
- 异步化：persist/cached_files_total_size/maybe_persist_tool_result迁移到 tokio::fs；cancelled_runs 与 session_permission_checkers改用 DashMap；auth 读锁优先 + 60s 节流
- Gaia 去 native-tls 改禁用连接池规避 UnexpectedEof，reqwest 移除 native-tls feature
- 重构：Source/ProductType from_str 集中解析、download 模块拆分为 try_download_pdf/html、AgentRuntime::init 抽取共享逻辑
- 部署：新增 deploy.sh 一键打包推送脚本、catch-panic 启用
This commit is contained in:
fmq
2026-07-07 21:16:46 +08:00
parent 2f1fd19d74
commit 2c8d0b8f8b
75 changed files with 2482 additions and 1370 deletions
Download Patch File Download Diff File Expand all files Collapse all files
docs/deployment.md
+71 -55
View File
@@ -24,18 +24,18 @@ open http://localhost:8000
### 两种镜像模式对比
| | Mode A (`Dockerfile`) | Mode B (`Dockerfile.modeB`) |
|---|---|---|
| **镜像大小** | ~23 MB | ~87 MB |
| **基础镜像** | `alpine:3.21` | `distroless/cc-debian12:nonroot` |
| **libc** | musl (静态链接) | glibc (动态链接) |
| **二进制体积** | ~12 MB | ~59 MB |
| **二进制包含** | Rust + C 依赖 | Rust + C + V8 + BoringSSL |
| **运行时依赖** | 无 (静态链接) | `libc` + `libstdc++` + `libgcc_s` (已内置) |
| **空闲内存** | ~8.6 MiB | ~8.7 MiB |
| **Obscura** | 外部 `bin/` bind mount | 编译在二进制内 |
| **容器 Shell** | 有 (`/bin/sh`) | 无 (distroless) |
| **Healthcheck** | `wget` TCP probe | 编排层替代 |
| | Mode A (`Dockerfile`) | Mode B (`Dockerfile.modeB`) |
| --------------------- | ----------------------- | ------------------------------------------------ |
| **镜像大小** | ~23 MB | ~87 MB |
| **基础镜像** | `alpine:3.21` | `distroless/cc-debian12:nonroot` |
| **libc** | musl (静态链接) | glibc (动态链接) |
| **二进制体积** | ~12 MB | ~59 MB |
| **二进制包含** | Rust + C 依赖 | Rust + C + V8 + BoringSSL |
| **运行时依赖** | 无 (静态链接) | `libc` + `libstdc++` + `libgcc_s` (已内置) |
| **空闲内存** | ~8.6 MiB | ~8.7 MiB |
| **Obscura** | 外部`bin/` bind mount | 编译在二进制内 |
| **容器 Shell** | 有 (`/bin/sh`) | 无 (distroless) |
| **Healthcheck** | `wget` TCP probe | 编排层替代 |
---
@@ -44,11 +44,13 @@ open http://localhost:8000
镜像最小（23 MB），Obscura 作为外部二进制通过 bind mount 注入，可独立更新。
**构建：**
```bash
docker build -t astroresearch:latest .
```
**运行：**
```bash
docker run -d --name astro -p 8000:8000 --env-file .env \
-v ./library:/app/library \
@@ -61,6 +63,7 @@ docker run -d --name astro -p 8000:8000 --env-file .env \
> `bin/` 目录需包含编译好的 Obscura 二进制文件（`obscura` 和 `obscura-worker`）。
**docker-compose.yml（已内置）：**
```yaml
services:
astroresearch:
@@ -90,17 +93,20 @@ services:
Obscura (V8 + BoringSSL) 编译在二进制内，单容器零外部二进制依赖。适合对外交付的一键部署包。
**前置条件：**
```bash
mkdir -p libs
git clone https://github.com/h4ckf0r0day/obscura libs/obscura
```
**构建：**
```bash
docker build -f Dockerfile.modeB -t astroresearch-all:latest .
```
**运行：**
```bash
docker run -d --name astro -p 8000:8000 --env-file .env \
-v ./library:/app/library \
@@ -123,22 +129,22 @@ docker build --build-arg USE_MIRRORS=0 -t astroresearch:latest .
**加速源：**
| 工具 | 镜像 |
|------|------|
| npm | `registry.npmmirror.com` |
| Alpine apk | `mirrors.aliyun.com` |
| Debian apt | `mirrors.ustc.edu.cn` |
| 工具 | 镜像 |
| ---------- | -------------------------- |
| npm | `registry.npmmirror.com` |
| Alpine apk | `mirrors.aliyun.com` |
| Debian apt | `mirrors.ustc.edu.cn` |
---
### 持久化数据卷
| 容器路径 | 说明 | 推荐权限 |
|----------|------|---------|
| `/app/library` | SQLite 数据库 + PDF/HTML 全文 | 读写 |
| `/app/logs` | 应用日志（仅 `LOG_OUTPUTS=file` 时写入） | 读写 |
| `/app/skills` | Agent 技能文件 (SKILL.md) | 只读 (`:ro`) |
| `/app/bin` | Obscura 外部二进制（仅 Mode A） | 只读 (`:ro`) |
| 容器路径 | 说明 | 推荐权限 |
| ---------------- | ----------------------------------------- | -------------- |
| `/app/library` | SQLite 数据库 + PDF/HTML 全文 | 读写 |
| `/app/logs` | 应用日志（仅`LOG_OUTPUTS=file` 时写入） | 读写 |
| `/app/skills` | Agent 技能文件 (SKILL.md) | 只读 (`:ro`) |
| `/app/bin` | Obscura 外部二进制（仅 Mode A） | 只读 (`:ro`) |
> **注意**：bind mount 目录的宿主权限必须允许容器内用户（uid 65532）写入。如遇 `Permission denied`，在宿主执行 `chown -R 65532 ./library ./logs`。
@@ -157,21 +163,26 @@ docker build --build-arg USE_MIRRORS=0 -t astroresearch:latest .
### 构建步骤
**步骤 1：构建前端**
```bash
cd dashboard
npm install
npm run build
```
产物位于 `dashboard/dist/`。
**步骤 2：编译后端**
```bash
cd ..
cargo build --release
```
产物位于 `target/release/astroresearch`。
**步骤 3（可选）：健康检查工具**
```bash
cargo build --release --bin health_check
```
@@ -194,12 +205,13 @@ cp .env.example .env # 编辑填入 API Key
Obscura 作为独立二进制运行，与主进程隔离。适合常规生产环境。
| 部署方式 | 步骤 |
|----------|------|
| 部署方式 | 步骤 |
| ---------------- | ----------------------------------------------------- |
| **Docker** | `docker compose up -d`（自动 bind mount `./bin`） |
| **源码** | 下载 obscura 到 `bin/`，赋予执行权限后启动 |
| **源码** | 下载 obscura 到`bin/`，赋予执行权限后启动 |
二进制安装（源码部署时）：
```bash
mkdir -p bin/
# 下载 obscura 和 obscura-worker 到 bin/，赋予执行权限
@@ -210,10 +222,10 @@ chmod +x bin/obscura bin/obscura-worker
Obscura (V8 + BoringSSL) 编译进二进制，单文件零外部依赖。
| 部署方式 | 构建命令 |
|----------|---------|
| 部署方式 | 构建命令 |
| ---------------- | ------------------------------------------------------------------ |
| **Docker** | `docker build -f Dockerfile.modeB -t astroresearch-all:latest .` |
| **源码** | `cargo build --release --features obscura-inprocess` |
| **源码** | `cargo build --release --features obscura-inprocess` |
> 源码编译 Mode B 需先克隆 [Obscura 源码](https://github.com/h4ckf0r0day/obscura) 到 `libs/obscura/`。同时需要 `binutils`（`nm` + `objcopy`）和 `libclang-dev` 作为构建依赖。
@@ -227,12 +239,12 @@ Obscura (V8 + BoringSSL) 编译进二进制，单文件零外部依赖。
**优化指标 (Mode A, release-min)：**
| 指标 | release | release-min | 降幅 |
|------|---------|-------------|------|
| 二进制大小 | 17.0 MB | 8.3 MB | 51% |
| 启动 RSS | 34.8 MB | 32.9 MB | 5% |
| 虚拟内存 (VSZ) | 1.27 GB | 302 MB | 76% |
| 数据段 (VmData) | 60.1 MB | 26.5 MB | 55% |
| 指标 | release | release-min | 降幅 |
| --------------- | ------- | ----------- | ---- |
| 二进制大小 | 17.0 MB | 8.3 MB | 51% |
| 启动 RSS | 34.8 MB | 32.9 MB | 5% |
| 虚拟内存 (VSZ) | 1.27 GB | 302 MB | 76% |
| 数据段 (VmData) | 60.1 MB | 26.5 MB | 55% |
```bash
# 源码编译
@@ -243,6 +255,7 @@ docker build -t astroresearch:latest .
```
**限制 Tokio 线程数：**
```bash
PORT=8000 TOKIO_WORKER_THREADS=1 ./astroresearch
```
@@ -251,37 +264,39 @@ PORT=8000 TOKIO_WORKER_THREADS=1 ./astroresearch
## 5. 环境变量
| 变量名 | 必需 | 默认值 | 说明 |
| :--- | :--- | :--- | :--- |
| `DATABASE_URL` | 否 | `sqlite:///app/library/astro_research.db` | SQLite 连接 URL |
| `ADS_API_KEY` | 是 | - | NASA ADS API Token |
| `LLM_API_KEY` | 是 | - | LLM API Key |
| `LLM_API_BASE` | 否 | `https://api.openai.com/v1` | LLM API 地址 |
| `LLM_MODEL` | 否 | `gpt-4o-mini` | 对话模型 |
| `EMBEDDING_API_KEY` | 否 | 同 `LLM_API_KEY` | Embedding API Key |
| `EMBEDDING_API_BASE` | 否 | 同 `LLM_API_BASE` | Embedding API 地址 |
| `EMBEDDING_MODEL` | 否 | `text-embedding-3-small` | Embedding 模型 |
| `LIBRARY_DIR` | 否 | `/app/library` | 文献馆藏根目录 |
| `SKILLS_DIR` | 否 | `/app/skills` | Agent 技能目录 |
| `LOG_DIR` | 否 | `/app/logs` | 日志目录 |
| `LOG_FORMAT` | 否 | `json` | 日志格式 (`plain` / `json`) |
| `LOG_OUTPUTS` | 否 | `stdout` | 日志输出 (`stdout` / `file`) |
| `PORT` | 否 | `8000` | 监听端口 |
| `AGENT_MAX_STEPS` | 否 | `8` | Agent 最大步数 |
| `AGENT_TOOL_TIMEOUT_SECS` | 否 | `120` | 工具超时 (秒) |
| `QINIU_AK` / `QINIU_SK` | 否 | - | 七牛云存储凭证 |
| `MINERU_API_URL` | 否 | - | MinerU PDF 解析 API |
| 变量名 | 必需 | 默认值 | 说明 |
| :-------------------------- | :--- | :------------------------------------------ | :------------------------------- |
| `DATABASE_URL` | 否 | `sqlite:///app/library/astro_research.db` | SQLite 连接 URL |
| `ADS_API_KEY` | 是 | - | NASA ADS API Token |
| `LLM_API_KEY` | 是 | - | LLM API Key |
| `LLM_API_BASE` | 否 | `https://api.openai.com/v1` | LLM API 地址 |
| `LLM_MODEL` | 否 | `gpt-4o-mini` | 对话模型 |
| `EMBEDDING_API_KEY` | 否 | 同`LLM_API_KEY` | Embedding API Key |
| `EMBEDDING_API_BASE` | 否 | 同`LLM_API_BASE` | Embedding API 地址 |
| `EMBEDDING_MODEL` | 否 | `text-embedding-3-small` | Embedding 模型 |
| `LIBRARY_DIR` | 否 | `/app/library` | 文献馆藏根目录 |
| `SKILLS_DIR` | 否 | `/app/skills` | Agent 技能目录 |
| `LOG_DIR` | 否 | `/app/logs` | 日志目录 |
| `LOG_FORMAT` | 否 | `json` | 日志格式 (`plain` / `json`) |
| `LOG_OUTPUTS` | 否 | `stdout` | 日志输出 (`stdout` / `file`) |
| `PORT` | 否 | `8000` | 监听端口 |
| `AGENT_MAX_STEPS` | 否 | `8` | Agent 最大步数 |
| `AGENT_TOOL_TIMEOUT_SECS` | 否 | `120` | 工具超时 (秒) |
| `QINIU_AK` / `QINIU_SK` | 否 | - | 七牛云存储凭证 |
| `MINERU_API_URL` | 否 | - | MinerU PDF 解析 API |
---
## 6. 健康检查与维护
**Docker 健康检查（Mode A）：**
```bash
docker ps --filter “health=healthy” --filter “name=astroresearch”
```
Mode B (distroless) 无内置 healthcheck，可在编排层配置：
```yaml
# docker-compose 或 k8s
healthcheck:
@@ -289,6 +304,7 @@ healthcheck:
```
**源码部署健康检查：**
```bash
# 只读扫描
./health_check