fmq/DCTS
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
f2700031cee6b932a218e8617692068fae77a04c
DCTS/README.md
T
fmq 43b82b1ae2 feat(all): 物理正确性五重硬门槛、输入文件结构化与 fort.55 错位修复、conv 诊断 DB 化与阶段归因修复、ORELAX 收敛修复与导入工具下线 
物理正确性校验体系（common/conv_check.rs +494 行）
- 新增 5 类硬门槛：能量守恒(.6)、温度结构(.7)、emflux 积分校验(.emflux，含全 NaN 判失败)、假收敛排查(itek 轨迹首末比)、b 因子合理性(.bfac)
- runner 在 TLUSTY 阶段结束后执行全部校验，任一失败判 final_converged=false
- GridConfig 新增 8 个可配阈值，经 scheduler→executor→runner 全链路透传

输入文件配置结构化重构（config.rs +1453 行）
- TlustyInput 拆为 dot5/nst 分层结构，字段名严格映射 tlusty208.f READ 语句；SynspecInput 重构为 9 个 Fort55Line 子结构体
- 移除 ChainStep.metals 字段，元素集改由 dot5.atoms/ions 显式声明（gen_input5/nst_writer 同步重写为三源融合 / 分层覆盖）
- fort.55 修复行结构 bug：补全分子表行（7→9 行），IDSTD 50→0 错位修正（影响全部光谱线强归一化，需重算 SYNSPEC 阶段）

conv 诊断 DB 化与阶段归因修复（server）
- 单点详情 conv 面板从磁盘 conv.json 改读 DB grid_points.summary_json；grid_points 新增 summary_json/last_elapsed_sec 两列（旧库幂等 ALTER）
- record_task_report 阶段归因列加 CASE 守卫 + clear_synspec 对称处理，修复 synspec-only/TLUSTY-only 重跑污染统计
- 新增 summary_merge.rs 点级增量合并，避免重跑覆盖诊断字段

收敛性 ORELAX 修复与 seed_chain 可配（sdB_cno.yaml + node）
- nl 阶段加 orelax=0.5、seed_nc 加 orelax=0.3，阻尼中温区 relc 振荡发散
- seed_chain 块可配，executor 优先采用用户配置而非内置默认链

导入工具下线
- 删除 import_results 客户端工具及 Windows 推送脚本；移除 /admin/import_seed 端点
- 改为服务端临时 migrate_conv 端点（扫 conv.json 增量合并入库，迁移后可删）

文档与分析
- 新增 1305 失败点根因分析、fort.14 全 NaN 物理含义分析两份深度文档
- spectrum_correctness_analysis 两次修订标注已修复项；fetch_results.sh 修 trap RETURN 的 set -u 报错
2026-08-09 12:09:48 +08:00

137 lines
7.2 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# DCTS (Distributed Computing TLUSTY/SYNSPEC)
> 基于 Rust 构建的高性能分布式恒星大气模型（TLUSTY）与合成光谱（SYNSPEC）网格计算调度系统。
---
## 💡 项目简介
**DCTS** 是专为恒星光谱计算设计的分布式计算控制系统。通过将多维度参数网格（如 Teff, log g, log He, log C, log N, log O）离散化为独立计算点，DCTS 能够在 Master 服务端统一管理任务队列与计算状态，由分布在不同物理节点上的 Worker 离散执行 4 阶段物理收敛链，实现自动化调度、种子传递、发散回退与高吞吐并行计算。
---
## 🚀 快速开始 (Quickstart)
### 1. 编译系统
```bash
cd dcts
cargo build --release
```
编译产物位于 `target/release/`：
- `server`：调度与 API 主服务端
- `node`：计算节点后台进程
### 2. 构建前端与启动服务端 (Master & Web Dashboard)
首先编译前端全域实时网格可视图看班：
```bash
cd dashboard && npm install && npm run build && cd ..
```
运行后端处理与管理主程序 (Master)：
```bash
./target/release/server --workflow config.yaml --port 8090
```
服务端启动后将通过分级自动绑定监听：
- **开放调配 RESTful 接口** (`/api/...`): 为算力节点群与客户调控工具开放的高速接口池。
- **实时监控分析空间**: 指向 `dashboard/dist`，使用通用现代浏览器访问 `http://127.0.0.1:8090/` 即可免额外网关无障碍视见计算态势全局状态台。
### 3. 启动计算节点 (Worker)
在 Worker 节点配置 `.env` 环境变量：
```env
DCTS_NODE_ID=node-worker-01
DCTS_SERVER_URL=http://<MASTER_IP>:8090
DCTS_MAX_SLOTS=4
```
运行节点进程：
```bash
./target/release/node
```
节点会自动加载 `.env`，与服务端握手注册、下载缺失的基础原子数据与可执行程序，并开始循环 Claim 任务执行计算。
---
## 🔐 安全与鉴权 (Security & Auth)
DCTS 采用**分层鉴权**模型，公网部署务必按下表配置凭据。
### 鉴权主体
| 主体 | 环境变量 | 用途 | 持有方式 |
| :--- | :--- | :--- | :--- |
| **Admin** | `DCTS_ADMIN_TOKEN` | Dashboard 登录、工作流 CRUD、起停计算、节点审批授权 | 人工，Dashboard 输入 |
| **Node** | _(服务端审批后自动颁发)_ | 心跳、领任务、上报、下载数据 | 节点本地 `.node_token` 文件（权限 600） |
> **兼容**：旧变量 `DCTS_AUTH_TOKEN` 仍有效，自动回退用作 Admin 凭据（建议迁移到 `DCTS_ADMIN_TOKEN`）。
### 节点注册流程（免凭据申请 + 管理员审批）
1. 节点启动时优先读取本地 `runtime/.node_token`；不存在则**免凭据**向 `/api/node/register` 提交注册申请，进入 `pending_approval` 待审批状态。
2. 管理员在 Dashboard「节点管理」面板点击【同意接入】后，服务端**颁发该节点专属 token**（仅返回一次，DB 只存 SHA-256 hash）。
3. 节点轮询 `/api/node/check_status` 取回专属 token 并持久化到 `.node_token`（权限 600）。
4. 后续所有请求携带专属 token；服务端按 token 反查 `node_id` 鉴权。
5. **重发/停用**：通过 Dashboard「节点凭据管理」面板或下方管理 API 操作。
### 节点凭据管理 API（Admin 角色）
| 方法 | 路径 | 说明 |
| :--- | :--- | :--- |
| GET | `/api/admin/nodes` | 列出全部节点及凭据状态（在线/token 有效/颁发时间） |
| POST | `/api/admin/nodes/:node_id/approve` | 同意待审批节点的接入申请并颁发 token |
| POST | `/api/admin/nodes/:node_id/reject` | 拒绝待审批节点的接入申请 |
| POST | `/api/admin/nodes/:node_id/reissue` | 重新颁发 token，返回新明文（旧 token 立即失效） |
| POST | `/api/admin/nodes/:node_id/disable` | 停用节点（保持在线但不再分发任务，可恢复） |
| POST | `/api/admin/nodes/:node_id/enable` | 重新启用被停用的节点 |
所有端点要求 Admin token（`Authorization: Bearer <DCTS_ADMIN_TOKEN>`）。被攻陷节点持有的 node token 无权访问这些端点，因此重发/停用始终是管理员主动行为。
### 公网部署清单
```env
# .env（服务端配置；计算节点无需任何凭据，免凭据申请后由管理员审批授权）
DCTS_ADMIN_TOKEN=<强随机值>
```
> TLS/HTTPS：请在容器外部自行配置反向代理（如 Nginx / Caddy / 云负载均衡）终止 TLS，
> 再将流量转发到本服务的 8090 端口。本服务默认仅监听 HTTP。
### 默认安全策略
- **CORS**：仅允许同源或本地 Origin（localhost / 127.0.0.1 / [::1]）。
- **请求体限制**：普通 API 10MB，任务上报 256MB。
- **安全响应头**：CSP / `X-Content-Type-Options` / `X-Frame-Options` / `Referrer-Policy` 默认开启。
- **审计日志**：所有写操作（POST/PUT/DELETE）记录 `subject + method + path`（不记请求体）。
- **应急调试**：`DCTS_AUTH_DISABLE=1` 跳过全部鉴权（仅本地，切勿生产）。
---
## 🏛️ Workspace 核心模块
| Crate / Tool | 类型 | 职责说明 | 详细文档 |
| :--- | :--- | :--- | :--- |
| [`common`](crates/common/README.md) | Library | 提供底层配置解析、输入文件构造、收敛判定、子进程调用与种子匹配引擎 | [README](crates/common/README.md) |
| [`server`](crates/server/README.md) | Binary | 基于 Axum 的中央 API 服务端，负责网格生成、节点心跳、任务调度与状态持久化 | [README](crates/server/README.md) |
| [`node`](crates/node/README.md) | Binary | Worker 节点 Daemon 进程，负责任务抢占、自适应环境预热、计算链执行与产物汇报 | [README](crates/node/README.md) |
| [`mq`](crates/mq/README.md) | Library | 基于 SQLite 构建的高可靠事务型分布式任务队列引擎 | [README](crates/mq/README.md) |
| [`dashboard`](dashboard/index.html) | Web UI | 基于 Vite 与原生高交互前端语系创写的分层式恒星网格任务可观测可视化控表空间 | [说明详情](dashboard/package.json) |
| [`import_db`](tools/import_db/README.md) | Tool CLI | 离线 DB 导入工具（扫结果目录 conv.json → 直写本地 db 文件） | [README](tools/import_db/README.md) |
---
## 📚 详细文档导航 (`docs/`)
系统技术细节按以下主题组织：
- 📐 **[系统架构 (Architecture)](docs/architecture.md)**：Master-Worker 拓扑结构、任务生命周期与心跳机制。
- 🔗 **[API 参考 (API Reference)](docs/api.md)**：Axum RESTful 接口规格明细与鉴权方式。
- 💾 **[数据库设计 (Database)](docs/database.md)**：SQLite 数据表结构模式与队列状态机设计。
- ⚙️ **[物理链设计 (Design)](docs/design.md)**：4 阶段 TLUSTY/SYNSPEC 计算链、冷启动与种子步进（Seed Step）降级重试逻辑。
- 📦 **[部署运维指南 (Deployment)](docs/deployment.md)**：生产环境部署、Systemd 服务配置、安全令牌与日志管理。
- 🔧 **[故障排查 (Troubleshooting)](docs/troubleshooting.md)**：常见发散案例分析、僵死进程回收、节点断连恢复。
- 🤝 **[参与贡献 (Contributing)](docs/contributing.md)**：本地开发环境搭建、规范与测试说明。
---
## 📄 License & 联系方式
- **License**: MIT / Apache-2.0
- **Maintainers**: TLUSTY High-Performance Computing Workgroup
Reference in New Issue View Git Blame Copy Permalink