# 400 失败点二次分析与 NaN 伪收敛修复（2026-08-17）

> 背景：三层修复（nst 行宽 / nl_direct 回退 / seed_finder 边界）部署重跑后，
> 9216 点中 8816 完成、**400 失败**。数据源：最新 DB 快照 `/home/fmq/下载/dcts.db`
> + 全量更新后的 `data/salvage/`（6 节点）。

## 一、400 点分类（按每点最新一次任务）

| 类别 | 数量 | 机制 |
|---|---:|---|
| **NaN 伪收敛** | **261** | 见 §二，本轮核心 bug |
| 真发散（nl/nl_direct 1e16 STOP） | ~131 | 20kK/logg≥6 富氦簇（~50）+ 60kK/logg≤5.5 贫氦簇（~65）等 |
| 收敛但最深层能量残差 1.0–2.3% 超 1% 阈值 | 7 | 边际案例 |

分布（NaN 伪收敛修复前）：teff=20000:76、55000:77、60000:121 为主。

## 二、NaN 伪收敛：根因链

生产工件实证（t60000_g6.0_he-4_c-4_n-4_o-4，多节点一致）：

1. `seed_nc` 发散（best_max_relc 1.15e15），fort.7 含 4823 行 NaN → **污染种子**；
2. `nl` 从污染种子启动 → TLUSTY 立即崩溃，fort.9 写出**全 `0.00E+00`**
   （NaN 参与的相对变化无法计算，写出零；fort.9 尾部 TEMP 列可见 NaN）；
3. `check_fort9`：max_relc=0 < chmax=1e-3 → **`converged=true`（伪收敛）**；
4. 因 nl 被判"收敛"，**nl_direct 回退被跳过**（回退仅在 require_converged 失败时触发）；
5. 最终门槛全灭（emflux nan_ratio=100%、温度 NaN、bfac 38% 极端值）→ 点失败，
   282/288 个 emflux 失败的 ratio 恰为 0（`integrated_flux=0, n_points=0`）。

## 三、修复

`crates/common/src/runner.rs` `execute_tlusty_stage()`：
- 阶段被判 converged 后复查本阶段 fort.7（`atmosphere_has_nan`，含 NaN/Inf/`***`/
  E+300 检测），命中即否决收敛并标注 note；
- 被否决的阶段**不产出种子**（`produced_seed=None`），阻断污染向下游传播。

测试：`unit_nan_pseudo_convergence_veto`（全零 fort.9 + NaN fort.7 → seed_nc 判失败、
nl 回退原始种子收敛）；全 workspace 测试通过。

## 四、直测验证（test/20260817_failed400/，direct-nl 复现 nl_direct 回退路径）

| 测试 | 点 | 种子 | 结果 |
|---|---|---|---|
| q1 | t60000_g6.0_he-4_c-4_n-4_o-4（NaN 伪收敛簇） | 邻点 o-2 的收敛 .7 | ✅ **12it 收敛 7.0e-4**，温度三项全过（表层 0.79×Teff），emflux 4π∫Hλ/σT⁴=1.0014 |
| q2 | t20000_g6.5_he2_c-4_n-4_o-2（20k 富氦簇） | 邻点 c-3_n-3_o-2 | ❌ iter42 发散 STOP（1.35e18） |
| q3 | t60000_g5.0_he-4_c-4_n-4_o-2（60k g5 簇） | 邻点 o-4 的收敛 .7 | ❌ 100it 耗尽，max_relc 546（温度结构物理但未收敛） |

q1 证明：NaN 伪收敛簇（261 点，65%）在修复后经 nl_direct 回退路径可完整恢复
（数值收敛 + 物理门槛全过）。q2/q3 为真发散硬核（~131 点），所用邻居种子不足以
收敛，需依赖生产的 exact_family 种子选择、多策略重试或 Teff 连续步进。

## 五、三类问题的验证测试与方案（test/20260817_failed400/）

### 5.1 NaN 伪收敛簇（261 点）回收估计验证 — 成立

分层抽样 17 点（每 teff 档 2 个，种子 = 完成点中 CNO 精确匹配/最近邻的
salvage .7），direct-nl（= nl_direct 回退的等价路径）：

- **11/17 收敛**（20–41 迭代），温度结构三项全过，emflux 1.0001–1.0017 全达标；
- 6 个失败均为种子距离过大（Δlogg 0.5–1.5）直接 STOP——生产端 seed_finder 有
  多候选 + 多策略重试（attempt 至 11 次），实际回收率高于单种子 65%；
- 结论："修复后预期回收 ~261 点"估计成立且偏保守。

### 5.2 能量边际点（7 个）— nl_tight 回退，已实现

实测（mg_tight）：从自身最终模型续迭代、CHMAX 1e-3→1e-4，约 19 迭代后
最深层 (RAD+CON)/TOT 残差 0.0199/0.0228 → **0.0011/0.0016**（降 ~10×）。

`runner.rs` 新增 nl_tight 回退：能量门槛失败 + 最终大气无 NaN 时，以
`<label>_tight`（CHMAX÷10）从自身模型续迭代，成功则刷新最终大气/快照并
重判能量。单测 `unit_nl_tight_fallback_wiring` 通过。

### 5.3 真发散硬核（~131 点）— 连续步进（continuation）方案验证通过

| 批次 | 配置 | 结果 |
|---|---|---|
| hard_base（16 点分层抽样） | direct-nl + 最近完成点种子 | 4/16 |
| hard_ore03（12 个失败点） | 同上 + ORELAX=0.3 | 1/12 |
| ladder_60k_he4（60k 贫氦簇代表） | 55k→57.5k→60k 三步 Teff 步进 | ✅ 28it/3.9e-4，物理过，emflux=1.0008 |
| ladder_20k_he2（20k/6.5 富氦簇代表） | g6.0→6.25→6.5 三步 logg 步进 | ✅ 27it/8.1e-4，物理过，emflux=1.0112（<2% 阈值） |

两个最难簇的代表点在 direct-nl、ORELAX 全部失败后，**仅靠 2 个中间参数的
连续步进即完全收敛**。机理：单步 Δ 超出 Newton 收敛域时，把参数空间距离
切分为多段，每段以段首收敛解热启动段尾。

### 5.4 生产化：ladder 策略已实现（2026-08-17）

三层回退架构（runner 内自动触发，零配置/调度器改动）：

```
主链（nst 修复后） → nl_direct（污染种子跳过） → nl_ladder（连续步进） → nl_tight（能量边际）
```

- **规划**：`plan_ladder_steps(seed, target)`——归一化间隔更大的轴，
  步长 Δlogg≤0.25 / ΔTeff≤2.5kK，≤4 个中间步；双轴均在单步域内不触发。
  种子参数由 executor 从权威 `seed_point_name` 解析（`parse_point_name`）。
- **执行**：每中间步 clone 终阶段 ChainStep（require_converged），前步收敛解作
  后步 fort.8；链尾 `nl_ladder` 用目标参数收尾。任一步发散即中止。
- **持久化**：中间步「收敛 + fort.7 无 NaN」即登记 `ModelSummary.ladder_seeds` →
  node executor 读快照字节随 TaskReport 上报（**任务失败也上传**）→ server
  `POST /api/task/report` 落 `seeds_dir/<name>_ladder/` + seeds 表（ON CONFLICT
  仅刷新 file_path，`_ladder` 后缀名与真实网格点零冲突；bucket 查找按数值列
  匹配天然覆盖中间参数点）。簇内相邻失败点自动复用已收敛梯级。
- **重复网格点**：未来工作流若含与中间种子同参数的网格点，照常计算（种子≠结果），
  seed_step 命中同参数种子后 ~1–2 迭代收敛——重验五重门槛，成本可忽略。
- 测试：`test_plan_ladder_steps`（规划纯函数）、`unit_ladder_fallback_wiring`
  （假 tlusty 六调用接线：seed_nc/nl/nl_direct 失败→ladder_g5.75/ladder_g6/
  nl_ladder 收敛 + ladder_seeds 登记）、`test_parse_point_name`。
  物理有效性由手工 ladder 实测证明（§5.3，与生产同一 ChainStep 配置与种子）。
  workspace 全测试 10 套件通过。

部署：server + node 重建重部署后，对 400 失败点发起重试即可（ladder 自动生效）。

## 七、第二轮重跑后 121 残点分析与 ladder 实测（2026-08-18）

### 7.1 121 残点分类（最新 DB，每点最新任务）

| 类别 | 数量 | 归因 |
|---|---:|---|
| NaN 伪收敛（否决未生效） | **32** | **全部来自 node-fmq-ubuntu-01 旧二进制**（其他节点同期已有 nl_tight 记录证明新二进制）——重新部署该节点即解决，随重试进入 nl_direct/正常链路 |
| 真发散（20kK/logg≥6 富氦簇） | ~62 | nl/nl_direct 均 1e16 STOP |
| 真发散（60kK/logg5.0 最贫 CNO 簇） | ~19 | 同上，且对一切种子/轴免疫 |
| 能量边际残留 | 2 | nl_tight 已触发（其一 tight 数值收敛但模型含 NaN 被否决） |

### 7.2 ladder 实测矩阵（12 点分层抽样 + 变体，test/20260817_failed400/）

| 变体 | 配置 | 结果 |
|---|---|---|
| ladder121 | 生产语义（nl 步进，Δlogg 0.25 / ΔTeff 2.5k） | **1/12** |
| ladder121_teff | 换 Teff 轴（同 CNO ±5kK rung） | +2/7 |
| ladder121_nc | 中间步 seed_nc 式（ilvlin=0 + ORELAX=0.3 + NITER=20） | 0/9（发散转"卡住"） |
| ladder121_nc100 | 同上 + NITER=100 + 2× 细化（0.125/1.25k） | 0/9（单步可达 1e-4@34it，但链条后段单深度 POP 振荡 ~0.2 或 NITER 耗尽；每步最长达 1h+） |
| he_seed | 60k 簇换 he0 种子直接 nl | 1/4（t55000 完整收敛 83it/3.7e-4/emflux 1.0008） |
| ladder20k_final | 20k 簇 nc+细化+7200s/步 | 0/3（step3 处 iter100 单深度 0.199 振荡） |

### 7.3 结论

1. **部署项收益最大**：重新部署 ubuntu-01 → 直接回收 32 点（确定性）。
2. **ladder 对本轮残点增益有限**：全部变体合计 ~4-6/87。已实现的 ladder 保留
   （自动触发、零额外成本、对上一轮 5 个验证点有效），但不应期望它清掉这批残点。
3. **残点本质**：20kK 富氦高重力簇在阻尼下不雪崩但呈**单深度 POP 极限环**
   （iter 100 时个别深度 |ΔPOP|≈0.2 不衰减）；60kK 贫 CNO 低重力簇从任何
   CNO/He/logg/Teff 种子均在前几迭代雪崩。两者均已超出"步进/种子"工程层
   可解范围，属 TLUSTY Newton 求解器在这些极端参数组合下的固有收敛域缺失。
4. **可行后续**（求解器层，需另行立项）：针对极限环深度的逐深度阻尼/POPZER
   策略调优；或物理上接受这 ~85 点为"不可收敛角"并在工作流中显式标记。

### 7.4 测试工件

`test/20260817_failed400/`：`ladder121/`、`ladder121_teff/`、`ladder121_nc/`、
`ladder121_nc100/`、`ladder20k_final/`、`he_seed/`、`batch_ladder.py`（支持
`--nc-int`/`--fine=N` 变体的通用 ladder 驱动）。