DCTS/docs/tlusty&synspec收敛性判断.md

任务失败判定逻辑调研：Tlusty&Synspec收敛性判断LUSTY / SYNSPEC 退出码可靠性与兜底机制

调研日期：2026-08-04 范围：crates/common/src/runner.rs、crates/node/src/reporter.rs、crates/common/src/conv_check.rs 的任务成败判定逻辑，对照 TLUSTY 208 / SYNSPEC 54 源码（tlusty/tlusty208.f、synspec/synspec54.f） 与 gfortran 运行时退出码行为。 方法：源码级静态分析 + gfortran 实测（退出码、运行时错误）+ 三方独立复核。 本文仅记录调研结论，不含修复实现。

---

0. TL;DR

调度系统通过子进程退出码 rc 判定 TLUSTY / SYNSPEC 成败，但 gfortran 下裸 STOP 默认返回 rc=0，而两个 Fortran 程序的几乎所有错误路径用的都是裸 STOP 或 call quit（内部亦为裸 stop）。因此 rc 本身不可靠。

当前判定能"基本不出错"，靠的是 rc 之外的兜底：

• TLUSTY：rc==0 && fort.7 存在 才进入 check_fort9（max_relc < chmax）+ atmosphere_has_nan 双重否决。这三重条件对"显式发散 STOP"和"硬崩溃（信号）"覆盖可靠。
• SYNSPEC：仅靠 synspec_rc==0，下游零内容校验，是当前系统最大的科学正确性风险。

复核（含 gfortran 运行时错误实测）发现两类此前未点出的风险：

1. gfortran 运行时错误默认返回 rc=0 且静默（实数 IEEE 异常、数组越界），生产编译未启用 -fcheck/-ffpe-trap。
2. fort.9 缺失分支无条件判收敛，且写入虚构的 best_max_relc=0.0，会污染种子选择并向相邻网格点扩散。

修复优先级收敛为：SYNSPEC .spec 内容校验 > 收紧 atmosphere_has_nan 阈值 > 修正 fort.9 缺失分支 > 补齐 SOLVES/RYBSOL 发散路径归因。

---

1. 现状：失败判定的四层结构

node 端任务失败判定从底向上分四层：

execute_task (executor.rs)      ← 前置 IO 失败 → 直接返回 Err
  └─ run_model_with_timeout     ← 计算失败 → 产出 ModelSummary(converged 字段)
       └─ derive_report_status  ← 半失败判定 → Completed / Failed
            └─ infer_failed_stage ← 失败归因 → tlusty / synspec

第一层：execute_task（executor.rs:11）—— 前置 IO 失败

直接返回 Err、进不到计算：

失败情形	处理	行号
原子数据文件拉取失败	warn 但继续（非致命）	executor.rs:46-50
种子大气下载失败（HTTP 非 2xx / 网络）	bail! 返回 Err	executor.rs:114-137
沙盒目录创建失败	? 返回 Err	executor.rs:57

返回 Err 时，worker.rs:456 转为 String，reporter 走 Err(e) 分支（reporter.rs:78-89）： status=Failed, converged=false, error_message=e。

第二层：run_model_with_timeout（runner.rs:232）—— 计算过程收敛判定

核心，final_converged 在此累积，分三块：

① TLUSTY 阶段链收敛判定（runner.rs:402-469）

每个阶段执行后，只有 rc==0 && fort.7 存在 才进入收敛检查，否则该阶段 converged=false：

// runner.rs:402
if rc == 0 && fort7.is_file() {
    if fort9.is_file() {
        let res = check_fort9(&fort9, eff_chmax);
        stage_summary.converged = res.converged;       // max_relc < chmax
    } else {
        // NITER=0 grey start without fort.9   ← 见 §4 漏洞 2
        stage_summary.converged = true;
        stage_summary.best_max_relc = Some(0.0);
    }
} else {
    stage_summary.note = Some(format!("tlusty rc={} or missing fort.7", rc));
}

check_fort9 的收敛判据（conv_check.rs:163）：

converged = max_relc.is_finite() && max_relc < chmax

其中 max_relc 是 fort.9 最后一次迭代中所有深度点里最大的相对修正绝对值。关键防御：

• chmax ≤ 0 或非有限 → 直接判失败并报错（conv_check.rs:58，防误配）
• fort.9 无有效迭代数据 → max_relc=Infinity，判失败（conv_check.rs:127）
• 发散值（NaN/Inf/无-E 记数法 -1.35+118）→ is_finite()=false → 判失败（conv_check.rs:160）
• fort.9 缺失但 rc=0 → 视为"NITER=0 grey start"，判收敛（runner.rs:419）—— 见 §4 漏洞 2

阶段间联动：若某阶段 require_converged=true 且未收敛 → break，中止后续所有阶段（runner.rs:463）。 final_converged 取最后执行阶段的值。

② 大气 NaN 强制否决（runner.rs:488-491）

let atmo_has_nan = atmosphere_has_nan(&final_7);
if atmo_has_nan { final_converged = false; }

atmosphere_has_nan（conv_check.rs:190）检测大气文件里 NaN/Inf/********（Fortran 字段溢出）， 超 10% 行命中即判无效。此步会推翻前面收敛结论 —— 见 §4 漏洞 3 的阈值盲区。

③ SYNSPEC 阶段（runner.rs:498-603）

SYNSPEC 不直接改 final_converged，记录到 synspec_rc / synspec_error：

• fort.8（大气输入）复制失败 → 记 synspec_error，跳过（runner.rs:508）
• fort.55（控制卡）写入失败 → 记 synspec_error，跳过（runner.rs:531）
• synspec 进程 rc≠0 或超时（上限 min(600, timeout_sec)）→ 记 synspec_rc（runner.rs:568-575）

仅 SYNSPEC 场景（tlusty 关闭）的收敛重判（runner.rs:611-616）： final_converged = (synspec_rc == 0)。

第三层：derive_report_status（reporter.rs:38）—— 半失败 = 失败

let synspec_failed = synspec_error.is_some() || matches!(synspec_rc, Some(rc) if rc != 0);
if s.converged && !synspec_failed { TaskStatus::Completed } else { TaskStatus::Failed }

旧逻辑 if converged { Completed } 只看大气收敛，TLUSTY 收敛但 SYNSPEC 失败时 converged 仍为 true → 误报成功 → 服务端吸收为终态。新逻辑：大气好 + 光谱坏 = 整体失败，让服务端弹 synspec 链重试。 converged 字段仍按大气真实状态上报（为 true 时服务端仍存 .7 作种子）。

第四层：infer_failed_stage（reporter.rs:15）—— 失败归因

条件	归因
converged=false + tlusty 启用	tlusty（含级联）
converged=false + tlusty 关闭	synspec
converged=true 但 synspec 出错/rc≠0	synspec
全部成功	None

---

2. rc==0 的真实含义与不可靠性

2.1 gfortran 退出码实测（实证）

在 /tmp 用最小 Fortran 程序实测（gfortran 15.2.0，-fno-automatic -O3 等价于生产编译环境）：

Fortran 语句 / 错误类型	触发方式	退出码 rc	runner 能否抓住
裸STOP	stop	0	❌ 靠 fort.9 兜
STOP 'msg'	stop 'x'	0	❌ 靠 fort.9 兜
STOP 1（带数字）	stop 1	1	✅（TLUSTY 未用此形式）
自然END	主程序结束	0	—
实数除零1.0/0.0	IEEE 默认	0	❌ 产 Inf，无陷阱
0.0/0.0	IEEE 默认	0	❌ 产 NaN
实数溢出1e30*1e30	IEEE 默认	0	❌ 产 Inf
sqrt(-1) / log(0)	IEEE 默认	0	❌ 产 NaN/-Inf
整数除零 1/0	SIGFPE	136（128+8）	✅
数组越界（默认）	无-fcheck	0，静默写越界内存	❌
数组越界（-fcheck=bounds）	启用检查	2	✅
READ 遇 EOF（无end= 守卫）	运行时	2	✅
READ 类型不匹配（无err= 守卫）	运行时	2	✅
栈溢出 / 段错误	SIGSEGV	139（128+11）	✅

生产编译命令（deployment.md:86,90）为 gfortran -fno-automatic -O3，未启用 -fcheck=bounds 与 -ffpe-trap=invalid,zero,overflow。因此表中所有 rc=0 的静默失败在生产二进制中真实存在。

2.2 核心矛盾

Fortran 的 STOP 语句默认返回 0，而 TLUSTY/SYNSPEC 几乎所有错误处理用的都是裸 STOP 或 call quit（内部裸 stop）。导致进程异常终止的退出码 = 正常完成的退出码 = 0。

• TLUSTY subroutine quit（tlusty208.f:29946-29955）末行裸 stop。
• SYNSPEC subroutine quit（synspec54.f:12014-12021）末行裸 stop。
• 两者全文 80+ 处 STOP/call quit，错误路径几乎全走裸 STOP。

---

3. 源码级失败路径分析

3.1 TLUSTY：三重兜底对"显式发散"覆盖可靠

主循环结构（tlusty208.f:1-62）：

   10 ITER=ITER+1
      CALL RESOLV          ← 形式解；内部 CALL OUTPUT(:3807/:3828) 每次迭代写 fort.7
      IF(LFIN) GO TO 20    ← 上一轮设了 LFIN 就跳出
      IF(IACC.GT.0) CALL ACCEL2
      IF(IFRYB.EQ.0) THEN
         IF(NN.GT.MSMX) THEN
            CALL SOLVE     ← 含发散 STOP(:14703)
          ELSE
            CALL SOLVES    ← 含发散 STOP(:15050)
         END IF
       ELSE
         CALL RYBSOL       ← 含发散 STOP(:47585-47590)  ← 修正点：第三条路径
      END IF
      GO TO 10
   20 STOP                 ← 主程序正常结束，裸 STOP → rc=0
      END

关键事实：

• fort.7 每次迭代都写：CALL OUTPUT（tlusty208.f:3807, 3828）在 RESOLV 内，每次迭代执行。
• 发散 STOP 在三处平行求解器内（不止 SOLVE）：
  • SOLVE :14701-14706（CHMX > 1.D16 → 裸 STOP）
  • SOLVES :15047-15051（同逻辑）
  • RYBSOL/RYBCHN :47585-47590（同逻辑，IFRYB≠0 时走此路） 三处发散检查都在 PRCHAN/RYBCHN 写完 fort.9 之后，故发散 STOP 时 fort.7 与 fort.9 均已落盘。
• 达到 NITER 未收敛：LFIN=ABS(CHMX).LE.CHMAX.OR.ITER.GE.NITER（:14728），走主程序正常 END，rc=0，fort.9 含未收敛的 max_relc。

TLUSTY 失败场景对照：

场景	Fortran 处理	rc	写 fort.7	写 fort.9	runner 判定	是否合适
正常收敛	主程序 END	0	✅	✅	check_fort9 → converged	✅
达到 NITER 未收敛	LFIN，END	0	✅	✅	check_fort9 → max_relc≥chmax → 未收敛	✅
数值发散 CHMX>1e16	SOLVE/SOLVES/RYBSOL 内裸 STOP	0	✅	✅	check_fort9 → 发散值未收敛	✅
输入错误（call quit）	裸 stop	0	❌	❌	rc=0 但 fort.7 缺失 → 失败	✅
temp 越界	stop 'partf; temp...'(:44624)	0	❌	❌	fort.7 缺失 → 失败	✅

结论：rc 虽不可靠，但 rc==0 + fort.7 存在 + check_fort9 + atmosphere_has_nan 四重条件对"显式 STOP 类发散"和"硬崩溃（信号）"覆盖可靠 —— 这是一个巧合但有效的设计。

3.2 SYNSPEC：仅靠 rc，基本裸奔

主程序结构（synspec54.f:1-174）： 主循环 :10 标签到 :150 IF(IBLANK.LT.NBLANK) GO TO 10， CALL OUTPRI（:143）写谱输出（unit 7 谱 / 17 连续谱 / 16 部分等宽 / 6 诊断）且在循环内、多次追加写（无 REWIND）。 主程序以自然 END（:174）结束，正常路径 rc=0。

call quit / STOP 相对 OUTPRI 的时序分类（复核产出）：

归类	数量	代表行号	风险
OUTPRI 之前（START 阶段输入校验）	多数	:726, :808, :937, :1062, :1856, :2229, :12168, :12224, :12252, :12323, :12324, :16745, :19455, :19601	低 —— 谱未生成，靠"文件缺失"兜得住
OUTPRI 之后 / 之间（主循环内 RESOLV/RESOLW/OPAC 调用链）	6 处	:4203, :8208, :9935, :18863, :18865, :19891	高 —— 脏数据风险
死代码 / 坏码	3 处	:17414stop23（坏码）、:17851 CHCKAB（调用被注释）、:18383 MOLSET（从未调用）	无

脏数据风险的精确触发条件：仅在 NBLANK>1 或分子/集合重处理（synspec54.f:152-162）导致前序迭代已写 fort.7 之后，后续迭代在 INISET/OPAC/RESOLW/SETRAY 等处中途 call quit → 残缺谱已落盘 + rc=0 → 被误判成功。单集合单次运行（NBLANK=1）所有 quit 都在首次 OUTPRI 之前，无脏数据。

SYNSPEC 失败场景对照：

场景	Fortran 处理	rc	runner 判定	是否合适
正常完成	主程序 END（:174）	0	synspec_rc=0 → 成功	✅
输入数据错误（OUTPRI 前 quit）	裸 stop	0	谱未生成 → .spec 缺失（runner.rs:579 is_file 不成立）→ 未产谱	⚠️ 靠文件缺失
计算中途错误（OUTPRI 后 quit，多轮场景）	裸 stop	0	synspec_rc=0 →误判成功	❌ 严重

---

4. 复核发现的漏洞（按严重度排序）

以下为源码级静态分析与 gfortran 实测、经三方独立复核确认的风险。

漏洞 1（最严重）：SYNSPEC 产出的 .spec 全链路零内容校验

runner 对 SYNSPEC 产出（runner.rs:578-599）只有 is_file() 存在性检查 + rename/copy，无任何内容校验：

if model_dir.join("fort.7").is_file() {
    let _ = tokio::fs::rename(..., ... ".spec").await;   // 不查内容
}

下游全部不拦截：

• executor.rs:191-215：只读 .7（种子），从不碰 .spec。
• result_filter.rs:64-110：纯文件名后缀白名单，spec 在白名单内（result_filter.rs:28），0 字节 .spec 与干净的 50MB .spec 同等归档。
• derive_report_status（reporter.rs:38-45）：只看 synspec_rc 与 synspec_error，不看产物。

完整穿透链：SYNSPEC call quit（rc=0）+ 写出含 NaN/Inf/0 字节的 .spec → is_file() 成立 → rename 成 .spec → final_converged = rc==0（runner.rs:612）→ synspec_failed=false（reporter.rs:39）→ Completed → 脏谱归档、服务端吸收为终态、不重试。没有任何一道防线检查 .spec 内容。

漏洞 2（严重）：fort.9 缺失分支无条件判收敛 + 虚构 best_max_relc=0.0

runner.rs:417-421，当 rc==0 && fort.7 存在 但 fort.9 不存在时：

} else {
    // NITER=0 grey start without fort.9
    stage_summary.converged = true;            // 无条件判收敛
    stage_summary.best_max_relc = Some(0.0);   // 虚构"完美收敛"值
    stage_summary.note = Some("NITER=0 grey start".to_string());
}

• 注释"NITER=0 grey start"是断言而非检查，代码未校验本次 stage 的 niter 配置是否真为 0。
• best_max_relc = Some(0.0) 进入 final_max_relc（runner.rs:458-459）→ 上报（reporter.rs:73）。若服务端用 max_relc 选种子，会把误判模型当"完美收敛"优先选作下一轮种子，污染向相邻网格点扩散。
• 合法 grey start（lte/nc 阶段，require_converged=false，runner.rs:23/38）与致命崩溃共用同一段无校验代码，无法区分。

触发条件：rc==0（gfortran 裸 STOP 或运行时静默错误）+ fort.7 已写 + fort.9 缺失。严重度比漏洞 1 低，因为多数发散情况 fort.9 会写出含发散值的行，反而触发 check_fort9 的 is_finite()=false 判不收敛。

漏洞 3（严重）：gfortran 运行时错误默认 rc=0 且静默

见 §2.1 实测表。在生产编译（无 -fcheck/-ffpe-trap）下：

• 实数 IEEE 异常（除零、溢出、NaN 产生）→ rc=0，无陷阱，静默产出 NaN/Inf。
• 数组越界（无 -fcheck=bounds）→ rc=0，静默写越界内存，可能产出物理上错误但无 NaN 标记的大气。

这两类若发生在 RESOLV 写完 fort.7（tlusty208.f:3828）之后、SOLVE 写 fort.9 之前 → fort.7 在、fort.9 不在 → 命中漏洞 2 → 误判收敛。atmosphere_has_nan 能否兜住取决于越界是否恰好产生 NaN/Inf 字面值；若只是静默改写相邻内存，此防线无效。

漏洞 4（中）：atmosphere_has_nan 的 10% 阈值对物理产物过松

conv_check.rs:212：(bad_lines as f64) > (total_lines as f64 * 0.1)，严格大于。

典型 .7 文件 60-100 个深度行，阈值 6-10 行：

场景	bad/total	判定	物理正确性
全 NaN（彻底发散）	100%	true → 否决	正确
6/100 行 NaN（表层发散）	6%	false → 放过	错误
5/60 行 NaN（典型深度网格）	8.3%	false → 放过	错误
单行 NaN	1%	false → 放过	错误

物理上任意一个深度点的温度/密度是 NaN，整个大气就不可用（积分会传播 NaN）。10% 是统计学语义，与大气可用性的布尔语义不匹配。表层（深度浅、温度高）最易数值发散，往往只有最外几层出 NaN —— 正好落在盲区。

补充盲区：regex (?i)(\bnan\b|\binf(?:inity)?\b|\*{3,})（conv_check.rs:199）只匹配字面 NaN/Inf/***；若 Fortran 把发散值写成接近 f64 上限但未溢出的普通科学记数法（如 1.0E+308），不命中任何模式。

漏洞 5（低）：infer_failed_stage / 日志归因对 RYBSOL 路径不完整

发散 STOP 在 SOLVE / SOLVES / RYBSOL 三处（§3.1），但失败 note 统一记 tlusty rc=0 or missing fort.7（runner.rs:429），丢失"为何未收敛"的线索。对走 RYBSOL（IFRYB≠0）的发散，归因信息不完整。

漏洞 6（低）：仅 SYNSPEC 场景 final_converged 重判只看 rc

runner.rs:611-616，TLUSTY 关闭的纯复算场景，final_converged = (synspec_rc == 0)，与漏洞 1 同源，场景更窄。

---

5. 被排除的伪风险

超时 / shutdown 后半成品 fort.7 进 check_fort9 误判收敛 —— 不存在。

run_child_async_with_timeout 在超时/shutdown 时返回 Err（runner.rs:151, 156）→ 上层 match rc = -1 （runner.rs:380-383 / 568-574）。于是 rc==0 && fort.7 存在 前置门不成立 → 进 else 分支 → converged 保持 false → check_fort9 根本不调用。SYNSPEC 超时同理 → synspec_rc=-1 → 判失败。 超时路径是可靠的。

---

6. 修复优先级（仅建议，不含实现）

优先级	漏洞	建议	改动范围
P0	漏洞 1	SYNSPEC.spec 内容校验：NaN/Inf/*** + 行数下限 + 非全零，命中则置 synspec_rc 为非零或设 synspec_error	runner.rs（SYNSPEC 产出后，runner.rs:585 附近）
P1	漏洞 4	收紧物理产物 NaN 阈值：产物准入用 0 行容忍（任意一行 NaN 即否决），而非 10%	conv_check.rs:212 或新增严格版函数
P1	漏洞 2	runner.rs:417-421：至少把best_max_relc 从 Some(0.0) 改为 None（消除污染扩散）；理想是校验 stage 的 niter 配置才走该分支	runner.rs:417-421
P2	漏洞 5	补齐 SOLVES / RYBSOL 发散路径的归因，失败 note 区分求解器类型	runner.rs:429
P3	漏洞 3	生产编译加-fcheck=bounds -ffpe-trap=invalid,zero,overflow，让数组越界与 IEEE 异常返回 rc≠0（性能换正确性）	deployment.md 编译命令

---

7. 参考资料

• 源码：
  • tlusty/tlusty208.f（主程序 :1-62；发散 STOP :14703/:15050/:47585；quit :29946-29955； PRCHAN :22876-22944；RYBCHN :47445-47598；RESOLV :3724-3903；OUTPUT :14055 起）
  • synspec/synspec54.f（主程序 :1-174；OUTPRI :3343-3458；quit :12014-12021； 脏数据风险点 :4203/:8208/:9935/:18863/:18865/:19891）
• 判定逻辑：
  • crates/common/src/runner.rs（run_model_with_timeout :232-682；漏洞 1/2/5/6 所在）
  • crates/node/src/reporter.rs（derive_report_status :38-45；infer_failed_stage :15-27）
  • crates/common/src/conv_check.rs（check_fort9 :54-175；atmosphere_has_nan :190-213）
• 编译配置：docs/deployment.md:86,90（确认生产编译无 -fcheck/-ffpe-trap）
• 相关设计：docs/task_engine_decoupling_design.md（阶段独立配置、半失败判定语义）