灾害智能体 · Experiment
本页放实测与论文表:本地 baseline 导入、T0 / T1、后续实验缺口。方案正文见 Proposal。
T0 当前是「信封库覆盖」,不是论文 verified 冻结集。T1 是已导入本地跑分的聚合,尚未对齐 paper-v1-test。库内条数 ≠ 可写进论文主表的题量。
生成时间:2026-11-19(脚本 review_console/import_local_runs.py,experiment_id=local-baseline-v0.1)。原始 JSON:执行机 review_console/paper_tables/。
导入摘要
| 项 | 值 |
|---|---|
| 多结果库 | agent_exchange/submissions.sqlite |
| 导入行数 | 68088(含 Qwen DM3 新插入 2762;其余更新) |
| 来源 | agent_runner/outputs/*.predictions.jsonl + evaluators/reports / rounds 中的 scores |
| 审查台统计 | https://hazard.simashuhui.cn/ 顶部「试验统计」;API /api/runs/stats?experiment_id=local-baseline-v0.1 |
T0 — 覆盖矩阵(Library coverage)
Paper-ready verified freeze(
paper-v1-test,40–50)仍为 not_frozen。下表只反映信封库。
| 口径 | 数量 |
|---|---|
| Track A · available(库内) | 65401 |
| Track B · available(库内) | 2 |
paper-v1-test verified | 0(未冻结) |
按批次
| batch | n | available | not_available | not_eligible |
|---|---|---|---|---|
| c_response_floodnet | 3 | 2 | 1 | 0 |
| disasterm3 | 51187 | 51187 | 0 | 0 |
| earthverse | 241 | 204 | 27 | 10 |
| floodnet_segmentation | 2343 | 2343 | 0 | 0 |
| floodnet_vqa | 9537 | 9537 | 0 | 0 |
| landslidebench | 2130 | 2130 | 0 | 0 |
Hazard × Level × Track(available)
| hazard | level | track | available | library total |
|---|---|---|---|---|
| flood | L1 | A | 19381 | 19381 |
| flood | L3 | A | 4400 | 4400 |
| flood | L4 | A | 2569 | 2571 |
| flood | L4 | B | 2 | 3 |
| flood | L5 | A | 1326 | 1343 |
| landslide | L1 | A | 2364 | 2364 |
| landslide | L3 | A | 30 | 30 |
| landslide | L5 | A | 20 | 22 |
| wildfire | L1 | A | 21143 | 21143 |
| wildfire | L3 | A | 7685 | 7685 |
| wildfire | L4 | A | 3213 | 3214 |
| wildfire | L5 | A | 3270 | 3275 |
T0 读法: L2 Monitoring 在 available 透视里几乎为空;Track B 仅 flood L4 两题。论文若要报「多灾害 × 多层级 Agent」,必须先冻结 verified 子集并补 L2 / Track B。
基线名怎么读(尤其 no-tool-*)
这些行里的 model_name 多数不是大模型,而是冻结的 确定性策略(policy):不调 GIS 工具、不调外部 API,只根据题面可见字段作答,用来钉住「地板分」和打通评测器。agent_framework=bare-llm 在这里表示「无工具管线」槽位,不等于真的跑了 LLM(GLM 那两行才是真模型)。
| T1 里的名字 | 实际是什么 | 题型 / 数据 | 策略(冻结) | 评分器 | 分数怎么读 |
|---|---|---|---|---|---|
| no-tool-policy-v0.1 | FloodNet VQA 文本地板 | 短答 / 计数 VQA(9537) | 计数→"0";是否问句→"yes";其余→"unknown"。不看图 | score_track_a(exact) | ≈0.21:笨规则碰巧对上一部分 yes/no |
| no-tool-option-v0.1 | DisasterM3 选择题地板 | option_select(21671) | 从题面抓选项字母,答最小字母(常是 A) | option_set_match | ≈0.12:接近「总选 A」的地板 |
| no-tool-section-v0.1 | DisasterM3 报告地板 | structured_report(8835) | answer=null(诚实不作答) | section_field_match | =0 是预期:题面无节锚、不看图不能编报告 |
| no-tool-annotation-v0.1 | LandslideBench 文本地板 | expert_text(2130) | answer=null | annotation_anchored_match | =0 是预期:不看图不能填滑坡字段 |
| no-tool-mask-v0.1 | 分割掩膜地板 | DM3 指代表达分割 + FloodNet Seg(23024) | 预测全空掩膜(形状取自输入图文件头,不解码像素) | mask_iou | DM3≈0.39:不少 gold 本身接近空/易得双空约定分;FloodNet Seg=0:语义分割空预测几乎全错 |
| glm-5.2 / glm-5.3 | 智谱 LLM bare | EarthVerse det-42 | 真调 API 生成结构化答案 | score_earthverse_computed_gt | exact≈0.048;看 unit_match 更有信息 |
| qwen2.5-vl-7b | 本地 VLM bare | DisasterM3 option(双图 bench) | 真看图选字母 | option_set_match | ≈0.173(478/2762);高于 no-tool≈0.12,仍远低于原文 7B ~31% 量级(协议/子集不同) |
| tool-policy-v0.1 | 工具增强策略 | EarthVerse | 可调工具的本地策略(非 GLM) | 同上(目前仅部分题有分) | 勿与 GLM 行混读 |
| reference-workflow | 参考工作流上界 | c_response Flood | 确定性 GIS 回放 | computed_gt_rule | ≈1.0:题可解的上界,不是模型能力 |
一句话:no-tool-* =「不开模型、不用工具」的规则地板;得 0 分常常是策略故意 null,不是评测坏了。
DisasterM3 × Qwen2.5-VL-7B 已跑完并入 T1。
- 模型:本地 Qwen2.5-VL-7B(
/data2/hazardX/models,V100) - 范围:
dm3:bench:*且有灾前/灾后图的 option_select 2762 题(bench 共 3012,其余缺双图跳过) - 脚本:
agent_runner/run_llm_option_disasterm3.py→score_option_set_match.py --skip-policy-replay(12/12 PASS) - 成绩:478/2762 = 0.173(L1 0.155 / L3 0.186);
set_mismatch2283,pred_parse1 - section / mask 仍只有 no-tool 地板;全量 train option 与原文协议对齐尚未做。
T1 — 主结果(Imported local baselines)
同一次导入的聚合。不同 batch / 指标不可横比成单一榜。GLM×EarthVerse 已用
score_earthverse_computed_gt.py补评(仅 deterministic 42 题;hybrid 族按规则 blocked 不进分母)。glm-5.1 已删除(40/42 API 失败,无效实验)。
| model | provider | framework | batch | n | n_scored | mean(exact) | exact_rate | unit_match |
|---|---|---|---|---|---|---|---|---|
| reference-workflow | deterministic | reference | c_response_floodnet | 3 | 2 | 1.000 | 0.667 | — |
| no-tool-mask-v0.1 | local-policy | bare-llm | disasterm3 | 20681 | 20681 | 0.393 | 0.393 | — |
| no-tool-option-v0.1 | local-policy | bare-llm | disasterm3 | 21671 | 21670 | 0.120 | 0.120 | — |
| no-tool-section-v0.1 | local-policy | bare-llm | disasterm3 | 8835 | 8835 | 0.000 | 0.000 | — |
| qwen2.5-vl-7b | local-qwen | bare-llm | disasterm3 | 2762 | 2762 | 0.173 | 0.173 | — |
| glm-5.2 | zhipu | bare-llm | earthverse | 42 | 42 | 0.048 | 0.048 | 0.187 |
| glm-5.3 | zhipu | bare-llm | earthverse | 42 | 42 | 0.048 | 0.048 | 0.392 |
| tool-policy-v0.1 | local-policy | tool-augmented | earthverse | 42 | 3 | 0.333 | 0.024 | 0.562 |
| no-tool-mask-v0.1 | local-policy | bare-llm | floodnet_segmentation | 2343 | 2343 | 0.000 | 0.000 | — |
| no-tool-policy-v0.1 | local-policy | bare-llm | floodnet_vqa | 9537 | 9537 | 0.213 | 0.213 | — |
| no-tool-annotation-v0.1 | local-policy | bare-llm | landslidebench | 2130 | 2130 | 0.000 | 0.000 | — |
unit_match = mean_unit_match_fraction:答案里有多少原子单位对上(比整题 exact 更软)。仅 EarthVerse computed_gt 评测器产出;其它 batch 为 —。
EarthVerse · GLM 细读(deterministic 42)
| model | exact(满分题) | unit_match | reason 概览 |
|---|---|---|---|
| glm-5.3 | 2/42 = 0.048 | 0.392 | 满分 2;单位不全对 35;解析失败 5 |
| glm-5.2 | 2/42 = 0.048 | 0.187 | 满分 2;单位不全对 14;解析失败 26 |
| glm-5.1 | — | — | 已剔除:40/42 API null,不作 baseline |
T1 读法(写论文时)
| 观察 | 含义 |
|---|---|
| Reference @ c_response = 1.0(2/2 可评) | Track B 小样可解;不能外推到 40–50 题主表 |
| FloodNet VQA no-tool ≈ 0.21 | Track A 感知基线有数 |
| DisasterM3 option no-tool ≈ 0.12;section = 0 | 地板仍在;Qwen 已对照 |
| Qwen2.5-VL-7B @ DM3 option | 0.173(478/2762,双图 bench);相对 no-tool +5.3pt,仍低于原文 7B ~31%(题集/协议不同,勿直接横比) |
| Mask IoU≈0.39(DisasterM3)vs Seg=0 | 空掩膜 no-tool;DM3 与 FloodNet Seg 须分开展示 |
| DisasterM3 × AI 缺口 | option bench 已有一行;section / mask / 全量 train / Agent 工具链仍缺 |
| GLM 5.2 / 5.3 | exact 同为 ≈0.048,但 unit_match 5.3≈0.39 ≫ 5.2≈0.19——5.3 更常「部分算对」;整题仍很难满分 |
| tool-augmented | 仍仅 3 题有历史分;应对齐同脚本全量补评 |
T1-ext — 别人公开的 baseline 能不能当参考?
能,但应单列「文献参考」列/附表,不要与本仓库实测行混成同一可复现分母。
| 数据集 | 有没有公开模型 baseline | 典型公开数字(原文) | 和我们 T1 的关系 |
|---|---|---|---|
| FloodNet(VQA / Seg) | 有 | VQA test:MFB+Co-Attn 0.73 overall;Seg:PSPNet mIoU 79.69(FloodNet 原文 Table) | 可作 Track A 上界/文献对照。我们 no-tool VQA≈0.21 是通用策略 exact-match,协议不同,不能说「我们比 MFB 差 50 分」 |
| DisasterM3 | 有(原文集中评了多家 VLM) | Optical–optical QA AVG 约:GPT-4.1 42.3%、Qwen2.5-VL-72B 40.5%、Qwen2.5-VL-7B ~31% 量级 | 文献可作对照。我们 T1 已有 qwen2.5-vl-7b = 0.173(双图 bench 2762),仍低于原文 7B 量级——分母/题型/提示不同,不能写成「复现失败」 |
| EarthVerse | 有(原文集中评了 25 套 model/agent) | Core:强系统可到 ~70–85;Strict@95 最高仅 ~35% | 与我们「工具型 Agent」最近。可作文献对照;我们 GLM bare-llm 在 det-42 上 exact≈0.048、unit_match 最高≈0.39,协议不同勿直接横比 |
| LandslideBench | 公开榜相对弱 / 需再核 LandslideAgent 原文 | — | 先当「有数据、文献分待核」;我们 annotation 行为 0,只能说明本策略失败,不能反推数据集无解 |
| DORA / GeoDisaster / DisasterBench | 论文里通常有 Agent/工具 baseline | — | 数据对本机仍 NA;分数只能引用原文,不能进我们可复现 T1 |
推荐写法(论文里)
- T1 主表:只放本仓库、同冻结集、同评分器跑出来的行(含 Reference 上界)。
- T1-ext / Related baselines:单独一小表或一段,引用 FloodNet / DisasterM3 / EarthVerse 原文数字,标注 reported by original paper; not re-run。
- 用途:说明「感知题别人已经很难/已经很高」「科学 Agent 的 Strict 完成率仍然低」——用来定调与对比叙事,不是用来填你们的 mean 列。
- 若要把某公开模型「变成 T1 一行」:必须在同一
paper-v1-test+ 同一评测脚本下重跑或严格复现;否则一律标source=literature。
论文表缺口(相对 T0/T1)
| 论文表 | 现在 | 下一步(P0/P1) |
|---|---|---|
| T0 verified | 只有 library 覆盖 | 冻结 paper-v1-test(40–50),Reference 全通过 |
| T1 主结果 | 本地已导入(含 Qwen×DM3 option);分母不是冻结集 | 同集同规:Reference + ≥2 模型 × (bare-llm / tool-augmented);DM3 扩 section/mask |
| T2 消融 | 三档产物在盘,未对齐同题 | 按 task_id 出三列表 |
| T3/T4 | 未做 | 切片 + failure 计数 |
提交约定(新跑分):
experiment_id = paper-v1
model_name / model_provider / agent_framework / run_id = 必填
执行机与缺口(摘要)
盘点主机 ecs-d88e。详情仍以执行机 /data2/hazardX 为准。
| 已有 | 仍缺(挡论文) |
|---|---|
| 信封 6 批次;no-tool / tool / reference / GLM(EarthVerse) / Qwen(DM3 option);工具库;评测器 | paper-v1-test 冻结;DM3 section/mask AI;Track B 扩容;真时序 L2;滑坡 L4 / 山火工具题 |
多结果库已含 local-baseline-v0.1(含 Qwen 2762) | 正式主表应改用 paper-v1;DisasterM3 勿把 no-tool 地板写成模型成绩 |
审查台 / MCP
- 入口:https://hazard.simashuhui.cn/
- 试验统计已可读导入后的 model / framework(不再是 unknown)
- MCP:
bench_submit_answer时带上实验字段;bench_experiment_stats看聚合