灾害智能体 · Experiment

本页放实测与论文表:本地 baseline 导入、T0 / T1、后续实验缺口。方案正文见 Proposal。

T0 当前是「信封库覆盖」,不是论文 verified 冻结集。T1 是已导入本地跑分的聚合,尚未对齐 paper-v1-test。库内条数 ≠ 可写进论文主表的题量。

生成时间:2026-11-19(脚本 review_console/import_local_runs.py,experiment_id=local-baseline-v0.1)。原始 JSON:执行机 review_console/paper_tables/。

导入摘要

项值
多结果库agent_exchange/submissions.sqlite
导入行数68088(含 Qwen DM3 新插入 2762;其余更新)
来源agent_runner/outputs/*.predictions.jsonl + evaluators/reports / rounds 中的 scores
审查台统计https://hazard.simashuhui.cn/ 顶部「试验统计」;API /api/runs/stats?experiment_id=local-baseline-v0.1

T0 — 覆盖矩阵(Library coverage)

Paper-ready verified freeze(paper-v1-test,40–50)仍为 not_frozen。下表只反映信封库。

口径数量
Track A · available(库内)65401
Track B · available(库内)2
paper-v1-test verified0(未冻结)

按批次

batchnavailablenot_availablenot_eligible
c_response_floodnet3210
disasterm3511875118700
earthverse2412042710
floodnet_segmentation2343234300
floodnet_vqa9537953700
landslidebench2130213000

Hazard × Level × Track(available)

hazardleveltrackavailablelibrary total
floodL1A1938119381
floodL3A44004400
floodL4A25692571
floodL4B23
floodL5A13261343
landslideL1A23642364
landslideL3A3030
landslideL5A2022
wildfireL1A2114321143
wildfireL3A76857685
wildfireL4A32133214
wildfireL5A32703275

T0 读法: L2 Monitoring 在 available 透视里几乎为空;Track B 仅 flood L4 两题。论文若要报「多灾害 × 多层级 Agent」,必须先冻结 verified 子集并补 L2 / Track B。

基线名怎么读(尤其 no-tool-*)

这些行里的 model_name 多数不是大模型,而是冻结的 确定性策略(policy):不调 GIS 工具、不调外部 API,只根据题面可见字段作答,用来钉住「地板分」和打通评测器。agent_framework=bare-llm 在这里表示「无工具管线」槽位,不等于真的跑了 LLM(GLM 那两行才是真模型)。

T1 里的名字实际是什么题型 / 数据策略(冻结)评分器分数怎么读
no-tool-policy-v0.1FloodNet VQA 文本地板短答 / 计数 VQA(9537)计数→"0";是否问句→"yes";其余→"unknown"。不看图score_track_a(exact)≈0.21:笨规则碰巧对上一部分 yes/no
no-tool-option-v0.1DisasterM3 选择题地板option_select(21671)从题面抓选项字母,答最小字母(常是 A)option_set_match≈0.12:接近「总选 A」的地板
no-tool-section-v0.1DisasterM3 报告地板structured_report(8835)answer=null(诚实不作答)section_field_match=0 是预期:题面无节锚、不看图不能编报告
no-tool-annotation-v0.1LandslideBench 文本地板expert_text(2130)answer=nullannotation_anchored_match=0 是预期:不看图不能填滑坡字段
no-tool-mask-v0.1分割掩膜地板DM3 指代表达分割 + FloodNet Seg(23024)预测全空掩膜(形状取自输入图文件头,不解码像素)mask_iouDM3≈0.39:不少 gold 本身接近空/易得双空约定分;FloodNet Seg=0:语义分割空预测几乎全错
glm-5.2 / glm-5.3智谱 LLM bareEarthVerse det-42真调 API 生成结构化答案score_earthverse_computed_gtexact≈0.048;看 unit_match 更有信息
qwen2.5-vl-7b本地 VLM bareDisasterM3 option(双图 bench)真看图选字母option_set_match≈0.173(478/2762);高于 no-tool≈0.12,仍远低于原文 7B ~31% 量级(协议/子集不同)
tool-policy-v0.1工具增强策略EarthVerse可调工具的本地策略(非 GLM)同上(目前仅部分题有分)勿与 GLM 行混读
reference-workflow参考工作流上界c_response Flood确定性 GIS 回放computed_gt_rule≈1.0:题可解的上界,不是模型能力

一句话:no-tool-* =「不开模型、不用工具」的规则地板;得 0 分常常是策略故意 null,不是评测坏了。

DisasterM3 × Qwen2.5-VL-7B 已跑完并入 T1。

  • 模型:本地 Qwen2.5-VL-7B(/data2/hazardX/models,V100)
  • 范围:dm3:bench:* 且有灾前/灾后图的 option_select 2762 题(bench 共 3012,其余缺双图跳过)
  • 脚本:agent_runner/run_llm_option_disasterm3.py → score_option_set_match.py --skip-policy-replay(12/12 PASS)
  • 成绩:478/2762 = 0.173(L1 0.155 / L3 0.186);set_mismatch 2283,pred_parse 1
  • section / mask 仍只有 no-tool 地板;全量 train option 与原文协议对齐尚未做。

T1 — 主结果(Imported local baselines)

同一次导入的聚合。不同 batch / 指标不可横比成单一榜。GLM×EarthVerse 已用 score_earthverse_computed_gt.py 补评(仅 deterministic 42 题;hybrid 族按规则 blocked 不进分母)。glm-5.1 已删除(40/42 API 失败,无效实验)。

modelproviderframeworkbatchnn_scoredmean(exact)exact_rateunit_match
reference-workflowdeterministicreferencec_response_floodnet321.0000.667—
no-tool-mask-v0.1local-policybare-llmdisasterm320681206810.3930.393—
no-tool-option-v0.1local-policybare-llmdisasterm321671216700.1200.120—
no-tool-section-v0.1local-policybare-llmdisasterm3883588350.0000.000—
qwen2.5-vl-7blocal-qwenbare-llmdisasterm3276227620.1730.173—
glm-5.2zhipubare-llmearthverse42420.0480.0480.187
glm-5.3zhipubare-llmearthverse42420.0480.0480.392
tool-policy-v0.1local-policytool-augmentedearthverse4230.3330.0240.562
no-tool-mask-v0.1local-policybare-llmfloodnet_segmentation234323430.0000.000—
no-tool-policy-v0.1local-policybare-llmfloodnet_vqa953795370.2130.213—
no-tool-annotation-v0.1local-policybare-llmlandslidebench213021300.0000.000—

unit_match = mean_unit_match_fraction:答案里有多少原子单位对上(比整题 exact 更软)。仅 EarthVerse computed_gt 评测器产出;其它 batch 为 —。

EarthVerse · GLM 细读(deterministic 42)

modelexact(满分题)unit_matchreason 概览
glm-5.32/42 = 0.0480.392满分 2;单位不全对 35;解析失败 5
glm-5.22/42 = 0.0480.187满分 2;单位不全对 14;解析失败 26
glm-5.1——已剔除:40/42 API null,不作 baseline

T1 读法(写论文时)

观察含义
Reference @ c_response = 1.0(2/2 可评)Track B 小样可解;不能外推到 40–50 题主表
FloodNet VQA no-tool ≈ 0.21Track A 感知基线有数
DisasterM3 option no-tool ≈ 0.12;section = 0地板仍在;Qwen 已对照
Qwen2.5-VL-7B @ DM3 option0.173(478/2762,双图 bench);相对 no-tool +5.3pt,仍低于原文 7B ~31%(题集/协议不同,勿直接横比)
Mask IoU≈0.39(DisasterM3)vs Seg=0空掩膜 no-tool;DM3 与 FloodNet Seg 须分开展示
DisasterM3 × AI 缺口option bench 已有一行;section / mask / 全量 train / Agent 工具链仍缺
GLM 5.2 / 5.3exact 同为 ≈0.048,但 unit_match 5.3≈0.39 ≫ 5.2≈0.19——5.3 更常「部分算对」;整题仍很难满分
tool-augmented仍仅 3 题有历史分;应对齐同脚本全量补评

T1-ext — 别人公开的 baseline 能不能当参考?

能,但应单列「文献参考」列/附表,不要与本仓库实测行混成同一可复现分母。

数据集有没有公开模型 baseline典型公开数字(原文)和我们 T1 的关系
FloodNet(VQA / Seg)有VQA test:MFB+Co-Attn 0.73 overall;Seg:PSPNet mIoU 79.69(FloodNet 原文 Table)可作 Track A 上界/文献对照。我们 no-tool VQA≈0.21 是通用策略 exact-match,协议不同,不能说「我们比 MFB 差 50 分」
DisasterM3有(原文集中评了多家 VLM)Optical–optical QA AVG 约:GPT-4.1 42.3%、Qwen2.5-VL-72B 40.5%、Qwen2.5-VL-7B ~31% 量级文献可作对照。我们 T1 已有 qwen2.5-vl-7b = 0.173(双图 bench 2762),仍低于原文 7B 量级——分母/题型/提示不同,不能写成「复现失败」
EarthVerse有(原文集中评了 25 套 model/agent)Core:强系统可到 ~70–85;Strict@95 最高仅 ~35%与我们「工具型 Agent」最近。可作文献对照;我们 GLM bare-llm 在 det-42 上 exact≈0.048、unit_match 最高≈0.39,协议不同勿直接横比
LandslideBench公开榜相对弱 / 需再核 LandslideAgent 原文—先当「有数据、文献分待核」;我们 annotation 行为 0,只能说明本策略失败,不能反推数据集无解
DORA / GeoDisaster / DisasterBench论文里通常有 Agent/工具 baseline—数据对本机仍 NA;分数只能引用原文,不能进我们可复现 T1

推荐写法(论文里)

  1. T1 主表:只放本仓库、同冻结集、同评分器跑出来的行(含 Reference 上界)。
  2. T1-ext / Related baselines:单独一小表或一段,引用 FloodNet / DisasterM3 / EarthVerse 原文数字,标注 reported by original paper; not re-run。
  3. 用途:说明「感知题别人已经很难/已经很高」「科学 Agent 的 Strict 完成率仍然低」——用来定调与对比叙事,不是用来填你们的 mean 列。
  4. 若要把某公开模型「变成 T1 一行」:必须在同一 paper-v1-test + 同一评测脚本下重跑或严格复现;否则一律标 source=literature。

论文表缺口(相对 T0/T1)

论文表现在下一步(P0/P1)
T0 verified只有 library 覆盖冻结 paper-v1-test(40–50),Reference 全通过
T1 主结果本地已导入(含 Qwen×DM3 option);分母不是冻结集同集同规:Reference + ≥2 模型 × (bare-llm / tool-augmented);DM3 扩 section/mask
T2 消融三档产物在盘,未对齐同题按 task_id 出三列表
T3/T4未做切片 + failure 计数

提交约定(新跑分):

experiment_id = paper-v1
model_name / model_provider / agent_framework / run_id = 必填

执行机与缺口(摘要)

盘点主机 ecs-d88e。详情仍以执行机 /data2/hazardX 为准。

已有仍缺(挡论文)
信封 6 批次;no-tool / tool / reference / GLM(EarthVerse) / Qwen(DM3 option);工具库;评测器paper-v1-test 冻结;DM3 section/mask AI;Track B 扩容;真时序 L2;滑坡 L4 / 山火工具题
多结果库已含 local-baseline-v0.1(含 Qwen 2762)正式主表应改用 paper-v1;DisasterM3 勿把 no-tool 地板写成模型成绩

审查台 / MCP

  • 入口:https://hazard.simashuhui.cn/
  • 试验统计已可读导入后的 model / framework(不再是 unknown)
  • MCP:bench_submit_answer 时带上实验字段;bench_experiment_stats 看聚合

相关页