灾害智能体 · Proposal

主材料:Multi-Hazard Agent Benchmark — Technical Roadmap and Task Assignment(Task.docx)。

本页是方案 / 任务书展开(原 §1–§7)。跑分、覆盖表、本地 baseline 导入结果见 Experiment。

技术主位在智能体(工具调用、规划、评测)和多模态大模型。空间运算走工具环境。Track B(工具接地)是本阶段主要开发对象;与 Track A 分开评分。

1. 研究目标与三阶段(Task.docx)

阶段做什么
Stage 1 — Dataset Unification统一 DORA、GeoDisaster、DisasterM3、DisasterBench 的灾害分类、任务分类、数据格式及评价标准
Stage 2 — Dataset Extension按覆盖缺口,优先补充 Monitoring、Impact Assessment、Response 任务
Stage 3 — Agent Benchmark建立可执行工具环境、任务工作流、参考答案和自动评测,对通用 AI Agents 开展测试

整体技术路线:

Existing Datasets
  → Unified Taxonomy & Schema
  → Hazard–Task Coverage Analysis
  → Data Extension
  → Verifiable Task Construction
  → Agent Tool Execution
  → Evaluation

2. Benchmark 设计(Task.docx §2)

2.1 重点灾害

类别子类型
FloodRiver Flood、Urban Flood、Flash Flood
LandslideLandslide、Debris Flow、Rockfall
WildfireFire Extent、Fire Damage、Fire-related Exposure

四套原始数据中的 Earthquake、Hurricane、Tsunami、Volcano 等先做分类统计。第一版不要求所有灾害都具备完整端到端任务。

2.2 任务层级 L1–L5

LevelTaskExamples
L1PerceptionRecognition、Classification、Segmentation
L2MonitoringChange Detection、Temporal Comparison
L3Impact AssessmentAffected Area、Buildings、Roads、Population Exposure
L4ResponseAccessibility、Constrained Routing、Facility Selection
L5SynthesisMulti-step Analysis、Evidence-based Reporting

每个任务还要标注能力:Multimodal Understanding、Spatial Reasoning、Temporal Reasoning、Tool Use & Planning、Evidence Grounding、Error Detection / Uncertainty Handling。

必须区分:视觉感知任务 vs 使用参考掩膜的 GIS 任务。后者测的是推理、规划与工具执行,不能直接代表感知模型性能。

2.3 两条评分轨

Track内容本阶段角色
A — Perception & Understanding基于图像、VQA 和参考标签,评灾害类型识别、视觉理解、基础变化分析分开评分
B — Tool-grounded Disaster Agent提供已验证灾害范围 / GIS 图层等明确输入,通过工具调用做 Monitoring、Impact、Response主要开发对象

两个 Track 分开评分;未来可扩展为完整端到端 Agent。

3. 数据侧任务(Task.docx §3)

写论文时,§3 对应的不是「库里有多少信封」,而是 Dataset / Coverage 表:Hazard × Level × Track 上有多少条 经参考工作流验证、可自动评分 的正式题。对应实验设计与 T0 表见 Experiment。

Task 1.1 调研并统一已有数据集

四套:DORA、GeoDisaster、DisasterM3、DisasterBench。每套至少记录:灾害类别、地理覆盖、事件/场景/任务量、模态、任务类型、标注与 ground truth、评价指标、可得性与 license。

两个核心矩阵:

  • Matrix A:Dataset × Hazard
  • Matrix B:Hazard × Task × Dataset

论文报告的任务数 ≠ 实际可获取的数据量,必须分开记。

Task 1.2 统一数据 Schema

至少包含:event_id, task_id, source_dataset, hazard_type, task_level, data_modality, input_files, CRS, observation_time, reference_answer, evaluation_metric, license。
做转换脚本统一 ID 与标签;不得删除原始来源和标注信息。

Task 1.3 按覆盖矩阵扩展任务

优先用已有数据 + 确定性 GIS 运算出题,不从头训分割/预测模型。可用 Copernicus EMS、遥感与 OSM/GIS 辅助数据。只有具备真实时间信息的观测才能进入 Monitoring。

灾害优先补充
FloodExtent Comparison、Area Calculation、Building/Road/Population Exposure、Flood-aware Road Accessibility
LandslideExtent Analysis、Pre/Post-event Change、Affected Road / Infrastructure
WildfireBurned Area Estimation、Fire Extent Comparison、Infrastructure / Population Exposure

Task 1.4 Ground Truth

参考答案必须由可复现脚本或可信原始标签产生,禁止用 LLM 生成的数值当 GT。例如:

  • Flood Polygon ∩ Building Footprints → 暴露建筑数
  • t1/t2 淹没范围差 → 变化面积
  • Hazard Extent + 路网封闭 → 可达性

Task 1.5 质量控制

检查:事件级重复、空间参考与单位、时间一致性、几何合法性、GT 正确性、出处、再分发限制;建立按真实事件隔离的开发集 / 测试集。

数据侧交付物: Dataset Review & Coverage Matrix、Unified Hazard/Task Taxonomy、Unified Dataset Schema、Dataset Adapters、Extended Monitoring/Impact Dataset、Ground Truth Generation Scripts、Final Data Catalog & Quality Report。

4. Agent 侧任务(Task.docx §4)

写论文时,§4 对应 Main Results + Ablation + Tool/Failure 分析:同一冻结测试集上,No-tool / Tool-Augmented / Reference × 多种模型与 Agent 框架。见 Experiment 的 E2–E5 / T1。

Task 2.1 Agent Task Schema

每条任务包含:Task Instruction、Input Data Manifest、Available Tools、Required Output、Reference Answer、Executable Reference Workflow、Evaluation Rules。
Agent 接收自然语言,通过调用工具得到结构化答案,而不是从预定义选项里点选。

Task 2.2 核心 GIS 工具库(约 8–10 个)

inspect_data、load_layer、reproject_geometry、calculate_area、spatial_intersection、temporal_difference、calculate_exposure、identify_blocked_roads、calculate_route、generate_summary。

优先 Python + GeoPandas / Rasterio / Shapely / NetworkX。每个工具要有明确 I/O、异常处理与测试;Benchmark 使用固定版本数据与工具,避免实时外部 API 漂移。

Task 2.3 至少三种多步工作流

Workflow路径
A · Flood Monitoring带时戳淹没层 → 比范围 → 算变化 → 结构化结果
B · Disaster Impact灾害范围 → 基础设施 → 空间叠加 → 暴露量 → 评估
C · Disaster Response灾害范围 → 道路封闭规则 → 可达设施 → 可行路径 → 结果

Response 必须写清模拟或观测约束;基于简单道路封闭规则的路径,不得称为真实安全撤离路线。

Task 2.4 自动评测

维度评价
Final AnswerExact Match / Numerical Error
Spatial OutputIoU / Geometry Agreement
Tool UseTool Validity / Parameter Correctness
Task ExecutionTask Success Rate
ResponseFeasibility / Constraint Satisfaction
RobustnessUnsupported Answer / Failure Recognition
EfficiencyTool Calls / Execution Time

优先确定性自动评测;文本报告可加人评,不能完全依赖 LLM-as-Judge。

Task 2.5 Baseline

  1. No-tool LLM/VLM:不调 GIS 工具,只用允许的原始输入
  2. Tool-Augmented Agent:通用模型自主选工具执行
  3. Reference Workflow:确定性 GIS 参考流程,验证任务可解

至少测两种通用模型配置并记日志。分析:按灾害类型、按任务层级、工具失败、多步复杂度、有/无工具。

Agent 侧交付物: Agent Task Schema、GIS Tool Library、Agent Execution Environment、Multi-step Benchmark Tasks、Automatic Evaluator、Baseline Experiments、Evaluation Report and Failure Analysis。

5. 六周计划与硬规定(Task.docx §5)

相对论文时间线:W4 冻结测试集与评分规则 → W5 跑满三档 Baseline + Failure Analysis → W6 填齐主表与消融。缓冲周只修洞、不改题。实验 ID 建议用 paper-v1-*;结果写入审查台,详见 Experiment。

周次里程碑(摘自 Task.docx)
W1(10/12–18)四套数据调研 + Coverage Matrix;Dataset Schema v0.1、Agent Task Schema v0.1;Schema 与工具接口定稿
W2(10/19–25)首批 Flood 转换;Flood Monitoring/Impact + GT;基础 GIS 工具;至少一个真实数据端到端:Data → Tools → 结构化输出 → GT 评测
W3(10/26–11/1)Flood/Landslide/Wildfire 初步任务集;约 8–10 工具可跑;约 20–30 个已验证任务
W4(11/2–8)Monitoring/Impact/Response 完善;Flood Response 等;自动评测器;Benchmark v0.1 约 40 题;冻结测试任务与评分规则
W5(11/9–15)质量控制 + 事件级划分;三档 Baseline + 初步 Failure Analysis
W6(11/16–22)最终数据整合、文档、Baseline 对比、复现;MVP v1.0
缓冲(11/23–30)修问题、发布准备、论文 Dataset/Methodology 整理

硬规定:

  • W1 结束前确定 Schema 和工具接口。
  • W2 必须完成一个真实数据上的端到端可执行任务。
  • W4 冻结测试任务和评分规则,禁止根据模型结果改答案。
  • W6 所有正式任务必须通过参考工作流和自动评分测试。
  • 原始数据集拿不到时,用已确认可用的公共数据替代,不要干等下载权限。

6. 预期交付(Task.docx §6)

ItemTarget
Dataset review4 个现有数据集
Primary hazardsFlood、Landslide、Wildfire
Task levelsPerception、Monitoring、Impact、Response
Verified benchmark tasks40–50
Multi-step executable tasks至少 20
Core tools8–10
Agent baselines至少 2 种模型配置
Reference workflows所有可执行任务均具备
Data splitEvent-disjoint Development / Test
ReleaseDataset Metadata、Tasks、Tools、Evaluator、Reproducibility Guide

数量是工程目标,不以牺牲 Ground Truth 质量凑数。未取得原始数据、缺可验证空间标签、或再分发受限 → 标 Not Available / Not Eligible,不计入已完成评测实例。

7. 协作与仓库(Task.docx §7)

建议仓库结构:

multi_hazard_agent_benchmark/
├── catalog/  schemas/  data_adapters/  observations/
├── tasks/  gold/  tools/  agent_runner/
├── evaluators/  baselines/  tests/  docs/

一人偏数据、任务与参考答案;一人偏 Agent、工具与评测器。第一周共同定接口,之后并行。每周检查:完成项、新增可验证任务数、可跑示例、问题与下周计划。

Final Objective: 在六周内交付可复现的多灾害 Agent Benchmark——标准化灾害任务、可执行地理空间工作流、可验证答案,以及对通用 AI Agents 的初步评测。


下一步