灾害智能体 · Proposal
主材料:Multi-Hazard Agent Benchmark — Technical Roadmap and Task Assignment(Task.docx)。
本页是方案 / 任务书展开(原 §1–§7)。跑分、覆盖表、本地 baseline 导入结果见 Experiment。
1. 研究目标与三阶段(Task.docx)
| 阶段 | 做什么 |
|---|---|
| Stage 1 — Dataset Unification | 统一 DORA、GeoDisaster、DisasterM3、DisasterBench 的灾害分类、任务分类、数据格式及评价标准 |
| Stage 2 — Dataset Extension | 按覆盖缺口,优先补充 Monitoring、Impact Assessment、Response 任务 |
| Stage 3 — Agent Benchmark | 建立可执行工具环境、任务工作流、参考答案和自动评测,对通用 AI Agents 开展测试 |
整体技术路线:
Existing Datasets
→ Unified Taxonomy & Schema
→ Hazard–Task Coverage Analysis
→ Data Extension
→ Verifiable Task Construction
→ Agent Tool Execution
→ Evaluation
2. Benchmark 设计(Task.docx §2)
2.1 重点灾害
| 类别 | 子类型 |
|---|---|
| Flood | River Flood、Urban Flood、Flash Flood |
| Landslide | Landslide、Debris Flow、Rockfall |
| Wildfire | Fire Extent、Fire Damage、Fire-related Exposure |
四套原始数据中的 Earthquake、Hurricane、Tsunami、Volcano 等先做分类统计。第一版不要求所有灾害都具备完整端到端任务。
2.2 任务层级 L1–L5
| Level | Task | Examples |
|---|---|---|
| L1 | Perception | Recognition、Classification、Segmentation |
| L2 | Monitoring | Change Detection、Temporal Comparison |
| L3 | Impact Assessment | Affected Area、Buildings、Roads、Population Exposure |
| L4 | Response | Accessibility、Constrained Routing、Facility Selection |
| L5 | Synthesis | Multi-step Analysis、Evidence-based Reporting |
每个任务还要标注能力:Multimodal Understanding、Spatial Reasoning、Temporal Reasoning、Tool Use & Planning、Evidence Grounding、Error Detection / Uncertainty Handling。
必须区分:视觉感知任务 vs 使用参考掩膜的 GIS 任务。后者测的是推理、规划与工具执行,不能直接代表感知模型性能。
2.3 两条评分轨
| Track | 内容 | 本阶段角色 |
|---|---|---|
| A — Perception & Understanding | 基于图像、VQA 和参考标签,评灾害类型识别、视觉理解、基础变化分析 | 分开评分 |
| B — Tool-grounded Disaster Agent | 提供已验证灾害范围 / GIS 图层等明确输入,通过工具调用做 Monitoring、Impact、Response | 主要开发对象 |
两个 Track 分开评分;未来可扩展为完整端到端 Agent。
3. 数据侧任务(Task.docx §3)
写论文时,§3 对应的不是「库里有多少信封」,而是 Dataset / Coverage 表:Hazard × Level × Track 上有多少条 经参考工作流验证、可自动评分 的正式题。对应实验设计与 T0 表见 Experiment。
Task 1.1 调研并统一已有数据集
四套:DORA、GeoDisaster、DisasterM3、DisasterBench。每套至少记录:灾害类别、地理覆盖、事件/场景/任务量、模态、任务类型、标注与 ground truth、评价指标、可得性与 license。
两个核心矩阵:
- Matrix A:Dataset × Hazard
- Matrix B:Hazard × Task × Dataset
论文报告的任务数 ≠ 实际可获取的数据量,必须分开记。
Task 1.2 统一数据 Schema
至少包含:event_id, task_id, source_dataset, hazard_type, task_level, data_modality, input_files, CRS, observation_time, reference_answer, evaluation_metric, license。
做转换脚本统一 ID 与标签;不得删除原始来源和标注信息。
Task 1.3 按覆盖矩阵扩展任务
优先用已有数据 + 确定性 GIS 运算出题,不从头训分割/预测模型。可用 Copernicus EMS、遥感与 OSM/GIS 辅助数据。只有具备真实时间信息的观测才能进入 Monitoring。
| 灾害 | 优先补充 |
|---|---|
| Flood | Extent Comparison、Area Calculation、Building/Road/Population Exposure、Flood-aware Road Accessibility |
| Landslide | Extent Analysis、Pre/Post-event Change、Affected Road / Infrastructure |
| Wildfire | Burned Area Estimation、Fire Extent Comparison、Infrastructure / Population Exposure |
Task 1.4 Ground Truth
参考答案必须由可复现脚本或可信原始标签产生,禁止用 LLM 生成的数值当 GT。例如:
- Flood Polygon ∩ Building Footprints → 暴露建筑数
- t1/t2 淹没范围差 → 变化面积
- Hazard Extent + 路网封闭 → 可达性
Task 1.5 质量控制
检查:事件级重复、空间参考与单位、时间一致性、几何合法性、GT 正确性、出处、再分发限制;建立按真实事件隔离的开发集 / 测试集。
数据侧交付物: Dataset Review & Coverage Matrix、Unified Hazard/Task Taxonomy、Unified Dataset Schema、Dataset Adapters、Extended Monitoring/Impact Dataset、Ground Truth Generation Scripts、Final Data Catalog & Quality Report。
4. Agent 侧任务(Task.docx §4)
写论文时,§4 对应 Main Results + Ablation + Tool/Failure 分析:同一冻结测试集上,No-tool / Tool-Augmented / Reference × 多种模型与 Agent 框架。见 Experiment 的 E2–E5 / T1。
Task 2.1 Agent Task Schema
每条任务包含:Task Instruction、Input Data Manifest、Available Tools、Required Output、Reference Answer、Executable Reference Workflow、Evaluation Rules。
Agent 接收自然语言,通过调用工具得到结构化答案,而不是从预定义选项里点选。
Task 2.2 核心 GIS 工具库(约 8–10 个)
inspect_data、load_layer、reproject_geometry、calculate_area、spatial_intersection、temporal_difference、calculate_exposure、identify_blocked_roads、calculate_route、generate_summary。
优先 Python + GeoPandas / Rasterio / Shapely / NetworkX。每个工具要有明确 I/O、异常处理与测试;Benchmark 使用固定版本数据与工具,避免实时外部 API 漂移。
Task 2.3 至少三种多步工作流
| Workflow | 路径 |
|---|---|
| A · Flood Monitoring | 带时戳淹没层 → 比范围 → 算变化 → 结构化结果 |
| B · Disaster Impact | 灾害范围 → 基础设施 → 空间叠加 → 暴露量 → 评估 |
| C · Disaster Response | 灾害范围 → 道路封闭规则 → 可达设施 → 可行路径 → 结果 |
Response 必须写清模拟或观测约束;基于简单道路封闭规则的路径,不得称为真实安全撤离路线。
Task 2.4 自动评测
| 维度 | 评价 |
|---|---|
| Final Answer | Exact Match / Numerical Error |
| Spatial Output | IoU / Geometry Agreement |
| Tool Use | Tool Validity / Parameter Correctness |
| Task Execution | Task Success Rate |
| Response | Feasibility / Constraint Satisfaction |
| Robustness | Unsupported Answer / Failure Recognition |
| Efficiency | Tool Calls / Execution Time |
优先确定性自动评测;文本报告可加人评,不能完全依赖 LLM-as-Judge。
Task 2.5 Baseline
- No-tool LLM/VLM:不调 GIS 工具,只用允许的原始输入
- Tool-Augmented Agent:通用模型自主选工具执行
- Reference Workflow:确定性 GIS 参考流程,验证任务可解
至少测两种通用模型配置并记日志。分析:按灾害类型、按任务层级、工具失败、多步复杂度、有/无工具。
Agent 侧交付物: Agent Task Schema、GIS Tool Library、Agent Execution Environment、Multi-step Benchmark Tasks、Automatic Evaluator、Baseline Experiments、Evaluation Report and Failure Analysis。
5. 六周计划与硬规定(Task.docx §5)
相对论文时间线:W4 冻结测试集与评分规则 → W5 跑满三档 Baseline + Failure Analysis → W6 填齐主表与消融。缓冲周只修洞、不改题。实验 ID 建议用 paper-v1-*;结果写入审查台,详见 Experiment。
| 周次 | 里程碑(摘自 Task.docx) |
|---|---|
| W1(10/12–18) | 四套数据调研 + Coverage Matrix;Dataset Schema v0.1、Agent Task Schema v0.1;Schema 与工具接口定稿 |
| W2(10/19–25) | 首批 Flood 转换;Flood Monitoring/Impact + GT;基础 GIS 工具;至少一个真实数据端到端:Data → Tools → 结构化输出 → GT 评测 |
| W3(10/26–11/1) | Flood/Landslide/Wildfire 初步任务集;约 8–10 工具可跑;约 20–30 个已验证任务 |
| W4(11/2–8) | Monitoring/Impact/Response 完善;Flood Response 等;自动评测器;Benchmark v0.1 约 40 题;冻结测试任务与评分规则 |
| W5(11/9–15) | 质量控制 + 事件级划分;三档 Baseline + 初步 Failure Analysis |
| W6(11/16–22) | 最终数据整合、文档、Baseline 对比、复现;MVP v1.0 |
| 缓冲(11/23–30) | 修问题、发布准备、论文 Dataset/Methodology 整理 |
硬规定:
- W1 结束前确定 Schema 和工具接口。
- W2 必须完成一个真实数据上的端到端可执行任务。
- W4 冻结测试任务和评分规则,禁止根据模型结果改答案。
- W6 所有正式任务必须通过参考工作流和自动评分测试。
- 原始数据集拿不到时,用已确认可用的公共数据替代,不要干等下载权限。
6. 预期交付(Task.docx §6)
| Item | Target |
|---|---|
| Dataset review | 4 个现有数据集 |
| Primary hazards | Flood、Landslide、Wildfire |
| Task levels | Perception、Monitoring、Impact、Response |
| Verified benchmark tasks | 40–50 |
| Multi-step executable tasks | 至少 20 |
| Core tools | 8–10 |
| Agent baselines | 至少 2 种模型配置 |
| Reference workflows | 所有可执行任务均具备 |
| Data split | Event-disjoint Development / Test |
| Release | Dataset Metadata、Tasks、Tools、Evaluator、Reproducibility Guide |
数量是工程目标,不以牺牲 Ground Truth 质量凑数。未取得原始数据、缺可验证空间标签、或再分发受限 → 标 Not Available / Not Eligible,不计入已完成评测实例。
7. 协作与仓库(Task.docx §7)
建议仓库结构:
multi_hazard_agent_benchmark/
├── catalog/ schemas/ data_adapters/ observations/
├── tasks/ gold/ tools/ agent_runner/
├── evaluators/ baselines/ tests/ docs/
一人偏数据、任务与参考答案;一人偏 Agent、工具与评测器。第一周共同定接口,之后并行。每周检查:完成项、新增可验证任务数、可跑示例、问题与下周计划。
Final Objective: 在六周内交付可复现的多灾害 Agent Benchmark——标准化灾害任务、可执行地理空间工作流、可验证答案,以及对通用 AI Agents 的初步评测。
下一步
- 看实测与论文表:Experiment
- 返回入口:灾害智能体