2569718930@qq.com
312 lines
8.4 KiB
Markdown
312 lines
8.4 KiB
Markdown
# 模型栈与 DEB 去重规则
|
|
|
|
本文档记录 PolyWeather 当前开放模型接入、区域覆盖差异，以及 DEB 在新增模型后的计权规则。
|
|
|
|
最后更新：`2026-05-28`
|
|
|
|
## 1. 接入方式
|
|
|
|
当前多模型层通过 Open-Meteo model API 接入开放 NWP / AIFS 等预报模型，不直接下载原始 GRIB。
|
|
|
|
入口：
|
|
|
|
- `src/data_collection/nws_open_meteo_sources.py`
|
|
- `WeatherDataCollector.fetch_multi_model(...)`
|
|
|
|
返回结构继续保持向后兼容：
|
|
|
|
- `multi_model.forecasts`
|
|
- `multi_model.daily_forecasts`
|
|
- `multi_model.dates`
|
|
|
|
新增元数据：
|
|
|
|
- `multi_model.provider`
|
|
- `multi_model.model_metadata`
|
|
- `multi_model.model_keys`
|
|
- `multi_model.attribution`
|
|
|
|
Web API 会把这部分元数据挂到：
|
|
|
|
- `source_forecasts.open_meteo_multi_model`
|
|
|
|
## 2. 当前模型清单
|
|
|
|
| 显示名 | Open-Meteo key | 来源 | 层级 | 说明 |
|
|
| --- | --- | --- | --- | --- |
|
|
| ECMWF | `ecmwf_ifs025` | ECMWF | global | IFS 全球传统数值模式 |
|
|
| ECMWF AIFS | `ecmwf_aifs025_single` | ECMWF | aifs_global | ECMWF AIFS 模型；产品文案保留 AIFS 名称，避免和外部泛神经天气模型混淆 |
|
|
| GFS | `gfs_seamless` | NOAA | global | NOAA 全球参考 |
|
|
| ICON | `icon_seamless` | DWD | global | DWD ICON 全球基准 |
|
|
| ICON-EU | `icon_eu` | DWD | regional_europe | 欧洲区域高分辨率 |
|
|
| ICON-D2 | `icon_d2` | DWD | short_range_europe | 欧洲短时高分辨率 |
|
|
| GEM | `gem_seamless` | ECCC | global | 加拿大 GEM seamless |
|
|
| GDPS | `gem_global` | ECCC | global | 加拿大全球模式 |
|
|
| RDPS | `gem_regional` | ECCC | regional_north_america | 北美区域模式 |
|
|
| HRDPS | `gem_hrdps_continental` | ECCC | short_range_north_america | 北美短时高分辨率 |
|
|
| JMA | `jma_seamless` | JMA | global | 日本气象厅全球参考 |
|
|
|
|
## 3. 区域覆盖差异
|
|
|
|
同一个多模型请求会带上完整模型清单，但 Open-Meteo 只会返回覆盖当前坐标的模型字段。区域模型不覆盖时不会进入下游。
|
|
|
|
### 欧洲城市
|
|
|
|
常见模型：
|
|
|
|
- ECMWF
|
|
- ECMWF AIFS
|
|
- GFS
|
|
- ICON
|
|
- ICON-EU
|
|
- ICON-D2
|
|
- GEM / GDPS
|
|
- JMA
|
|
|
|
欧洲高分辨率重点来自 DWD ICON-EU / ICON-D2。
|
|
|
|
### 北美城市
|
|
|
|
常见模型：
|
|
|
|
- ECMWF
|
|
- ECMWF AIFS
|
|
- GFS
|
|
- ICON
|
|
- GEM / GDPS
|
|
- RDPS
|
|
- HRDPS
|
|
- JMA
|
|
- NWS
|
|
|
|
北美高分辨率重点来自 ECCC RDPS / HRDPS，NWS 继续作为美国城市官方预报参考。
|
|
|
|
### 亚洲城市
|
|
|
|
常见模型：
|
|
|
|
- ECMWF
|
|
- ECMWF AIFS
|
|
- GFS
|
|
- ICON
|
|
- GEM / GDPS
|
|
- JMA
|
|
|
|
通常不会出现：
|
|
|
|
- ICON-EU
|
|
- ICON-D2
|
|
- RDPS
|
|
- HRDPS
|
|
|
|
亚洲城市更依赖本地观测增强层，例如 JMA、AMOS（首尔/釜山）、NMC、HKO、CWA、METAR、TAF。
|
|
|
|
## 4. DEB 家族去重
|
|
|
|
DEB 不直接把所有模型按“每个模型一票”计入。新增区域模型后，如果不去重，会造成同一模型机构重复放大。
|
|
|
|
处理入口：
|
|
|
|
- `src/analysis/deb_algorithm.py`
|
|
- `_collapse_forecasts_for_deb(...)`
|
|
- `calculate_dynamic_weights(...)`
|
|
|
|
### DWD ICON 家族
|
|
|
|
归并成员：
|
|
|
|
- ICON
|
|
- ICON-EU
|
|
- ICON-D2
|
|
|
|
优先级：
|
|
|
|
```text
|
|
ICON-D2 > ICON-EU > ICON
|
|
```
|
|
|
|
### ECCC GEM 家族
|
|
|
|
归并成员：
|
|
|
|
- GEM
|
|
- GDPS
|
|
- RDPS
|
|
- HRDPS
|
|
|
|
优先级：
|
|
|
|
```text
|
|
HRDPS > RDPS > GDPS > GEM
|
|
```
|
|
|
|
### 独立保留
|
|
|
|
以下模型路径不合并：
|
|
|
|
- ECMWF IFS
|
|
- ECMWF AIFS
|
|
- GFS
|
|
- JMA
|
|
- MGM
|
|
- NWS
|
|
- HKO
|
|
- Open-Meteo
|
|
|
|
ECMWF IFS 与 ECMWF AIFS 分开保留，因为前者是传统 NWP，后者是 AIFS 模型。
|
|
|
|
## 5. DEB 权重流程
|
|
|
|
当前流程：
|
|
|
|
```text
|
|
raw current_forecasts
|
|
-> 过滤不可用值与排除模型
|
|
-> 按模型家族去重
|
|
-> 历史 MAE 统计
|
|
-> MAE 倒数权重
|
|
-> 输出 raw blended_high
|
|
-> recent signed-bias correction
|
|
-> 输出 production prediction + raw_prediction + version
|
|
```
|
|
|
|
当 `weights_info` 出现 `家族去重`，表示当前输入模型数量多于 DEB 实际入模数量，系统已先折叠同家族模型。
|
|
|
|
### 5.1 DEB hourly consensus
|
|
|
|
当前图表和峰值窗口优先使用 `deb_hourly_consensus.v1`。
|
|
|
|
入口：
|
|
|
|
- `src/analysis/deb_hourly_consensus.py`
|
|
- `web/analysis_service.py`
|
|
- `src/analysis/trend_engine.py`
|
|
|
|
处理逻辑：
|
|
|
|
```text
|
|
multi_model hourly curves
|
|
-> 按 DEB 可用模型和家族去重口径选择候选
|
|
-> 使用 DEB 权重生成逐小时 consensus
|
|
-> 输出 deb.hourly_consensus
|
|
-> 图表 DEB Forecast 与 peak-window 逻辑优先读取该路径
|
|
```
|
|
|
|
关键口径：
|
|
|
|
- `deb_hourly_consensus.v1` 是预测曲线，不是实测曲线。
|
|
- 它只用于日内形状、峰值窗口和 DEB Forecast 展示；视觉预警和“接近峰值”状态必须优先读取实测/跑道/官方站点当前值与今日实测高点。
|
|
- 如果多模型小时路径缺失，系统才回退旧的 `hourly_plus_deb_offset`。
|
|
|
|
### 5.2 版本化预测与偏差校正
|
|
|
|
DEB 原始融合逻辑不推倒重写，`calculate_dynamic_weights(...)` 仍作为 raw baseline。线上生产入口使用 `calculate_deb_prediction(...)` 包装 raw baseline，并在有足够历史样本时追加城市级 recent signed-bias correction。
|
|
|
|
当前版本：
|
|
|
|
- `deb_v1_raw`：原始 DEB，最近模型误差倒数加权后的融合值。
|
|
- `deb_v1_recent_bias_corrected`：在 raw DEB 上叠加最近已结算样本的有符号偏差校正。偏差使用 shrinkage，样本少时自动收缩，避免单日异常过拟合。
|
|
|
|
API `deb` payload 会保留：
|
|
|
|
- `prediction`：当前生产使用值。
|
|
- `raw_prediction`：未经 recent-bias correction 的原始 DEB。
|
|
- `version`：生产值对应的 DEB 版本。
|
|
- `bias_adjustment` / `bias_samples`：城市级偏差校正幅度与训练样本数。
|
|
- `intraday_adjustment`：网页 full detail 中额外的日内观测路径修正，仅用于当前日实时展示。
|
|
|
|
版本化回测命令：
|
|
|
|
```bash
|
|
python scripts/backtest_deb_versions.py \
|
|
--output-json data/deb_backtest_latest.json \
|
|
--output-csv data/deb_backtest_latest.csv
|
|
```
|
|
|
|
本地 `data/polyweather.db` 于 2026-05-27 的回测样本显示：
|
|
|
|
| 版本 | 样本 | MAE | RMSE | Bias | 结算桶命中率 |
|
|
| --- | ---: | ---: | ---: | ---: | ---: |
|
|
| `deb_v1_raw` | 1272 | 1.626 | 2.602 | -0.633 | 25.8% |
|
|
| `deb_v1_recent_bias_corrected` | 1272 | 1.499 | 2.542 | +0.263 | 31.4% |
|
|
|
|
该结果只证明当前历史样本上的离线表现改善；后续仍需要持续用版本化回测追踪不同城市、季节与结算源下的漂移。
|
|
|
|
## 6. 前端展示
|
|
|
|
网页的模型展示读取：
|
|
|
|
- `multi_model`
|
|
- `multi_model_daily`
|
|
- `source_forecasts.open_meteo_multi_model.model_metadata`
|
|
- `deb.hourly_consensus`
|
|
|
|
显示分组：
|
|
|
|
- 全球基准
|
|
- AIFS 模型
|
|
- 欧洲高分辨率
|
|
- 北美高分辨率
|
|
|
|
展示字段：
|
|
|
|
- 可用模型数量
|
|
- 模型分歧 spread
|
|
- 来源
|
|
- provider
|
|
- model
|
|
- resolution
|
|
- horizon
|
|
|
|
区域模型不覆盖时不显示空模型。
|
|
|
|
终端图表默认：
|
|
|
|
- 展示“全天”视图，按城市当地日 00:00-23:59 和真实观测时间绘制。
|
|
- 可选“高温”视图，窗口由 `deb_hourly_consensus.v1` 的峰值区域推导。
|
|
- DEB Forecast 使用橙色预测曲线；实测/跑道/官方站点曲线独立展示，不把 DEB 当成实测。
|
|
- legacy 高斯概率显示为水平温度带和 `mu` 参考线，不参与时间序列曲线。
|
|
|
|
### 6.1 “来源 Open-Meteo”是什么意思
|
|
|
|
前端中的 `来源 - Open-Meteo` 表示本次多模型数据通过 Open-Meteo model API 归一化接入。
|
|
|
|
它不表示：
|
|
|
|
- Open-Meteo 是单一数值模型
|
|
- Open-Meteo 生成了所有预报
|
|
- ECMWF / DWD / ECCC / NOAA / JMA 的机构来源被替换
|
|
|
|
所以模型行仍会分别展示：
|
|
|
|
- 机构：例如 ECMWF、DWD、ECCC、NOAA、JMA
|
|
- 接入接口：例如 Open-Meteo
|
|
- 模型 key：例如 `ecmwf_ifs025`、`icon_d2`、`gem_hrdps_continental`
|
|
|
|
### 6.2 模型区间、校准概率、市场参考的关系
|
|
|
|
当前前端把三层拆开展示：
|
|
|
|
- `模型区间与分歧`：解释不同模型当前给出的最高温范围和分歧，不直接等于命中概率。
|
|
- `市场参考`：只展示市场价格和错价背景，不再作为主判断，也不默认输出 BUY YES / BUY NO。
|
|
|
|
模型票数只用于解释“哪些模型支持某个档位”，不等于最终概率。最终概率应优先读取 `probabilities.engine` 对应的校准分布。
|
|
|
|
## 7. 测试覆盖
|
|
|
|
相关测试：
|
|
|
|
- `tests/test_multi_model_sources.py`
|
|
- `tests/test_deb_model_family.py`
|
|
- `tests/test_deb_evaluation_upgrade.py`
|
|
|
|
重点覆盖：
|
|
|
|
- Open-Meteo 多模型解析
|
|
- 新模型元数据输出
|
|
- 区域模型缺失时降级
|
|
- DEB 家族去重
|
|
- 历史不足时的去重等权
|
|
- 有历史 MAE 时的去重动态权重
|
|
- DEB raw/corrected 版本化评估、recent-bias correction、JSON/CSV 回测输出
|