gavindiaz/PolyWeather
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,747 Commits 12 Branches 19 Tags
1a7d2a487fed2b57df30a720577a290aaa8a5dfe
Commit Graph
160 Commits
Author SHA1 Message Date
2569718930@qq.com bbd7c768f8 feat: implement live temperature threshold charting component with SSE patch support and data collection logic 2026-05-27 08:42:08 +08:00
2569718930@qq.com 2670e2f8ee feat: implement interactive temperature chart dashboard with runway trend visualization and multi-source data collection support 2026-05-27 01:16:49 +08:00
2569718930@qq.com 88b80d66e8 全局替换旧域名 polyweather-pro.vercel.app → polyweather.top 
- payment-host: 移除 vercel 域名，加 www.polyweather.top
- CORS: 移除 vercel，加 www
- bot: 绑定链接 + 市场概览提示
- weather_sources: User-Agent
 2026-05-26 19:53:47 +08:00
2569718930@qq.com 7045e11082 修复 weather_sources.py MADIS cache 清理中未定义的 now 变量 2026-05-26 10:40:00 +08:00
2569718930@qq.com 23882ac1ef SSE Patch 增量推送架构全链路实现 
- web/sse_manager.py: asyncio.Queue 连接池 + broadcast + event_stream
- web/routers/sse_router.py: GET /api/events + POST /api/internal/collector-patch
- weather_sources.py: 采集后 POST patch 给 web
- Nginx polyweather.conf: /api/events proxy_buffering off
- frontend/api/events/route.ts: Next.js SSE 代理
- frontend/hooks/use-sse-patches.ts: EventSource + useLatestPatch + 重连
- LiveTemperatureThresholdChart: mergePatchIntoHourly 增量合并
- scan-terminal-query: 接入 SSE patch 更新行数据
- 新增 ssePatchArchitecture.test.ts 架构测试
 2026-05-26 10:39:17 +08:00
2569718930@qq.com 6e6d27f323 莫斯科数据源简化：移除 METAR 集群 + NOAA 结算，仅保留 UUWW 单站 
- city_registry: settlement_source noaa → metar
- weather_sources: 移除 Moscow METAR cluster 5 站配置
- country_networks: 删除 RussiaStationWebNetworkProvider 类
- 文档: Tier 4 备注更新
 2026-05-26 09:20:49 +08:00
2569718930@qq.com 0fffc0faa1 修复 weather_sources.py 缺少 timezone 导入 2026-05-26 09:14:34 +08:00
2569718930@qq.com 45365df694 CoWIN 6087 历史持久化 + 跑道曲线聚合 + 模型区间修复 + HKO 曲线对调 + 毛玻璃加载层 
- weather_sources: CoWIN 1min 观测写入 official_intraday_observations_store
- country_networks: cowin_obs 源从 DB 回读 1min 历史，不复用 VHHH METAR
- analysis_service: 跑道实测 36h 历史按跑道分组，透传至前端
- scan_terminal_city_row: model_cluster_sources fallback 修复 + runway_plate_history
- 前端: CoWIN 6087 升级为主轴实线，HKO 退为虚线，VHHH METAR 轻虚线
- 前端: Loading 升级为毛玻璃全卡蒙层
 2026-05-26 09:13:39 +08:00
2569718930@qq.com 20d53e1ae2 新增 CoWIN 6087 数据源：香港保良局陳守仁小學 1 分钟参考站 
- cowin_sources.py：从 cowin.hku.hk API 抓取站 6087 的逐分钟温度
- weather_sources.py：CowinSourceMixin 接入采集链，优先级高于 HKO
- country_networks.py：_airport_primary_from_raw 加入 COWIN 优先检查
  airport_primary.source_label 显示为 CoWIN 6087，前端图表默认可见
 2026-05-26 07:52:49 +08:00
2569718930@qq.com b3aabe61ce 清理市场概览残留与 refresh_policy 中的 marketOverview 条目 2026-05-25 23:06:44 +08:00
2569718930@qq.com ea5c6ec71e 清理市场概览残留：删除 MarketOverviewBanner+refresh_policy 中的 marketOverview 条目 2026-05-25 23:04:40 +08:00
2569718930@qq.com 7b8826dfa1 清理最后一批 Polymarket 注释+死代码 WeatherDecisionBand 2026-05-25 20:53:03 +08:00
2569718930@qq.com bf4be0436b 完成 lau fau shan → shenzhen 全量重命名，前端库和文档同步更新 2026-05-25 06:10:54 +08:00
2569718930@qq.com ad936bfd91 Telegram 高频推送内存优化：LRU 缓存限制、TTL 驱逐、速率控制、连接复用 
core.py: _cache 改用 LRUDict(maxsize=256) + threading.Lock 线程安全读写
analysis_service.py: _CACHE_LOCK 保护读写，_SUMMARY_CACHE 改用 LRUDict(maxsize=128)
weather_sources.py: 新增 _maybe_trim_caches() 定期清理 11 个过期缓存条目，防止无限增长
telegram_push.py: requests.Session 连接复用替代裸 requests.get，ThreadPoolExecutor 跨周期复用，
新增 _rate_limited_send 消息发送速率控制防止 API 限流堆积

Tested: ruff check 通过, 182 pytest 通过
 2026-05-25 02:20:15 +08:00
2569718930@qq.com 891b4d2422 新增 AEROWEB (Météo-France) 和 NCM (沙特) 实时气象数据源 
AEROWEB: 接入 aviation.meteo.fr，LFPB METAR 2 分钟内可获取，
实测温度替代 AROME 模式预报作为 Paris 电报推送数据源。
登录流程: PHPSESSID + MD5 密码 → ajax/login_valid.php，
Session 20 分钟自动续期，XML 解析提取 tempe/td/dd/ff/qnh。

NCM: 沙特气象局 Meteomatics API 代码框架，待凭证激活。
Jeddah settlement_source 从废弃的 wunderground 迁移至 ncm。

同时清理: 日志文件 trading_system.log → polyweather.log，
删除 2026-02-07 的 1.2MB 废弃交易引擎日志。

Constraint: AEROWEB 需 AEROWEB_USERNAME/AEROWEB_PASSWORD 环境变量
Constraint: NCM 需 NCM_API_USERNAME/NCM_API_PASSWORD 环境变量
Confidence: high
Tested: AEROWEB 登录→取数→解析端到端验证通过
 2026-05-22 21:50:37 +08:00
2569718930@qq.com 60ac4bae31 Tel Aviv 机场观测切换至 IMS Lod Airport 实时数据源 
新增 IMS (Israel Meteorological Service) 数据抓取模块，以 Lod Airport
(station 225) 官方观测替代 NOAA METAR LLBG 作为 airport_primary。
IMS 数据接入 _airport_primary_from_raw 优先级链，高于 plain METAR
但保留 METAR 集群回退路径。

Constraint: IMS API (ims.gov.il/en/hourly_observations) 仅每小时更新
Confidence: high
Scope-risk: 仅影响 Tel Aviv 城市，其余 51 城数据流不变
Tested: 端到端验证 IMS 取数 → airport_primary → provider 路由链
 2026-05-22 19:16:34 +08:00
2569718930@qq.com 24f2a82893 feat: fetch and cache hourly multi-model forecast data in SQLite for all cities 2026-05-21 19:50:54 +08:00
2569718930@qq.com 9b2ac614cb 重构跑道观测系统：全跑道展示、结算跑道标注、热力模型、风场分析 2026-05-20 18:16:27 +08:00
2569718930@qq.com a6e7d6682d 移除俄罗斯 pogodaiklimat 数据源：周边观测站不需要 2026-05-19 16:57:00 +08:00
2569718930@qq.com 3ca5b71299 移除 NMC（中国国家气象中心）数据源：无实际使用价值 2026-05-19 16:20:48 +08:00
2569718930@qq.com 7e0d955d22 修复语法错误：多余括号 2026-05-19 15:19:32 +08:00
2569718930@qq.com 4c6a93498c 移除源码中硬编码的 API token：NOAA MesoWest 密钥和 CWA 占位符 2026-05-19 15:18:49 +08:00
2569718930@qq.com fd59cd018d Harden Open-Meteo rate limiting 2026-05-18 00:13:51 +08:00
2569718930@qq.com 22e2409e13 修复 Open-Meteo 冷却期无限循环导致多模型数据缺失 
- fetch_all_sources 新增 om_from_cache_only 模式：force_refresh_observations_only
  时直接从内存缓存取 OM 数据，不发起 HTTP 请求。缓存未命中则跳过，
  避免机场推送 60s 周期持续触发 429 限流
- nws_open_meteo_sources 三类 fetch 函数冷却期加磁盘缓存兜底：
  内存未命中时 force-reload SQLite 磁盘缓存再查一次
- 预热停止后冷却期自然过期（900s），下一次正常请求会填充缓存
 2026-05-17 22:31:10 +08:00
2569718930@qq.com a83200d505 Fix Ankara decision chart model coverage 2026-05-17 19:12:28 +08:00
2569718930@qq.com d39534dff4 机场推送重构：观测缓存分离 + 全城市覆盖 + 四路并发 
- 新增 force_refresh_observations_only 模式：机场推送仅刷新 METAR/AMOS
  观测缓存，多模型预报缓存保留 15 分钟，杜绝 Open-Meteo 429 限流后
  DEB 回退到实测温度的 bug
- 砍掉夜间静默和温度状态机，每条新观测无条件推送
- HIGH_FREQ_AIRPORT_CITIES 从 19 城扩到 30 城（新增 11 个美国城市）
- 美国城市走 airport_primary (MADIS) 优先取温
- 机场周期从串行改为 ThreadPoolExecutor(max_workers=4)，周期时间从
  ~120s 压缩到 ~33s

Constraint: 单核 VPS 安全并发上限
Tested: docker compose up -d --build polyweather 重建后推送正常
 2026-05-17 18:04:05 +08:00
2569718930@qq.com 4cc579ccb3 feat: add AMSC runway observations 2026-05-15 01:41:49 +08:00
2569718930@qq.com 3bca2093f0 修复高频机场数据源：AMOS接入airport_primary、Taipei CWA补充mgm_nearby、Paris AROME缓存 
- Seoul/Busan: AMOS 跑道传感器纳入 airport_primary 链路（MADIS之后、MGM之前）
    - Seoul/Busan: 跑道温度生效时同步更新 current_obs_time，去重不再依赖慢速METAR
    - Taipei: 新增 _attach_cwa_settlement_nearby，将CWA数据注入 mgm_nearby（icao=RCSS）
    - Paris: AROME HD 抓取新增 10分钟内存缓存（模型15分钟更新），obs_time 为空时补 UTC 时间
    - Istanbul/Ankara MGM 链接修复为直接跳转机场站点页面

    Scope-risk: LOW — 170 测试通过，ruff 零告警
    Tested: python -m pytest -q (170 passed), ruff check .
 2026-05-15 00:10:03 +08:00
2569718930@qq.com 8dd9aa59b3 接入新加坡 MSS 1分钟实时温度及 MGM/JMA/FMI/KNMI 高频源到 airport_primary 
- 新建 singapore_mss_sources.py：拉取 data.gov.sg 1分钟干球温度（S24 樟宜站）
- country_networks.py：_airport_primary_from_raw 新增 MGM/JMA/FMI/KNMI/SG_MSS 分支
- weather_sources.py：注入 jma_current/fmi_current/knmi_current/singapore_mss_current
- 前端 MonitorPanel：resolveSourceLabel 根据 airport_primary.source_code 显示数据源标签
- 文档：更新 AIRPORT_REALTIME_SOURCES.md 新增新加坡

Tested: ruff check . ✓  npx tsc --noEmit ✓
 2026-05-14 17:12:11 +08:00
2569718930@qq.com 96676e7097 修正市场监控温度数据源：接入 NOAA MADIS 5分钟高频数据并优化展示 
- 首尔/釜山：隐藏大号跑道温度值，改为"跑道温度"标签（跑道表面温度 ≠ 空气温度）
- US 城市：MADIS HFMETAR 5分钟小数温度接入 airport_primary，前端优先读取
- 其他城市：整数值不再强制 toFixed(1) 追加虚假 .0 精度
- 后端：weather_sources.py 注入 madis_hfmetar_current 到 results
- 后端：country_networks.py 的 _airport_primary_from_raw 新增 MADIS 优先分支
- 文档：更新 AIRPORT_REALTIME_SOURCES.md 新增 11 个 US 城市
- 文档：更新 CLAUDE.md 补充市场监控、高频数据管道、Country Network Provider 架构

Tested: npx tsc --noEmit ✓  ruff check . ✓
 2026-05-14 16:00:55 +08:00
2569718930@qq.com 6c4f43fba6 Aurora→Denver 重命名 + 接入 MADIS HFMETAR 5 分钟数据源 2026-05-14 01:09:17 +08:00
2569718930@qq.com d97bb76480 移除 city_daily_max 表及 upsert 逻辑，日最高已改用 intraday_path_snapshots_store 2026-05-13 21:14:28 +08:00
2569718930@qq.com cac84dcc0c 修复今日最高：新增 city_daily_max 表，所有数据源写入日最高 
- DB: city_daily_max(icao,max_temp,obs_date,max_time) upsert
- AMOS/JMA/KNMI/FMI/HKO/METAR集群/CWA 采集后均写入
- Rust: 读 city_daily_max 获取准确日最高 + 时间
- 卡片恢复 High 行，显示最高温 + 达成时间
- new_high 提醒也基于真实日最高重新生效

Tested: cargo build + ruff check 均通过
 2026-05-13 20:50:46 +08:00
2569718930@qq.com 067ee63ba4 首尔/釜山跑道数据：Python 存 RKSI_RWY_0/1，Rust 查询展示 
- weather_sources: AMOS 采集时每条跑道单独写 airport_obs_log
- Rust: 按 RKSI_RWY_0、RKSI_RWY_1 等 icao 查询跑道温度
- 跑道标签 18L/36R、18R/36L 写死在 config 中
 2026-05-13 20:39:15 +08:00
2569718930@qq.com 041c9fb4fa 撤回 METAR 兜底，改走 CWA 10min 实时数据（需配 API key） 2026-05-13 20:20:16 +08:00
2569718930@qq.com 1d3ccbb7cf 台北走 METAR 集群兜底：ICAO 从 CWA 站号 466920 改为 RCSS 
- weather_sources: 放开 cwa settlement_source 的 METAR 拦截
- Rust: ICAO 改用 RCSS，匹配 METAR 集群数据
- 原因: CWA_OPEN_DATA_AUTH 未配置，CWA 接口静默失败致 airport_obs_log 无数据
 2026-05-13 20:17:12 +08:00
2569718930@qq.com 30b289ec8f 修复机场高频推送：东京ICAO不匹配、釜山缺趋势数据、港/流浮频率及obs_time去重 
- 东京 HIGH_FREQ_AIRPORT_ICAO 从 RJTT 改为 JMA 站号 44166
- 釜山 METAR 集群数据写入 airport_obs_log 供趋势检测
- 香港/流浮山推送间隔从 60s 改为 600s（匹配实际 10min 更新）
- 新增 obs_time 去重：同一观测数据不重复推送

Constraint: JMA AMeDAS 使用站号而非 ICAO 作为站点标识
Tested: ruff check 通过
 2026-05-13 13:45:00 +08:00
2569718930@qq.com fe9bf61ad6 接入香港天文台 HKO + 流浮山 LFS 1分钟实时温度 
HKO 公共天气 API 免费无注册，提供 1 分钟温度 CSV。
两个站点加入高频推送，与首尔/釜山同级。

Station: HK Observatory (HKO) 27.0°C, Lau Fau Shan (LFS) 25.9°C
Interval: 60s

Tested: pytest 176 passed, HKO API 实测通过
 2026-05-13 00:33:56 +08:00
2569718930@qq.com 5d630bb910 接入 KNMI 阿姆斯特丹史基浦机场 10 分钟数据源 
通过 KNMI Open Data API 获取 Schiphol 机场 10 分钟观测数据（NetCDF 格式）。
需设置 KNMI_API_KEY 环境变量。Docker 镜像新增 libhdf5-dev/netCDF4 依赖。

Constraint: KNMI API key 为 JWT 格式，通过 Authorization header 传递
Scope-risk: 中高，新增系统依赖 libhdf5-dev + netCDF4
Tested: pytest 176 passed, KNMI API 连通性验证通过
 2026-05-12 20:10:06 +08:00
2569718930@qq.com a32a49f3c7 接入 FMI 赫尔辛基-万塔机场 10 分钟实时数据源 
新增 fmi_sources.py，通过 FMI Open Data WFS API 获取 Helsinki-Vantaa
机场观测数据（FMISID 100968, WMO 2974）。每 10 分钟更新，参数含温度/
风速/气压。免费无需 API key。集成至高频机场推送体系。

Constraint: FMI WFS 无 rate limit，无需注册
Scope-risk: 中，新增数据源
Tested: pytest 176 passed, FMI 实测 temp=13.1°C wind=9.5kt pressure=1000.9hPa
 2026-05-12 19:51:32 +08:00
2569718930@qq.com 12b0c76caf @ 
砍掉机场快照，改为 per-city 独立告警；新增安卡拉 MGM 17128 高频监控

快照定时推送无实际价值（没变化也报），改为仅温度急变时触发告警。
各城市独立检测、独立冷却，不再捆绑推送。
同时接入安卡拉 Esenboğa 机场 MGM 站点 17128 的实时温度数据。

Constraint: 快照已运行验证格式无误，砍掉不影响现有急变告警功能
Scope-risk: 中低，仅影响高频通道逻辑，主循环不变
Tested: ruff check 通过
@
 2026-05-12 17:51:40 +08:00
2569718930@qq.com 64f8ff21ec @ 
新增机场高频推送：10分钟级温度监控 + DEB预测快报

为首尔/釜山/东京三大机场城市实现高频温度监控通道：
- 新增 airport_obs_log 表积累观测数据，支持趋势检测
- AMOS/JMA 成功后自动写入观测日志
- 新增 airport_rapid_temp_change 告警规则（20min窗口、0.5°C/10min阈值）
- 10分钟间隔高频子循环 + 30分钟机场快照（含 DEB 预测最高温）
- 最高温锁定后自动跳过，快照仅当地 08:00-20:00 发送

Tested: ruff check 通过
@
 2026-05-12 17:04:17 +08:00
AmandaloveYangandClaude Opus 4.7 55bb06d213 移除 Masroor Air Base 机场城市（数据源、别名、时区、前端面板、文档、测试） 
Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
 2026-05-11 16:39:04 +08:00
2569718930@qq.com 8075fb66b7 AMOS 增加 info 级别日志追踪数据流 
- weather_sources.py: _attach_korean_amos_data 记录 fetch 开始、成功/失败、温度/跑道数据
- amos_station_sources.py: _amos_get_page 记录页面匹配/不匹配
- amos_station_sources.py: fetch_amos_official_current 记录 HTML 获取和解析
- analysis_service.py: _analyze 记录 AMOS 数据是否到达分析层

重启后端后在日志中搜索 "AMOS" 可追踪完整数据流：
  AMOS: fetching for city=seoul
  AMOS page matched icao=RKSI length=...
  AMOS fetch_amos_official_current: got HTML for RKSI...
  AMOS: got data for city=seoul temp_c=... source=...
  AMOS _analyze: found amos data for city=seoul temp_c=...
 2026-05-10 19:46:26 +08:00
2569718930@qq.com 5512ebf133 修复 AMOS 数据不显示：移出 include_nearby 条件判断 
根因：_attach_korean_amos_data 在 include_nearby 块内
面板模式（depth=panel）时 include_nearby=False
→ AMOS 数据从不获取 → detail.amos 始终为空 → 跑道面板不显示

修复：AMOS 调用移到 include_nearby 之外
AMOS 是主观测源，不是 nearby 站网数据
无论 depth 模式都应获取
 2026-05-10 19:10:38 +08:00
2569718930@qq.com 27010d5fb3 移除 KMA 数据源：已被更精确的 AMOS 跑道级传感器取代 
- weather_sources.py：移除 KmaStationSourceMixin 导入和继承
- 移除 _attach_korea_official_nearby() 函数
- 移除 kma_cache 初始化代码
- 首尔/釜山现在使用 AMOS 跑道传感器替代 KMA 地面站
- kma_station_sources.py 保留为参考文件

Replaced-by: AMOS (global.amo.go.kr) runway-level sensor data
 2026-05-10 17:59:26 +08:00
2569718930@qq.com 058ab7a619 新增 AMOS 跑道级实时气象数据源（韩国仁川/釜山） 
- src/data_collection/amos_station_sources.py：新增 AmosStationSourceMixin
- 从 global.amo.go.kr 爬取跑道级观测：温度/露点/气压/风向风速/能见度/RVR/云层
- 解析 METAR + TAF 报文，提取温/湿/压/风数值
- 解析跑道级表格数据（每跑道独立风分量、侧风、视程）
- 覆盖首尔/仁川 (RKSI) 和釜山/金海 (RKPK)

- weather_sources.py：集成 AmosStationSourceMixin
- fetch_all_sources 中为 seoul/busan 自动追加 AMOS 数据
- 结果存入 results["amos"]，包含原始 METAR/TAF 和解析后的跑道数据

Tested: python -m ruff check ., npx tsc --noEmit
 2026-05-10 17:55:39 +08:00
2569718930@qq.com 89a71d1bc0 Add Qingdao to the tradable city network 
Qingdao needs the same airport-settlement path as the other Wunderground-backed APAC cities, so the registry, aliases, timezone, prewarm, official links, market focus, and tests now point to ZSQD / Qingdao Jiaodong International Airport.

Constraint: User supplied Wunderground Qingdao/ZSQD settlement URL.
Rejected: Add a partial registry-only entry | it would show in APIs without frontend links, prewarm coverage, or alias support.
Confidence: high
Scope-risk: narrow
Reversibility: clean
Tested: pytest tests/test_country_networks.py tests/test_web_observability.py::test_cities_endpoint_includes_new_wunderground_cities -q
Tested: npm run build
Not-tested: Live Wunderground fetch for ZSQD in production.
 2026-04-28 07:08:33 +08:00
2569718930@qq.com 9ded30b125 feat: implement AI-driven weather scan terminal with decision utilities and forecast visualization 2026-04-27 02:18:34 +08:00
2569718930@qq.com 717106eec6 Anchor Paris weather data to Le Bourget 2026-04-19 14:25:38 +08:00