mirror of
https://github.com/caty21/forex-dashboard.git
synced 2026-07-27 20:37:45 +00:00
fix: courbe OIS USD écrasée par un fallback dégradé quand investing.com bloque GitHub Actions
Root cause confirmée en direct dans les logs du run GH Actions du 2026-07-08 15:10 : investing.com renvoie 403 spécifiquement aux IPs des runners GitHub Actions (bloc anti-bot par réputation IP — mon IP locale passe sans problème, la même page se parse parfaitement, 12 réunions). C'est intermittent par nature selon la rotation d'IP de GitHub. Le vrai bug n'était pas le scraping mais l'absence total de filet de sécurité : dès qu'un run se prenait ce 403, le code écrasait la vraie courbe FOMC multi-réunions (12 points, table Investing.com) par le fallback InvestingLive — un unique point "year-end" — et cette dégradation restait visible dans data/rate-probabilities.json jusqu'au prochain run qui réussissait à passer. D'où le symptôme : "parfois ça marche et c'est correct, parfois ça bug et affiche peu de données fausses" pour les sous-onglets Courbe/Probas/ Réunions de la card USD. Deux corrections dans fetch-rate-data.mjs : 1. Retry (3 tentatives, backoff 2s/4s/6s) sur le fetch Investing.com — couvre les échecs vraiment transitoires (n'aide pas contre un blocage IP qui persiste sur tout le run, d'où le point 2). 2. Filet de sécurité : si le résultat du jour n'a qu'1 réunion (signature du fallback IL dégradé) alors qu'une vraie courbe multi-réunions existait déjà dans le fichier, on la conserve au lieu de l'écraser. Vérifié : (a) le scrape Investing.com refonctionne depuis ma machine (12 réunions FOMC parsées correctement) ; (b) la logique de préservation testée isolément avec un cas simulé de dégradation restaure bien les 12 réunions. Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
This commit is contained in:
@@ -400,6 +400,18 @@ function buildILFallback(ccy, il) {
|
||||
const CCYS = ["USD","EUR","GBP","JPY","CAD","AUD","NZD","CHF"];
|
||||
const results = {};
|
||||
|
||||
// Charge les données déjà en place AVANT tout fetch — sert de filet de sécurité
|
||||
// plus bas : investing.com renvoie parfois 403 spécifiquement aux IPs GitHub
|
||||
// Actions (bloc IP anti-bot, confirmé en direct — pas un problème de parsing),
|
||||
// et ce blocage est intermittent. Sans ce filet, un seul run bloqué écrasait
|
||||
// la vraie courbe multi-réunions USD par le fallback InvestingLive (un unique
|
||||
// point "year-end"), et cette dégradation restait visible jusqu'au prochain
|
||||
// run réussi. On préfère désormais garder la dernière bonne donnée connue.
|
||||
let existingData = {};
|
||||
try {
|
||||
existingData = JSON.parse(readFileSync("data/rate-probabilities.json", "utf8")).data ?? {};
|
||||
} catch {}
|
||||
|
||||
// 0 — Sources officielles → écrasent les ancres si data/rate_decisions.json a dérivé
|
||||
console.log("\n=== Fed (official) ===");
|
||||
const fedRate = await fetchFedRate();
|
||||
@@ -411,10 +423,19 @@ if (snbRate !== null) FALLBACK_RATES.CHF = snbRate;
|
||||
|
||||
// 1 — Investing.com Fed Rate Monitor → USD uniquement (seule CB avec cet outil ;
|
||||
// les autres slugs *-rate-monitor n'existent pas sur investing.com → 404 attendus)
|
||||
// Retry (403/erreur réseau ponctuels) — n'aide pas contre un vrai bloc IP
|
||||
// persistant sur tout le run, mais couvre les échecs vraiment transitoires.
|
||||
const IC_SUPPORTED = ["USD"];
|
||||
console.log("\n=== Investing.com Rate Monitors ===");
|
||||
for (const ccy of IC_SUPPORTED) {
|
||||
const data = await fetchInvestingCom(ccy);
|
||||
let data = null;
|
||||
for (let attempt = 1; attempt <= 3 && !data; attempt++) {
|
||||
if (attempt > 1) {
|
||||
console.log(`[IC/${ccy}] retry ${attempt}/3…`);
|
||||
await new Promise(r => setTimeout(r, 2000 * attempt));
|
||||
}
|
||||
data = await fetchInvestingCom(ccy);
|
||||
}
|
||||
if (data) results[ccy] = data;
|
||||
await new Promise(r => setTimeout(r, 600));
|
||||
}
|
||||
@@ -432,6 +453,17 @@ if (missing.length) {
|
||||
}
|
||||
}
|
||||
|
||||
// 3 — Filet de sécurité : si le résultat du jour n'a qu'1 réunion (fallback IL
|
||||
// dégradé) alors qu'on avait déjà une vraie courbe multi-réunions, on la garde.
|
||||
for (const ccy of CCYS) {
|
||||
const newRows = results[ccy]?.today?.rows?.length ?? 0;
|
||||
const oldRows = existingData[ccy]?.today?.rows?.length ?? 0;
|
||||
if (newRows <= 1 && oldRows > 1) {
|
||||
console.log(`[preserve] ${ccy}: nouveau fetch dégradé (${newRows} réunion) → conserve l'ancienne courbe (${oldRows} réunions)`);
|
||||
results[ccy] = existingData[ccy];
|
||||
}
|
||||
}
|
||||
|
||||
// ── Multi-week snapshot rotation ──────────────────────────────────────────────
|
||||
// snapshots = tableau chronologique (plus récent en [0]) de jusqu'à 12 semaines
|
||||
let snapshots = [];
|
||||
|
||||
Reference in New Issue
Block a user