shy3130
6d51bb52de
feat(factors): P2b 内容寻址因子列缓存 — +10 因子热路径增量 0.1ms, P2 两项验收达成
...
自定义 (DSL) 因子此前每次求值都全量重算 frame_transform (132 万行帧上
每因子 ~36ms, 随因子数线性增长 — 回测/守护复验/实验室批量的共同热路径)。
- app/factors/materialize_cache.py: 键 = sha256(定义 + 依赖列内容指纹 +
行数) — 内容指纹即失效传播 (公式变/输入任何值变 → 键变), 无需数据版本
号。两层: 进程内 LRU (字节上限) + 磁盘 parquet (跨进程, 文件数上限,
目录可整删)。fail-open: 任何故障回退现算。列指纹按帧记忆化 (weakref
finalize 回收), 同帧 K 个因子每列只哈希一次 (~8ms/百万行)。
- materialize_scoring_columns 两段式: 命中列一次批量附着 (成本与因子数
无关); 未命中逐个现算 (依赖顺序)。DSL 分阶段临时列不再泄漏进下游帧
(与命中路径列集合完全一致)。
- 顺带修复存量 bug: winsorize(x) 省略 k 时 DSL 编译器直接 IndexError
(该写法此前完全不可用), 补回归测试。
- 基准 (132 万行, K3→K13): 热路径 0.0ms→0.1ms (+10 因子绝对增量 0.1ms,
基线 +400ms 线性); 冷启动 480.7ms vs 无缓存 478ms (开销 ~0.5%)。
端到端优化器复测 trials 4.23×/含 prepare 3.16×, stats 完全一致。
- 回归: 552 个相关测试全过 (含 6 个缓存契约测试: 命中等价/输入与定义
变更失效/损坏回退/小帧旁路/临时列不泄漏); ruff 新增文件全清。
Signed-off-by: shy3130 <shy3130@qq.com >
2026-10-26 14:36:58 +08:00
shy3130
660ce71fca
feat(backtest): P2a 面板路径 prepare-once — 参数网格共享特征面板, 调参循环 1.6-1.9×
...
默认后端 (polars_expr/python_history_legacy) 的优化器此前每组参数都完整
重跑 载盘/指标计算/信号注入/扩展表 join (profile: 占每组成本 ~35-60%);
只有 matrix_native 有 prepare-once。本提交补齐面板路径:
- PreparedPanelBacktest: 逐组解析依赖计划取并集 (参数驱动的列差异由并集
覆盖), 一次加载全组复用; run 逐组做 签名校验 + 所需列子集校验, 缺列
显式报错不静默回退 (fail-closed, 掩盖计划漂移比失败更危险)。
- _merge_resolved_feature_plans 放宽为单一后端即可 (composite 的全
matrix_native 语义不变); _panel_backend 谓词与 run 面板分支同口径。
- 优化器: polars_expr 分支 prepare 一次 + 全部试算与最优复跑复用同一面板;
进度新增 optimizer_prepare 事件 (shared_panel_bytes)。
- 基准 scripts/bench_optimizer_prepare.py 同进程交错 A/B (消除页缓存
顺序偏置): 15 组实测 trials 1.72×, 含 prepare 1.62× (6 组 1.92×/1.64×);
stats 剔除计时字段后与逐组独立加载完全一致, 交易逐笔一致。
- 回归: tests/backtest 408 全过; ruff 零新增 (optimizer/strategy 告警
与 HEAD 逐条相同)。
下一步 (P2a-2): build_market_matrix 的面板编码 (build_market_data_matrix
+_encode_axes, 参数无关, 占剩余每组成本 ~55%) 提到 prepare 复用, 预期
含 prepare 越过 2×; 其后 P2b L2 内容寻址物化。
Signed-off-by: shy3130 <shy3130@qq.com >
2026-10-26 14:21:50 +08:00
shy3130
8cedb67c36
feat(strategy): filter_history 列依赖 AST 推导 — 消灭回测全量兜底 (P1a)
...
- feature_deps: 追踪 pl.col/cols 常量引用推导输入列; 动态列名/pl.all/cs.*
等不可证明形态一律返回 None, 保持全量兜底 (fail-closed, 宁慢不错列)
- engine: REQUIRED_FEATURES 缺失且存在动态过滤时加载期自动推导
- bench_feature_resolution: legacy(空依赖) vs 推导 的解析宽度对比基准
- 实测: 看板策略等 4 个无声明策略 37→3~5 指标列 (宽度比 7~12x);
short_term_top10 动态列名循环正确保持兜底
Signed-off-by: shy3130 <shy3130@qq.com >
2026-10-26 13:39:39 +08:00
shy3130
20a36681e9
Merge PR #493 : 减少日K同步临时读写
2026-10-22 21:52:59 +08:00
Zhangergou
4d53f66cd1
减少日K同步临时读写
2026-10-19 15:40:56 +08:00
shy3130
e1e332ced4
merge: PR #492 优化扩展数据拉取连接复用
...
分页/历史回补/两级拉取共用一个 HTTP 客户端, 任务结束或取消时关闭。
冲突仅 ext_pull.py 顶部 import: 保留 timedelta + contextlib + contextvars。
2026-10-19 15:38:23 +08:00
Zhangergou
eea2ca4cd4
优化扩展数据拉取连接复用
2026-10-19 14:37:21 +08:00
Break Zhang and GitHub
9b01af2b16
perf(matrix): 减少重复整理，缩短回测矩阵首次构建耗时 ( #482 )
2026-10-17 21:39:19 +08:00
shy3130
982d7bef88
perf(polars): 并发闸+写锁收缩+看门狗三层防死锁, 升级 polars 1.44
...
线上曾出现并发 LazyFrame.collect 触发 polars streaming 执行器死锁,
叠加 _write_lock 区间内做重活, 放大为全站请求冻结。本次按触发缩小、
爆炸半径收缩、自动恢复三层布防:
- polars_guard: BoundedSemaphore 并发闸 (总闸 4 + 后台车道 2, 后台
先拿子闸再拿总闸防死锁); repository 18 处 collect 按交互/后台分级接入
- repository 写锁区间收缩: 分区合并移出锁外, 锁内 (mtime_ns,size)
指纹校验 + 3 次乐观重试, 失败回退锁内合并; 5 处 _write_lock 重构
- watchdog: 周期探测 collect 闸与全局写锁, 连续 2 次失败退出交由
supervisor 拉起 (可配置, 默认开)
- polars >=1.44,<1.45 (1.44.1); 附并发压测脚本
scripts/stress_polars_concurrency.py 供复现验证
另: config 新增 polars_collect_permits / watchdog_* /
strategy_run_all_workers / strategy_run_all_first_return_s 旋钮
(后两者供后续 run_all 优化提交使用, 默认保持旧行为基准)。
2026-09-07 15:25:41 +08:00
wshy and GitHub
70ffa2636f
Merge pull request #256 from SummerCaptain/feat/recap-push-gate
...
feat(preferences): 复盘推送 review_push_mode 门控
2026-09-06 20:53:29 +08:00
sc
64dbd97d71
feat(preferences): 复盘推送 review_push_mode 门控
2026-09-06 13:41:52 +08:00
sc
30530eba52
feat(strategy): AI 策略保存为 research_only 草稿 + publish 端点
2026-09-06 13:41:51 +08:00
dunmin1980 and Cursor
f4d52c8b4c
fix: align Phase 1 probe with TickFlow SDK namespaces
...
Use klines.batch/quotes.get, rename dry-run status to DRY_RUN_OK, document
first-batch burst limits, and cover run_live with a fake client.
Co-authored-by: Cursor <cursoragent@cursor.com >
2026-07-19 10:06:26 +08:00
dunmin1980 and Cursor
81607f8a51
chore: drop probe debug instrumentation and ignore probe artifacts
...
Keep the Phase 1 CLI production-clean; local probe reports and debug NDJSON stay out of git.
Co-authored-by: Cursor <cursoragent@cursor.com >
2026-07-19 09:36:55 +08:00
dunmin1980 and Cursor
ed5929de7c
feat: add TickFlow Pro Phase 1 probe scaffold with off-peak gate
...
Dry-run by default; live calls require a key and wait until 16:00 Asia/Shanghai unless --force, so Stage A off-peak probing stays intentional.
Co-authored-by: Cursor <cursoragent@cursor.com >
2026-07-19 09:36:55 +08:00
shy3130
d93dc0cbf4
Initial release v0.1.19
2026-06-18 17:18:23 +08:00
shy3130