105 lines
3.1 KiB
Markdown
105 lines
3.1 KiB
Markdown
# 回测数据与分析方案
|
||
|
||
## 数据格式
|
||
|
||
文件命名：
|
||
- BTC：`YYYY-MM-DD.jsonl`（保留旧命名，向后兼容历史数据）
|
||
- 其他币种：`YYYY-MM-DD-{sym}.jsonl`（如 `2026-04-26-eth.jsonl`、`2026-04-26-sol.jsonl`）
|
||
|
||
每行一条 JSON：
|
||
|
||
```json
|
||
{"type":"tick","ts":1775195098289,"symbol":"btc","windowStart":1775194800,"diff":51.16,"upPct":100,"rem":2}
|
||
```
|
||
|
||
| 字段 | 含义 |
|
||
|---|---|
|
||
| ts | 时间戳（毫秒） |
|
||
| symbol | 币种（btc/eth/sol）。**老数据无此字段时默认 btc** |
|
||
| windowStart | 所属5分钟窗口的起始时间（秒） |
|
||
| diff | 参考价 - (priceToBeat - 偏移)，正值=涨，负值=跌 |
|
||
| upPct | Polymarket 涨概率（0-100整数） |
|
||
| rem | 窗口剩余秒数 |
|
||
|
||
采样频率：每秒1条，每天约86400条，约4MB。
|
||
|
||
## 分析目标
|
||
|
||
找到 diff 和 upPct 之间的历史映射关系，当实际概率偏离历史均值时入场。
|
||
|
||
## 分析步骤
|
||
|
||
### 1. 建立 diff → 合理概率 映射
|
||
|
||
将 diff 按区间分桶（如每5一档：-60~-55, -55~-50, ..., 55~60），统计每个桶内 upPct 的中位数，得到"在某个 diff 水平下，市场通常给出的概率"。
|
||
|
||
```python
|
||
import json, glob
|
||
import pandas as pd
|
||
|
||
ticks = []
|
||
for f in sorted(glob.glob('*.jsonl')):
|
||
for line in open(f):
|
||
row = json.loads(line)
|
||
if row.get('type') == 'tick':
|
||
ticks.append(row)
|
||
|
||
df = pd.DataFrame(ticks)
|
||
|
||
# 按 diff 分桶，rem 分段
|
||
df['diff_bin'] = (df['diff'] / 5).round() * 5
|
||
df['rem_bin'] = pd.cut(df['rem'], bins=[0, 30, 60, 120, 180, 300], labels=['0-30','30-60','60-120','120-180','180-300'])
|
||
|
||
# 每个 (diff_bin, rem_bin) 的概率中位数
|
||
mapping = df.groupby(['diff_bin', 'rem_bin'])['upPct'].agg(['median', 'mean', 'std', 'count'])
|
||
```
|
||
|
||
### 2. 计算偏差
|
||
|
||
```python
|
||
# 对每条 tick，查找对应的合理概率
|
||
fair_prob = mapping.loc[(diff_bin, rem_bin), 'median']
|
||
bias = fair_prob - actual_upPct
|
||
|
||
# bias > 0：市场低估涨（买涨机会）
|
||
# bias < 0：市场高估涨（买跌机会）
|
||
```
|
||
|
||
### 3. 确定入场阈值
|
||
|
||
统计不同 bias 阈值下的入场次数和后续概率走势：
|
||
|
||
```python
|
||
# 找出 bias > N 的时刻，看之后概率是否向合理概率回归
|
||
for threshold in [5, 8, 10, 12, 15]:
|
||
entries = df[df['bias'] > threshold]
|
||
# 看入场后 10s/30s/60s 概率变化
|
||
# 如果概率确实向 fair_prob 回归 → 该阈值可用
|
||
```
|
||
|
||
### 4. 考虑波动率
|
||
|
||
用 diff 序列的标准差衡量波动率：
|
||
|
||
```python
|
||
# 每个窗口内 diff 的标准差
|
||
vol = df.groupby('windowStart')['diff'].std()
|
||
|
||
# 高波动 vs 低波动时，同样 diff 对应的概率分布是否不同
|
||
# 如果不同，映射关系需要加入波动率维度
|
||
```
|
||
|
||
### 5. 输出
|
||
|
||
- diff → 合理概率 的映射表（按 rem 分段）
|
||
- 最优入场偏差阈值
|
||
- 波动率是否需要作为额外维度
|
||
- 模拟入场后的概率回归速度和幅度
|
||
|
||
## 注意事项
|
||
|
||
- 数据至少收集 2-3 天再分析（需要覆盖不同时段和市场状态）
|
||
- diff 极端值（>80 或 <-80）样本可能很少，映射不可靠
|
||
- rem 对映射有影响：窗口早期（rem>180）概率波动大，晚期（rem<30）概率趋于收敛
|
||
- 分析脚本在 backtest-data/ 目录下运行
|