478 lines
13 KiB
Markdown
478 lines
13 KiB
Markdown
# LSTM量化交易教学项目 - EURUSD H1策略
|
|
|
|
## 项目简介
|
|
|
|
基于深度学习LSTM网络的外汇量化交易完整解决方案,使用真实EURUSD历史数据训练模型,通过ONNX格式在MT5平台实现实盘交易。本项目涵盖从数据获取、模型训练、导出到回测的完整工作流,是学习AI量化交易的理想教学案例。
|
|
|
|
## 技术栈
|
|
|
|
- **深度学习框架**: PyTorch 2.5+ (支持CUDA GPU加速)
|
|
- **模型架构**: LSTM (Long Short-Term Memory)
|
|
- **模型格式**: ONNX (跨平台部署)
|
|
- **交易平台**: MetaTrader 5
|
|
- **编程语言**: Python 3.11 + MQL5
|
|
- **数据源**: MT5实时行情数据
|
|
|
|
## LSTM在量化交易中的优势
|
|
|
|
**LSTM (长短期记忆网络)** 是循环神经网络(RNN)的变体,特别适合时间序列预测:
|
|
|
|
1. **长期依赖捕捉**: 通过门控机制(遗忘门、输入门、输出门)记住长期价格趋势
|
|
2. **自动特征提取**: 无需手动构造技术指标,直接从原始OHLCV数据学习
|
|
3. **非线性建模**: 可拟合复杂的市场动态,优于传统线性模型
|
|
4. **梯度稳定性**: 解决传统RNN的梯度消失问题,支持深层网络训练
|
|
|
|
## 项目文件结构
|
|
|
|
```
|
|
LSTM/
|
|
├── requirements.txt # Python依赖包清单
|
|
├── train_lstm.py # 训练脚本(支持GPU加速)
|
|
├── lstm_model.onnx # 训练生成的ONNX模型(~11KB)
|
|
├── scaler_params.npy # MinMax归一化参数
|
|
├── training_loss.png # 训练曲线图(自动生成)
|
|
├── LSTM_EA.mq5 # MQL5交易EA代码
|
|
├── prompt_simple.txt # 简单版提示词模板
|
|
├── prompt_professional.txt # 专业版提示词模板
|
|
└── README.md # 项目文档
|
|
```
|
|
|
|
## 快速开始
|
|
|
|
### 环境准备
|
|
|
|
**硬件要求**:
|
|
- CPU: 任意现代处理器
|
|
- GPU: NVIDIA显卡(可选,推荐RTX系列)
|
|
- 内存: 8GB+
|
|
- 硬盘: 1GB可用空间
|
|
|
|
**软件要求**:
|
|
- Python 3.11+
|
|
- MetaTrader 5 (已登录账户)
|
|
- CUDA 12.1+ (GPU训练需要)
|
|
|
|
### 1. 安装依赖
|
|
|
|
```bash
|
|
pip install -r requirements.txt
|
|
```
|
|
|
|
**依赖包说明**:
|
|
- `torch`: PyTorch深度学习框架
|
|
- `onnx`: ONNX模型格式支持
|
|
- `MetaTrader5`: MT5 Python API
|
|
- `pandas`: 数据处理
|
|
- `scikit-learn`: 数据归一化
|
|
- `numpy`: 数值计算
|
|
|
|
**安装GPU版PyTorch** (如有NVIDIA显卡):
|
|
```bash
|
|
pip uninstall torch torchvision torchaudio -y
|
|
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
|
|
```
|
|
|
|
### 2. 训练模型
|
|
|
|
```bash
|
|
python train_lstm.py
|
|
```
|
|
|
|
**训练流程**:
|
|
1. 自动检测CUDA并使用GPU加速(如可用)
|
|
2. 连接MT5终端获取EURUSD历史数据
|
|
3. 使用MinMaxScaler归一化OHLCV数据
|
|
4. **数据集划分**: 80%训练集 + 20%验证集
|
|
5. **智能训练**: 最多500个epoch，支持早停机制
|
|
6. **验证监控**: 实时追踪训练Loss和验证Loss
|
|
7. **最佳模型保存**: 自动保存验证Loss最低的模型
|
|
8. **可视化**: 生成训练曲线图(training_loss.png)
|
|
9. 导出ONNX格式模型
|
|
10. 保存归一化参数供推理使用
|
|
|
|
**训练输出示例**:
|
|
```
|
|
使用设备: cuda
|
|
GPU型号: NVIDIA GeForce RTX 4090
|
|
获取到 31,053 条EURUSD H1数据
|
|
|
|
训练集形状: torch.Size([24833, 10, 5])
|
|
验证集形状: torch.Size([6209, 10, 5])
|
|
|
|
开始训练...
|
|
Epoch 10 | 训练Loss: 0.307397 | 验证Loss: 0.301387
|
|
Epoch 20 | 训练Loss: 0.198500 | 验证Loss: 0.189706
|
|
...
|
|
Epoch 164 | 训练Loss: 0.000424 | 验证Loss: 0.000152 ← 最佳模型
|
|
|
|
早停触发! 验证损失已经20个epoch没有改善
|
|
已恢复最佳模型 (Epoch 164)
|
|
|
|
训练总结:
|
|
总训练轮数: 184 epochs
|
|
最佳模型: Epoch 164
|
|
最佳验证Loss: 0.000152
|
|
✓ 模型状态: 良好，没有明显的过拟合
|
|
|
|
训练曲线已保存: training_loss.png
|
|
ONNX模型已保存: lstm_model.onnx (10.27 KB)
|
|
```
|
|
|
|
### 3. 部署到MT5
|
|
|
|
#### 步骤A: 复制ONNX模型
|
|
```
|
|
将 lstm_model.onnx 复制到:
|
|
MT5安装目录/MQL5/Files/lstm_model.onnx
|
|
```
|
|
|
|
#### 步骤B: 验证归一化参数
|
|
训练脚本会输出归一化参数,确保与 `LSTM_EA.mq5` 第20-21行一致:
|
|
```cpp
|
|
double data_min[5] = {0.95383, 0.95586, 0.95351, 0.95383, 9.00000};
|
|
double data_max[5] = {1.23394, 1.23485, 1.23327, 1.23396, 24004.00000};
|
|
```
|
|
|
|
#### 步骤C: 编译EA
|
|
1. 将 `LSTM_EA.mq5` 复制到 `MT5/MQL5/Experts/`
|
|
2. 在MetaEditor中打开并编译(F7)
|
|
|
|
#### 步骤D: 策略回测
|
|
1. 打开策略测试器(Ctrl+R)
|
|
2. 配置参数:
|
|
- EA: LSTM_EA
|
|
- 品种: EURUSD
|
|
- 周期: H1
|
|
- 模式: 每笔成交
|
|
- 日期: 选择样本外数据(如最近3个月)
|
|
- 初始资金: 10,000 USD
|
|
3. 点击"开始"运行回测
|
|
|
|
### 4. EA参数说明
|
|
|
|
| 参数 | 默认值 | 说明 |
|
|
|------|--------|------|
|
|
| LotSize | 0.01 | 每笔交易手数 |
|
|
| StopLoss | 100 | 止损点数 |
|
|
| TakeProfit | 150 | 止盈点数 |
|
|
|
|
## 模型架构详解
|
|
|
|
### 网络结构
|
|
|
|
```
|
|
输入层: [batch_size, 10, 5]
|
|
├─ 10: 时间步长(10根历史K线)
|
|
└─ 5: 特征维度(OHLCV)
|
|
↓
|
|
LSTM层: input_size=5, hidden_size=20, num_layers=1
|
|
├─ 遗忘门: 决定丢弃哪些历史信息
|
|
├─ 输入门: 决定存储哪些新信息
|
|
└─ 输出门: 决定输出哪些信息
|
|
↓
|
|
全连接层: Linear(20 → 1)
|
|
↓
|
|
输出层: [batch_size, 1]
|
|
└─ 预测下一根K线收盘价(归一化值)
|
|
```
|
|
|
|
**模型参数**:
|
|
- 总参数量: ~2,040个
|
|
- ONNX文件大小: 10.27 KB
|
|
- 推理速度: <1ms/次 (GPU)
|
|
|
|
### 数据预处理
|
|
|
|
**归一化公式**:
|
|
```python
|
|
normalized = (value - min) / (max - min) # 映射到[0,1]
|
|
```
|
|
|
|
**反归一化公式**:
|
|
```python
|
|
real_value = normalized * (max - min) + min
|
|
```
|
|
|
|
### 训练参数
|
|
|
|
| 参数 | 值 | 说明 |
|
|
|------|-----|------|
|
|
| 数据划分 | 80%/20% | 训练集/验证集 |
|
|
| 优化器 | Adam | 自适应学习率 |
|
|
| 学习率 | 0.001 | 初始学习率 |
|
|
| 损失函数 | MSE | 均方误差 |
|
|
| 批大小 | 全量 | 使用所有训练数据 |
|
|
| 最大轮数 | 500 | 最多训练500个epoch |
|
|
| 早停耐心 | 20 | 验证Loss 20轮不降则停止 |
|
|
| 最佳模型 | 自动保存 | 保存验证Loss最低的模型 |
|
|
|
|
## 交易逻辑
|
|
|
|
```python
|
|
每小时新K线形成时:
|
|
1. 获取最近10根H1 K线 [Open, High, Low, Close, Volume]
|
|
2. 使用训练时的参数归一化数据
|
|
3. 输入LSTM模型进行推理
|
|
4. 反归一化得到预测收盘价
|
|
5. 交易决策:
|
|
- 预测价 > 当前价 * 1.0001 → 买入
|
|
- 预测价 < 当前价 * 0.9999 → 卖出
|
|
- 其他情况 → 不交易
|
|
6. 设置止损止盈并提交订单
|
|
```
|
|
|
|
## 性能优化
|
|
|
|
### 提升模型效果
|
|
|
|
1. **增加模型容量**:
|
|
```python
|
|
self.lstm = nn.LSTM(input_size=5, hidden_size=50, num_layers=2)
|
|
```
|
|
|
|
2. **扩展时间窗口**:
|
|
```python
|
|
lookback = 20 # 使用20根K线预测
|
|
```
|
|
|
|
3. **调整训练参数**:
|
|
```python
|
|
patience = 30 # 增加早停耐心值
|
|
optimizer = torch.optim.Adam(model.parameters(), lr=0.0005) # 降低学习率
|
|
```
|
|
|
|
4. **添加技术指标**:
|
|
```python
|
|
features = ['open', 'high', 'low', 'close', 'volume', 'rsi', 'macd']
|
|
```
|
|
|
|
5. **数据增强**:
|
|
- 添加噪声
|
|
- 时间窗口滑动
|
|
- 多时间周期融合
|
|
|
|
### 防止过拟合
|
|
|
|
✅ **已实现的功能**:
|
|
|
|
1. **训练集/验证集分割**:
|
|
```python
|
|
train_size = int(len(X) * 0.8) # 80%训练，20%验证
|
|
X_train = X[:train_size]
|
|
X_val = X[train_size:]
|
|
```
|
|
|
|
2. **早停法(Early Stopping)**:
|
|
```python
|
|
patience = 20 # 验证Loss 20轮不降则停止
|
|
if val_loss < best_val_loss:
|
|
best_model_state = model.state_dict() # 保存最佳模型
|
|
```
|
|
|
|
3. **验证Loss监控**:
|
|
```python
|
|
# 每10轮显示训练和验证Loss对比
|
|
print(f"训练Loss: {train_loss:.6f} | 验证Loss: {val_loss:.6f}")
|
|
```
|
|
|
|
4. **训练曲线可视化**:
|
|
- 自动生成 `training_loss.png`
|
|
- 双曲线对比(训练vs验证)
|
|
- 标记最佳模型位置
|
|
|
|
⚙️ **可选的进阶方法**:
|
|
|
|
5. **添加Dropout**:
|
|
```python
|
|
self.dropout = nn.Dropout(0.2)
|
|
```
|
|
|
|
6. **L2正则化**:
|
|
```python
|
|
optimizer = Adam(model.parameters(), lr=0.001, weight_decay=1e-5)
|
|
```
|
|
|
|
7. **学习率衰减**:
|
|
```python
|
|
scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, patience=5)
|
|
```
|
|
|
|
## 常见问题排查
|
|
|
|
### 训练相关
|
|
|
|
**Q: 训练时CUDA不可用?**
|
|
```bash
|
|
# 检查PyTorch版本
|
|
python -c "import torch; print(torch.__version__)"
|
|
|
|
# 应显示 2.5.1+cu121 (带+cu121后缀)
|
|
# 如果是 2.5.1+cpu,需重装GPU版本:
|
|
pip install torch --index-url https://download.pytorch.org/whl/cu121
|
|
```
|
|
|
|
**Q: MT5连接失败?**
|
|
```
|
|
解决方案:
|
|
1. 确保MT5已启动并登录
|
|
2. 检查工具→选项→EA交易→允许DLL导入
|
|
3. 尝试手动在MT5图表上加载EURUSD H1
|
|
```
|
|
|
|
**Q: 训练Loss不下降?**
|
|
```
|
|
可能原因:
|
|
1. 学习率过大 → 降低到0.0001
|
|
2. 数据未归一化 → 检查scaler
|
|
3. 数据质量差 → 检查MT5历史数据完整性
|
|
4. 模型过于简单 → 增加hidden_size或num_layers
|
|
```
|
|
|
|
**Q: 验证Loss远高于训练Loss?**
|
|
```
|
|
原因: 模型过拟合训练数据
|
|
解决方案:
|
|
1. 查看训练曲线图(training_loss.png)确认
|
|
2. 减少训练轮数或降低模型复杂度
|
|
3. 增加训练数据量
|
|
4. 添加Dropout层或L2正则化
|
|
5. 使用早停机制(已自动启用)
|
|
```
|
|
|
|
**Q: 如何判断模型训练效果好坏?**
|
|
```
|
|
关键指标:
|
|
1. ✅ 验证Loss越小越好 (如<0.001)
|
|
2. ✅ 训练Loss和验证Loss接近 (差异<10%)
|
|
3. ✅ Loss曲线平稳收敛不震荡
|
|
4. ✅ 早停在合理位置触发
|
|
|
|
查看方法:
|
|
- 打开 training_loss.png 查看曲线
|
|
- 阅读终端输出的"训练总结"
|
|
- 关注"模型状态"的诊断结果
|
|
```
|
|
|
|
### 回测相关
|
|
|
|
**Q: ONNX推理失败 "wrong dimension"?**
|
|
```cpp
|
|
// 确保在OnInit()中设置输入输出形状
|
|
ulong input_shape[] = {1, 10, 5};
|
|
OnnxSetInputShape(model_handle, 0, input_shape);
|
|
|
|
ulong output_shape[] = {1, 1};
|
|
OnnxSetOutputShape(model_handle, 0, output_shape);
|
|
```
|
|
|
|
**Q: 回测没有交易信号?**
|
|
```
|
|
检查清单:
|
|
1. 归一化参数是否一致
|
|
2. ONNX模型是否正确加载
|
|
3. 时间周期是否为H1
|
|
4. 查看Expert日志的预测值
|
|
```
|
|
|
|
**Q: 回测收益为负?**
|
|
```
|
|
这是正常的,原因:
|
|
1. LSTM难以预测随机市场
|
|
2. 模型过拟合训练数据
|
|
3. 交易成本(点差/滑点)未考虑
|
|
4. 需要优化止损止盈参数
|
|
|
|
建议:
|
|
- 仅用于学习,不要实盘
|
|
- 尝试不同市场和时间周期
|
|
- 结合其他技术指标
|
|
```
|
|
|
|
## 进阶扩展方向
|
|
|
|
### 1. 模型改进
|
|
- **双向LSTM**: 同时考虑过去和未来信息
|
|
- **GRU**: 更简单的门控单元,训练更快
|
|
- **Transformer**: 注意力机制,捕捉长期依赖
|
|
- **CNN-LSTM**: 卷积提取局部特征+LSTM捕捉时序
|
|
|
|
### 2. 特征工程
|
|
- **技术指标**: RSI, MACD, 布林带, KDJ
|
|
- **市场情绪**: VIX指数, 恐慌指数
|
|
- **基本面**: 经济数据, 新闻情绪分析
|
|
- **多周期**: M5/M15/H4数据融合
|
|
|
|
### 3. 策略优化
|
|
- **强化学习**: PPO/DQN优化交易决策
|
|
- **仓位管理**: Kelly公式动态调整手数
|
|
- **风控系统**: 最大回撤限制, 连续亏损止损
|
|
- **集成学习**: 多模型投票/加权平均
|
|
|
|
### 4. 工程化部署
|
|
- **实时推理服务**: FastAPI + Docker
|
|
- **模型监控**: MLflow跟踪模型性能
|
|
- **在线学习**: 定期用新数据微调模型
|
|
- **多品种交易**: 扩展到黄金/原油/股指
|
|
|
|
## 性能基准
|
|
|
|
### 训练性能 (RTX 4090)
|
|
|
|
| 指标 | 数值 |
|
|
|------|------|
|
|
| 数据量 | 31,053条 |
|
|
| 训练集 | 24,833条 (80%) |
|
|
| 验证集 | 6,209条 (20%) |
|
|
| 训练时间 | ~30秒 (含早停) |
|
|
| 实际轮数 | 164-184 (早停触发) |
|
|
| 最佳验证Loss | ~0.0001-0.0002 |
|
|
| 显存占用 | ~500MB |
|
|
|
|
### 推理性能 (MT5)
|
|
|
|
| 指标 | 数值 |
|
|
|------|------|
|
|
| 单次推理 | <1ms |
|
|
| H1周期延迟 | 可忽略 |
|
|
| CPU占用 | <1% |
|
|
|
|
## 免责声明
|
|
|
|
**重要提示**:
|
|
|
|
1. 本项目仅用于教学和研究目的,不构成任何投资建议
|
|
2. 金融市场存在不可预测性,过去表现不代表未来收益
|
|
3. LSTM模型可能过拟合历史数据,实盘表现可能与回测不符
|
|
4. 实盘交易前务必在模拟账户充分测试
|
|
5. 交易有风险,投资需谨慎,请勿使用无法承受损失的资金
|
|
|
|
## 参考资料
|
|
|
|
- [PyTorch官方文档](https://pytorch.org/docs/stable/index.html)
|
|
- [ONNX格式规范](https://onnx.ai/)
|
|
- [MQL5语言参考](https://www.mql5.com/zh/docs)
|
|
- [LSTM原理论文](https://www.bioinf.jku.at/publications/older/2604.pdf)
|
|
- [量化交易策略](https://www.quantstart.com/)
|
|
|
|
## 许可证
|
|
|
|
本项目采用 MIT 许可证开源,允许自由使用、修改和分发。
|
|
|
|
## 作者与贡献
|
|
|
|
本项目由AI辅助生成,用于教学演示。欢迎提出改进建议和Bug反馈。
|
|
|
|
---
|
|
|
|
**最后更新**: 2025-10-27
|
|
**版本**: 2.0.0
|
|
**更新内容**:
|
|
- ✅ 新增训练集/验证集划分 (80%/20%)
|
|
- ✅ 新增早停机制 (Early Stopping)
|
|
- ✅ 新增最佳模型自动保存
|
|
- ✅ 新增训练曲线可视化
|
|
- ✅ 新增训练状态智能诊断
|
|
- ✅ 优化训练流程和文档说明
|
|
|
|
**适用人群**: 量化交易初学者、深度学习实践者、MQL5开发者
|