c4d1524793
- Created full CAPVED folder with METADATA, 01-06 phases, and SUMMARY - Updated _INDEX.yml with new task entry - Documents: Polygon data loading, MySQL→PostgreSQL migration, 12 attention models Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
76 lines
1.7 KiB
Markdown
76 lines
1.7 KiB
Markdown
# SUMMARY - ML Data Migration & Model Training
|
|
|
|
## Task ID: TASK-2026-01-25-ML-DATA-MIGRATION
|
|
## Estado: COMPLETADA
|
|
## Fecha: 2026-01-25
|
|
|
|
---
|
|
|
|
## Resumen Ejecutivo
|
|
|
|
Migracion exitosa del sistema ML de MySQL a PostgreSQL, incluyendo:
|
|
- Carga de 469,217 bars de datos de mercado desde Polygon API
|
|
- Nuevo modulo de acceso a PostgreSQL con compatibilidad MySQL
|
|
- Entrenamiento de 12 modelos de atencion (Level 0)
|
|
|
|
---
|
|
|
|
## Metricas Clave
|
|
|
|
| Metrica | Valor |
|
|
|---------|-------|
|
|
| Datos cargados | 469,217 bars |
|
|
| Tickers | 6 (XAUUSD, EURUSD, BTCUSD, GBPUSD, USDJPY, AUDUSD) |
|
|
| Modelos entrenados | 12 |
|
|
| Archivos creados | 4 |
|
|
| Archivos modificados | 4 |
|
|
| Commits | 4 |
|
|
|
|
---
|
|
|
|
## Entregables Principales
|
|
|
|
### 1. Script de Carga de Datos
|
|
`apps/data-service/scripts/fetch_polygon_data.py`
|
|
- Carga async desde Polygon API
|
|
- Rate limiting automatico
|
|
- Upserts con ON CONFLICT
|
|
|
|
### 2. Modulo PostgreSQL para ML
|
|
`apps/ml-engine/src/data/database.py`
|
|
- `PostgreSQLConnection` class
|
|
- Traduccion automatica MySQL→PostgreSQL
|
|
- Backward compatible via alias
|
|
|
|
### 3. Modelos de Atencion
|
|
`apps/ml-engine/models/attention/`
|
|
- 12 modelos (6 symbols x 2 timeframes)
|
|
- XGBoost regressor + classifier por modelo
|
|
- Metricas: R2 hasta 0.296, Accuracy hasta 77%
|
|
|
|
---
|
|
|
|
## Lecciones Aprendidas
|
|
|
|
1. **Venv en WSL:** Usar path Linux nativo, no /mnt/c
|
|
2. **Timezones:** Normalizar a naive para comparaciones
|
|
3. **Datos Level 1+:** Requieren >5 anos de historico
|
|
|
|
---
|
|
|
|
## Dependencias Futuras
|
|
|
|
- Level 1+ models → Requiere mas datos historicos
|
|
- API FastAPI → Pendiente implementar endpoints
|
|
- Frontend ML → Dashboard de metricas
|
|
|
|
---
|
|
|
|
## Verificacion Final
|
|
|
|
- [x] Datos en PostgreSQL validados
|
|
- [x] Modelos funcionando
|
|
- [x] Documentacion actualizada
|
|
- [x] Commits realizados
|
|
- [x] TASK CAPVED completa
|