Adrian Flores Cortes c4d1524793 [TASK-2026-01-25-ML-DATA-MIGRATION] docs: Add CAPVED documentation for ML data migration task

- Created full CAPVED folder with METADATA, 01-06 phases, and SUMMARY
- Updated _INDEX.yml with new task entry
- Documents: Polygon data loading, MySQL→PostgreSQL migration, 12 attention models

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>

2026-01-25 06:17:40 -06:00

1.7 KiB

Raw Blame History

SUMMARY - ML Data Migration & Model Training

Task ID: TASK-2026-01-25-ML-DATA-MIGRATION

Estado: COMPLETADA

Fecha: 2026-01-25

Resumen Ejecutivo

Migracion exitosa del sistema ML de MySQL a PostgreSQL, incluyendo:

Carga de 469,217 bars de datos de mercado desde Polygon API
Nuevo modulo de acceso a PostgreSQL con compatibilidad MySQL
Entrenamiento de 12 modelos de atencion (Level 0)

Metricas Clave

Metrica	Valor
Datos cargados	469,217 bars
Tickers	6 (XAUUSD, EURUSD, BTCUSD, GBPUSD, USDJPY, AUDUSD)
Modelos entrenados	12
Archivos creados	4
Archivos modificados	4
Commits	4

Entregables Principales

1. Script de Carga de Datos

apps/data-service/scripts/fetch_polygon_data.py

Carga async desde Polygon API
Rate limiting automatico
Upserts con ON CONFLICT

2. Modulo PostgreSQL para ML

apps/ml-engine/src/data/database.py

PostgreSQLConnection class
Traduccion automatica MySQL→PostgreSQL
Backward compatible via alias

3. Modelos de Atencion

apps/ml-engine/models/attention/

12 modelos (6 symbols x 2 timeframes)
XGBoost regressor + classifier por modelo
Metricas: R2 hasta 0.296, Accuracy hasta 77%

Lecciones Aprendidas

Venv en WSL: Usar path Linux nativo, no /mnt/c
Timezones: Normalizar a naive para comparaciones
Datos Level 1+: Requieren >5 anos de historico

Dependencias Futuras

Level 1+ models → Requiere mas datos historicos
API FastAPI → Pendiente implementar endpoints
Frontend ML → Dashboard de metricas

Verificacion Final

Datos en PostgreSQL validados
Modelos funcionando
Documentacion actualizada
Commits realizados
TASK CAPVED completa

1.7 KiB Raw Blame History