Trabajo Fin de Máster · Aprendizaje por refuerzo · 2023
E3B en MiniGrid
Adaptación del método de exploración E3B de Meta AI (Exploration via Elliptical Episodic Bonuses) a MiniGrid, integrado en PPO y A2C para resolver tareas con recompensas escasas y observación parcial en hardware modesto.
- 5entornos de MiniGrid
- 5agentes comparados: A2C, PPO, RIDE, NovelD y E3B
- Sin GPUentrenado en un ordenador doméstico
Puntos clave
- Implementé PPO y A2C como base e integré en ambos la bonificación episódica elíptica de E3B.
- Usé un autoencoder para reducir la dimensionalidad de las observaciones y hacer viable E3B en sistemas con poca capacidad de cómputo.
- Evaluación en MiniGrid MultiRoom, DoorKey y ObstructedMaze: E3B mejoró la velocidad de convergencia y la recompensa media frente a los algoritmos base, acercándose a métodos más recientes del estado del arte.
El problema
Los agentes de aprendizaje por refuerzo tienen problemas cuando las recompensas son escasas y el entorno solo es parcialmente observable: repiten lo que ya conocen en vez de explorar. E3B recompensa al agente por visitar estados nuevos dentro del episodio actual, medidos con una bonificación elíptica sobre representaciones aprendidas del estado.
Qué hice
Revisé la literatura sobre exploración y recompensas intrínsecas, implementé A2C y PPO, integré E3B en ambos y simplifiqué el método (con un autoencoder para reducir dimensionalidad) para poder entrenarlo sin grandes recursos de cómputo.
Resultados
Añadir E3B mejoró ambos algoritmos base en velocidad de convergencia y recompensa media en los entornos más difíciles, y la versión simplificada se comportó de forma cercana a algoritmos más recientes del estado del arte. Resultado clave: en los tres entornos más difíciles (MultiRoom-N4, MultiRoom-N6 y ObstructedMaze), donde A2C y PPO no llegaron a aprender ninguna política viable (recompensa 0 tras millones de pasos), E3B sí lo consiguió, con unas 2,5 veces los pasos de entrenamiento de NovelD, un método más reciente del estado del arte, y en un ordenador doméstico sin GPU.
Tecnologías
- Reinforcement learning
- PPO
- A2C
- E3B
- Autoencoders
- MiniGrid
- Python
Hablemos
¿Buscas a alguien para datos o IA? Me encantará conocer el puesto.