MemSWE
El objeto de estudio es la memoria, no el modelo. MemSWE es un benchmark de tareas de mantenimiento de software que aísla la condición de memoria y conserva constante el runtime, el modelo, las herramientas y la evaluación.
- Mi papel
- Coautor de tesis con Fernando Ramos
- Estado
- Investigación
0 de 120 pasaron. Las tareas más difíciles fallaron toda prueba que el agente no podía ver.
15 tareas a lo ancho, seis condiciones de memoria a lo alto, cuatro repeticiones en cada bloque. El 66.7% es un puntaje exploratorio, no un leaderboard: la igualdad de resultados no establece equivalencia ni un ganador.
La prueba no puede cambiar la prueba
El contrato y la ejecución permanecen separados: memswe define qué se evalúa y pi-memswe implementa cómo se ejecuta bajo un runtime fijo, de modo que los cambios del arnés no alteran la identidad del benchmark.
memswe, el contrato
- Descriptores y fixtures de tareas
- Sesiones, facts y alcance
- Esquemas, scoring y medición
- Declaraciones de verificadores
pi-memswe, el runtime fijo
- Orquesta las condiciones
- Ejecuta el agente de código
- Captura trazas y verificadores
- Emite registros de ejecución
- Validar
- Aislar
- Ejecutar
- Recolectar
- Limpiar
- Evaluar
Qué aprendimos
Resultado
El ciclo especificar, ejecutar, verificar y agregar se completó en 360 ejecuciones.
Límite
La matriz inicial fue demasiado fácil y las tareas complejas fallaron uniformemente el verificador oculto.
Siguiente
Crear dificultad intermedia y reportar cada nivel de verificación por separado.
Quién hizo qué
Lo que fue mío
Colaboración de tesis
Retenido: la autoría técnica individual detallada requiere confirmación de Lalo.
Lo que fue del equipo
Contrato del benchmark
Retenido: la autoría individual de tareas, fixtures, verificadores, esquemas y política no está aprobada.
Construido con
Bun, YAML task descriptors, JSON Schema, Python verifiers
Comprobantes
| Fuente | Tipo | Verificado |
|---|---|---|
| README del contrato de benchmark MemSWE | Fuente no pública | 2026-08-13 |
| Sitio público del proyecto | live product | 2026-08-20 |
¿Aún no confías en tu agente?