Evaluar respuestas y agentes
Prepara un conjunto de casos que represente las tareas reales y sus fallos importantes.
Qué aprenderás
- Prepara un conjunto de casos que represente las tareas reales y sus fallos importantes
- Construir y comprobar una solución usando datos ficticios.
- Resolver y aprobar la hoja de ejercicios antes de continuar.
Conceptos del tema
Prepara un conjunto de casos que represente las tareas reales y sus fallos importantes.
Define criterios observables: exactitud, uso de evidencia, formato, herramientas elegidas y acciones permitidas.
Evalúa también casos sin respuesta suficiente y entradas ambiguas.
Compara versiones con el mismo conjunto y revisa ejemplos fallidos; una media única puede ocultar un error grave en un grupo pequeño.
Cómo interpretar este tema
Separa el objetivo de los datos de entrada y del criterio de éxito. Trabaja primero con ejemplos ficticios que puedas comprobar. En código, identifica entradas, operaciones y salidas; en un encargo a una IA, distingue el contenido generado de las acciones realmente ejecutadas.
Construye una solución pequeña y revisable. Comprueba casos normales, fronteras y errores; conserva las fuentes de las afirmaciones y los permisos de cada herramienta. Los ejemplos de Python de este curso se copian a tu propio entorno: la página no ejecuta código ni realiza llamadas a servicios de IA.
Detalles para comprender la regla
Mantener casos y criterios reduce diferencias ajenas al cambio que se quiere evaluar.
El comportamiento ante información ausente es parte de la calidad del sistema.
La distribución de errores y su gravedad importan además de la media.
Ejemplo resuelto
Comparar dos versiones de un asistente de preguntas frecuentes.
- Incluye preguntas respondibles, ambiguas y fuera de la colección.
- Puntúa exactitud y referencias con la misma rúbrica.
- Analiza los errores antes de elegir una versión.
Cómo practicar
- Define el resultado y los datos que necesita.
- Revisa el ejemplo y anticipa su salida antes de probarlo.
- Comprueba un caso normal, una frontera y un error.
- Explica la solución y verifica los datos o fuentes que utiliza.
Tu cuenta gratuita guarda respuestas, notas y progreso en las dos plataformas.
Abrir teoría y hoja de ejercicios →Elegir mi punto de partidaRecursos para profundizar
- Evaluar agentes · OpenAI Docs ↗
Documentación de referencia del tema. Puede estar en inglés.