Cómo evaluar un agente de voz: rúbrica para gerencia

Un agente de voz en una IPS no se evalúa por sonar natural; se evalúa por resolver el trabajo correcto sin romper la seguridad, la trazabilidad ni la continuidad de la atención. Para gerencia, la rúbrica debe mirar cinco cosas: propósito, límites clínicos, calidad operativa, datos auditables y mejora semanal.

La evaluación empieza por el trabajo que el agente debe hacer

La primera pregunta de gerencia no debería ser “¿qué tan humana suena la voz?”. Debería ser: ¿qué trabajo exacto va a asumir esta primera línea? En una institución de salud, la voz puede recibir solicitudes de cita, confirmar asistencia, capturar motivo administrativo, recuperar cupos liberados, orientar a la persona hacia un canal humano o dejar una tarea para seguimiento. Esos trabajos no son equivalentes. Cada uno tiene criterios distintos de éxito, riesgo y evidencia.

La Ley 1438 de 2011 organiza el sistema alrededor de atención primaria, integralidad, continuidad, calidad y redes integradas. Esa lectura importa porque un agente de voz no es un juguete de atención al cliente: es una puerta de acceso. Si responde bien, puede proteger oportunidad. Si responde mal, puede crear una barrera invisible. Si no deja rastro, puede hacer imposible demostrar qué pasó.

La Resolución 3280 de 2018 adopta rutas integrales, seguimiento y acciones de promoción y mantenimiento. Aunque la norma no habla de agentes de voz, sí da el marco de lo que la operación debe cuidar: población, ruta, intervención, oportunidad, continuidad y seguimiento. La rúbrica debe traducir esos principios a preguntas concretas: ¿identifica población o motivo?, ¿agenda contra disponibilidad real?, ¿escala cuando no puede resolver?, ¿documenta la respuesta?, ¿evita prometer atención clínica que no le corresponde?

Un error común es evaluar por tasa de finalización sin distinguir qué finalizó. Una llamada puede terminar rápido porque la persona cuelga frustrada. Puede terminar rápido porque el agente no entiende. Puede terminar rápido porque asignó la cita correcta. Las tres aparecen como “llamada cerrada” si el tablero es pobre. Por eso la rúbrica debe mirar el recorrido entero: entrada, entendimiento, decisión, acción, evidencia y aprendizaje.

La rúbrica gerencial debe separar cinco dimensiones

Una evaluación seria no mezcla experiencia, seguridad, agenda y datos en una sola nota. Eso produce discusiones vagas: “funcionó bien”, “falló un poco”, “la voz gustó”, “hubo errores”. Gerencia necesita dimensiones separadas para decidir si se corrige guion, integración, regla clínica, capacitación del equipo o alcance del agente.

La dimensión de propósito evita comprar una solución sin problema. Antes de escuchar audios, gerencia debe definir cuáles llamadas entran en la prueba y cuáles quedan fuera. Por ejemplo: cita nueva, cambio de cita, confirmación, cancelación, recordatorio, información logística, solicitud de resultados, queja, urgencia percibida. Cada categoría tiene un destino. Algunas deben resolverse automáticamente; otras deben escalar; otras deben entregar orientación administrativa sin entrar en consejo clínico.

La dimensión de límite clínico protege a la persona y a la institución. Un agente de voz en salud puede hacer preguntas administrativas, identificar intención, confirmar datos y trasladar contexto. No debe diagnosticar, recomendar tratamientos ni interpretar síntomas como si fuera un profesional. La rúbrica debe revisar frases de frontera: qué dice cuando la persona describe dolor, sangrado, fiebre, reacción adversa, deterioro o cualquier situación que exige evaluación humana. La buena respuesta no es “parece grave”; es escalar de forma definida según las reglas de la institución.

La dimensión de resolución mira si la conversación cambia algo en la agenda. Un agente que contesta y luego deja todo para que recepción llame después puede ser útil como filtro, pero no es lo mismo que uno que asigna, confirma, reprograma o libera cupo sobre reglas reales. La rúbrica debe separar “respondió” de “cerró”. En ROI operativo de un agente de voz en 90 días esa distinción es central: el retorno se mide en llamadas contestadas, cupos recuperados y horas devueltas, no en entusiasmo por la novedad.

La quinta dimensión, mejora, es la que convierte la evaluación en gobierno. No basta con declarar que una llamada falló. La IPS debe saber si falló por un guion ambiguo, una regla de agenda incompleta, una integración que no devolvió disponibilidad, una categoría mal definida o una frontera clínica que no estaba escrita. Ese diagnóstico cambia la corrección. Un error de guion se corrige en el texto; un error de agenda se corrige en la fuente de disponibilidad; un error de escalamiento exige protocolo; un error de gobierno exige dueño.

También conviene separar evaluación de lanzamiento y evaluación continua. La primera decide si el agente puede entrar a producción con un alcance limitado. La segunda decide si puede crecer a más sedes, más servicios o más horarios. Muchas instituciones tratan la salida a producción como meta final. En una capa de voz, es apenas el inicio de la medición seria: aparecen acentos, motivos nuevos, cambios de agenda, días de alta demanda y excepciones que no estaban en la prueba inicial.

La prueba debe usar casos reales, no diálogos ideales

La demo ideal siempre suena ordenada. La operación real no. Una persona cambia de tema. Llama por una cita pero termina preguntando por autorización. Quiere una sede específica. No recuerda el documento. Usa un teléfono de familiar. Pide “lo de siempre”. Dice que ya habló con alguien. Se molesta porque nadie contestó antes. La rúbrica debe probar esos casos, no solo la llamada perfecta.

Gerencia puede diseñar una batería inicial con llamadas de baja, media y alta fricción. Baja fricción: pedir una cita disponible con datos completos. Media fricción: reprogramar, confirmar o cancelar con información parcial. Alta fricción: queja, urgencia percibida, solicitud fuera de alcance, dato inconsistente o persona que no acepta el canal. Cada grupo revela fallas distintas. Si solo se prueba baja fricción, el agente parece listo antes de tiempo.

La muestra debe incluir lenguaje cotidiano, interrupciones y datos incompletos. No para “hacerlo fallar” por deporte, sino para ver dónde están los límites. Un buen agente reconoce cuando no sabe, pide aclaración una vez, no inventa disponibilidad, no promete cupos fuera de agenda y no convierte incertidumbre en respuesta segura. La institución necesita escuchar esos momentos antes de pasar a producción.

También conviene evaluar contra escenarios que la Resolución 3280 de 2018 vuelve habituales: seguimiento, cohortes, demanda inducida, rutas preventivas, controles, gestantes, personas con enfermedad crónica y población que no vuelve. El agente no tiene que decidir clínicamente la ruta, pero sí debe poder ejecutar una regla operativa: contactar, explicar motivo, ofrecer cupo, registrar respuesta y escalar barrera.

La prueba con casos reales exige una regla ética: anonimizar o usar datos sintéticos cuando se está entrenando o comparando proveedores. Para gerencia, lo relevante no es exponer información sensible; es reproducir situaciones. Se puede construir un banco de casos con nombres ficticios, agendas de prueba, sedes simuladas y motivos realistas. Lo que importa es que el agente enfrente la complejidad de la operación sin tocar datos reales innecesarios.

La trazabilidad pesa tanto como la conversación

La conversación es solo una parte del producto. En salud, lo que queda después importa igual o más: estado de la solicitud, motivo, resultado, canal, fecha, responsable, escalamiento, consentimiento operativo y próxima acción. El Ministerio, al explicar FEV-RIPS, señala que los prestadores deben reportar información de los servicios como parte de la factura electrónica y que el estándar se implementa por fases. Esa transición refuerza una idea más amplia: el dato asistencial y administrativo ya no puede vivir separado de la operación.

La trazabilidad mínima de una llamada debe responder seis preguntas: quién llamó o fue contactado, para qué, qué datos se confirmaron, qué decisión tomó el agente, qué quedó pendiente y quién debe actuar después. Si la respuesta vive como transcripción larga sin estado estructurado, el equipo seguirá leyendo conversaciones como si fueran expedientes sueltos. Eso no escala.

La rúbrica debe revisar el resumen de cada llamada junto con el audio o transcripción. ¿El resumen coincide con lo que se dijo? ¿Distingue cita agendada de intención de cita? ¿Marca una cancelación como cupo liberado? ¿Registra barrera de autorización si la persona la menciona? ¿Escala solo lo que corresponde? ¿Evita guardar información innecesaria? ¿Permite auditar errores sin depender de memoria del equipo?

Aquí se conectan la gobernanza y la capa de contacto. El agente de voz no debe ser una caja negra simpática. Debe producir evidencia útil para calidad, operaciones y dirección médica. Eso no significa vigilarlo todo de forma punitiva; significa crear aprendizaje. Si cada semana aparecen los mismos errores, el problema no es una llamada: es una regla mal diseñada, una agenda mal expuesta, una categoría ambigua o una frontera clínica insuficiente.

Una nota única no sirve; necesitas umbrales de salida

La gerencia tiende a pedir un “score” final. El score ayuda, pero solo si no oculta los riesgos. Un agente puede tener una experiencia agradable y una trazabilidad mala. Puede resolver agenda y escalar tarde. Puede sonar claro y guardar estados ambiguos. Por eso la rúbrica debe tener umbrales de salida por dimensión, no solo promedio.

Un criterio práctico: seguridad y límite clínico no promedian con simpatía. Si el agente da consejo clínico, inventa indicaciones, minimiza síntomas o promete resolución fuera de alcance, la prueba no pasa aunque la voz suene excelente. La seguridad es un portón. La agenda y experiencia pueden mejorar por iteración; los límites clínicos deben estar bien antes de exponer volumen.

El segundo portón es trazabilidad. Si una conversación termina bien pero el registro queda mal, la institución no puede aprender ni defender su operación. Una cita confirmada como “pendiente” crea trabajo duplicado. Un cupo liberado sin estado no se rellena. Una solicitud escalada sin responsable se pierde. En una IPS, los errores de registro se convierten en errores de atención.

El tercer portón es integración operativa. Un agente aislado puede contestar, pero si no ve disponibilidad real, no conoce reglas de sede, no respeta horarios, no entiende tipos de cita o no entrega el caso al equipo humano con contexto, obliga a rehacer trabajo. La rúbrica debe castigar ese falso cierre. La voz no vale por hablar; vale por mover la operación de forma correcta.

Qué puede hacer tu institución esta semana

Antes de comprar o ampliar una primera línea de voz, arma una rúbrica simple y úsala con disciplina. No necesitas un comité enorme; necesitas criterios claros, casos reales y una reunión semanal donde se revisen errores por categoría.

Si tu institución ya leyó el checklist para comprar un agente de IA en salud, esta rúbrica es el siguiente paso: pasar de criterios de compra a criterios de gobierno. Y si estás preparando una discusión de IA con junta o comité de datos, también se conecta con CONPES 4144 e IA en salud y con la landing de IA en salud: la pregunta responsable no es si automatizar, sino qué automatizar, bajo qué límite y con qué evidencia.

La mejor evaluación no busca probar que el agente es perfecto. Busca descubrir dónde falla antes de que el volumen lo descubra por ti. Una IPS que evalúa así no compra una voz: compra una capacidad operativa gobernada.