Estadísticas y ANS (I)

La semana pasada estuve en un cliente realizando unas pruebas previas a la puesta en producción de un nuevo servicio. Mientras se iban realizando las pruebas de todo tipo, me llamó la atención que el tiempo de logon al nuevo aplicativo era muy variable, a veces un segundo y a veces 10 segundos y eso me hizo pensar en cuál era la sensación que podía tener un usuario ante esta situación.

Idealmente, cualquier usuario desea que las aplicaciones que utiliza vayan “rápido”, pero eso es un concepto totalmente subjetivo: ¿cuánto es rápido? Si toda tu vida has ido en un SEAT 127, rápido son 80Km/h… hasta que te subes a un Porsche y conoces lo que es circular a 120Km/h (claro, a más no puedes porque estarías violando la ley)… entonces tu 127 nunca más vuelve a ser rápido.

Siguiendo con la analogía, si a un usuario le dejas conocer la velocidad de logon de un segundo, nunca más pensará que 5 segundos es “rápido”, así que llegamos a la conclusión de que más que rápido o lento, lo ideal es que el rendimiento del servicio sea estable, con pocas variaciones, predecible.

Esta misma situación se da en los procesos, donde al margen de que el tiempo de respuesta o de la velocidad de ejecución de las actividades sea especialmente bueno, el cliente desea (aunque sea de una forma inconsciente) un comportamiento estable, predecible y con poca variabilidad, porque cuando las cosas son predecibles nos hacen sentir más cómodos.

Desde un punto de vista tradicional, tanto los procesos como los servicios son evaluados según un paquete de métricas y es el análisis de estas métricas lo que nos debe llevar a concluir si estos comportamientos son estables o no; pero desde un punto de vista estadístico tanto procesos como servicios son evaluados a partir de una serie de observaciones a partir de las cuales se obtienen las métricas que nos servirán para analizarlos: hay una sutil diferencia entre la verdad absoluta y la verdad estadística.

Tomemos como ejemplo el tiempo de logon de esta aplicación que fue la que disparó esta línea de pensamiento, pero en dos momentos distintos de su historia: como buenos itileros que somos, tenemos montados unos mecanismos de monitorización que nos permiten sondear estos tiempos de respuesta; una medición cada cinco minutos nos genera la nada despreciable cifra de 288 observaciones por día y tenemos dos columnas para representar los dos periodos de medición diferentes. (Para ir experimentando con las nuevas tecnologías, he colgado los dos paquetes de datos que usaremos como ejemplos aqui)

Normalmente, nos encontraremos que la métrica principal sobre un sistema como este sería la media de tiempo de logon, valor que para ambos casos es de 4,2 sg, y que podríamos entender como razonable e incluso se podría haber marcado como objetivo de nivel de servicio en un ANS.

SLO: Tiempo medio de logon para el servicio inferior a 5sg.

Ahora bien, ¿cuán estable es el comportamiento del tiempo de logon?

Con una media únicamente no es suficiente para poder asegurar con rigor que los resultados obtenidos son los definitivos y correctos para definir nuestro valor de la SLO. Necesitamos tener más información y es por ello que nuestro siguiente paso es representar el comportamiento de las observaciones TlogonA y TlogonB (tiempos de respuesta obtenidos cada 5 minutos en 1 día) en una gráfica :

Y es entonces que nos encontramos con un problema típico de este tipo de representación: la gráfica no nos dice gran cosa. A primera vista son muy parecidas e incluso hasta nos puede parecer mejor la segunda que la primera, pero hay un par de trampas ocultas: por una parte, está la escala (ojo! Variando la escala puedo hacer que cualquier gráfico sea “aceptable”) y por otro lado está el número de picos que hay en la segunda gráfica, que es mayor.

Pero hay unos cuantos valores estadísticos que nos pueden ayudar en sobremanera en estos casos: el primero de ellos es sigma, o “desviación estándar”.

La desviación estándar indica el grado de dispersión de la muestra, osea, cuánto tienden a alejarse los valores del promedio de la muestra: cuando haya una dispersión muy grande (osea, poca estabilidad) tendremos un valor de sigma muy elevado y cuando los valores se agrupen cerca de la media, entonces tendremos valores de sigma muy bajos.

Si aplicamos las fórmulas correspondientes a nuestra muestra, nos encontramos que tenemos una desviación estándar de 1,22 en el primer ejemplo, mientras que nos encontramos con un valor de sigma de 3,02 para la segunda muestra. Esto significa que en el primer ejemplo, la distancia media entre las observaciones y el valor 4,2 es de 1,22 y, por lo tanto, podemos empezar a intuir que en el primer ejemplo hablamos de que aproximadamente el tiempo de respuesta oscila entre 3,06 y 5,5 segundos, mientras que en el segundo caso la horquilla va desde los 1,22 hasta los 7,26 segundos.

De esta forma, comenzamos a vislumbrar que la media como único elemento para la evaluación de un servicio o de un proceso no es suficiente y que precisamos de otros artefactos matemáticos estadísticos que nos permitan evaluar la estabilidad y la bondad o incluso predecir el grado de cumplimiento de estos ANS. Sigma destaca como uno de los más importantes, ya que nos permite saber la variabilidad de nuestros datos, pero no es lo único a investigar.

En próximos artículos iremos viendo qué artilugios podemos utilizar y cómo se comporta nuestro servicio ante este tipo de análisis estadístico, proporcionando herramientas tanto para actuar como clientes (y solicitar que los ANS de nuestros proveedores dispongan de objetivos de nivel de servicio medidos en los términos adecuados) como para actuar como proveedores (y utilizar las estadísticas para ajustar los valores propuestos de ANS a valores asequibles y con escasos niveles de error).

PS: Estos ejemplos están realizados con una versión de evaluación de SPSS 15.0 que caduca dentro de apenas 13 días, así que espero poder terminar de escribirlos antes de esa fecha o que los señores de SPSS me hagan feliz con un regalito de cumpleaños para el blog! ;-)