BENCHMARKING DE ARQUITECTURA DEL SOFTWARE

EL CONTEXTO DEL BENCHMARKING

A lo largo de la historia de la informática, el uso de pruebas en detalle o benchmarks ha sido algo muy común, de forma
que los resultados obtenidos de forma objetiva en las distintas arquitecturas mediante estas pruebas podían ser
comparados (ej. BRL-CAD, LINPACK, 3DMark, SPEC CPU2000, SPEC WEB99, etc.). En general, la realización de
pruebas comparativas no suele ser una tarea fácil y requiere de sesiones repetitivas para llegar a conclusiones útiles,
siendo también difícil la interpretación de los resultados de las pruebas. Un factor a tener en cuenta durante la
realización de las pruebas es que los vendedores suelen afinar sus productos específicamente para los benchmarks más
comúnmente utilizados en su sector, por lo que hay que tener especial precaución a la hora de interpretar los resultados.
Además, los benchmarks generalmente, a parte de las mediciones cuantitativas del rendimiento de un sistema, no suelen
tener en cuenta ninguna medición cualitativa a cerca del servicio como pueden ser la seguridad, la disponibilidad, la
confiabilidad, la escalabilidad, o el grado de conformidad con las especificaciones, las cuales son tan o más importantes
que las anteriores (ej. pruebas de conformidad de servicios WMS y WFS desarrolladas por OCCAMLAB [4] y el
proyecto ACE-GIS [5]).

INGENIERIA DEL SOFTWARE