El documento aborda la evaluación de herramientas de software, enfatizando la calidad del producto y sus requisitos como base para medirla. Se mencionan estándares ISO relevantes para la evaluación y se presentan diferentes criterios, métodos y técnicas de evaluación, incluyendo la recolección de datos y la participación de expertos y usuarios. Se concluye que la evaluación debe ser planificada cuidadosamente, definiendo parámetros y escalas de valoración adecuadas.

1. Evaluación de
herramientas de
software
Jesús Tramullas
Depto. Ciencias Documentación, Univ. de Zaragoza
http://tramullas.com

2. Sobre los términos
●
●
●
En Información y Documentación
generalmente se habla de “evaluar
herramientas o productos de software”...
En Ingeniería del Software se habla de
“calidad del producto de software”...
Los requisitos del software son la base de
las medidas de calidad.

3. Calidad de software
●
●
Calidad del software es el grado en el que
el producto de software incorpora un
conjunto de características definididas por
la industria, de tal manera que se garantiza
su eficiencia de uso respecto a los
requerimientos de los clientes.
“Grado con el que un sistema, componente
o proceso cumple los requerimientos
especificados y las necesidades o
expectativas del cliente o usuario.” (IEEE 610-1990 Standard Glossary of Software Engineering Terminology).

4. Evaluar la calidad de
software
●
●
●
Implica evaluar tanto el producto final como
los procesos de su diseño y desarrollo.
Esta actividad está estandarizada.
Los estándares son denominados Modelos
de Referencia.

5. Normas ISO de
referencia
●
●
●
ISO/IEC 9126, modelo de calidad del
producto de software.
ISO/IEC 9241: características de software
usable.
ISO/IEC 14598, calidad de la evaluación
del producto de software.
●
ISO/IEC 25000, SquaRE.
●
ISO/IEC 15504, procesos.

6. ISO/IEC 9126
●
●
Usa un conjunto estructurado de
características (6), subcaracterísticas (27) y
atributos.
Los atributos es una entidad que puede ser
verificado o medida. No están predefinidos,
ya que pueden variar en diferentes
productos.

7. Criterios internos /
externos según ISO 9126

8. Los más interesantes
para evaluación...
●
●
Funcionalidad: conjunto de atributos que se
relacionan con la existencia de un conjunto
de funciones y sus propiedades
específicas. Las funciones son aquellas
que satisfacen las necesidades implícitas o
explícitas.
Usabilidad: conjunto de atributos
relacionados con el esfuerzo necesario
para su uso, y en la valoración individual de
tal uso, por un establecido o implicado
conjunto de usuarios.

9. ISO/IEC 14598 / 25000

10. Documenta, documenta...
●
●
●
ISO/IEC 14598-4: proceso sistemático para
compradores de software.
ISO/IEC 14598-5: recomendaciones para la
apliacación de evaluaciónes de software.
ISO/IEC 14598-6:
– Documentación de módulos de evaluación.
– Documento estructurado.

11. Puntúa, puntúa...
●
●
Asignar valores numéricos para las
métricas de subcategorías y de atributos.
Definir rangos para:
– Rango objetivo.
– Mínimamente aceptable.
– Inaceptable.
●
Definir escalas para:
– Satisfactorio.
– Insatisfactorio.

12. Vamos a evaluar...
●
●
●
La evaluación de productos o herramientas
de software no se limita a la obtención de
un certificado de calidad.
Una parte importante de las evaluaciones
se llevan a cabo con la finalidad de tomar
una decisión (recomendación, compra,
mejora).
En ocasiones hay que tener en cuenta
factores externos a la herramienta de
software.

13. Limitaciones
●
●
●
No hay que olvidar que suele tratarse de
experiencias de laboratorio.
El evaluador o los usuarios lo saben:
puede afectar con un sesgo.
Un objetivo de evaluación mal definido
afecta a los instrumentos de medida, al
proceso y a los resultados.

14. Definición de la
evaluación
●
Objetivo de la evaluación.
●
Objeto de la evaluación.
●
Conjunto de herramientas a evaluar.
●
Definición de elementos/características.
●
Definición de métodos de evaluación.
●
Definición del proceso.
●
Ejecución del proceso.
●
Valoración de resultados.

15. Principales objetos de la
evaluación
●
La evaluación de
funcionalidades.
●
La evaluación de
interfaces.

16. Ejecución de tareas
●
Desarrollo de procesos de evaluación por
ejecución de tareas:
●
●
●
●
Combinan la evaluación de funcionalidades
con la de interfaz.
Puede combinar métricas cuantitativas e
indicacores cualitativos.
Añaden factores de tiempo de ejecución y
explotación.
Uso potencial de ficheros de transacciones.

17. Técnicas de toma de
datos
●
Formularios de cumplimiento.
●
Encuestas.
●
Observación.
●
Ejecución de tareas.
●
Entrevistas.
●
Análisis de ficheros de transacciones.

18. La evaluación: sujetos
participantes
●
La evaluación por
expertos.
●
La evaluación por
usuarios.

19. No hay que olvidar...
●
●
●
La consulta detallada de la documentación
de referencia de la herramienta software.
El nivel de competencia del evaluador o
evaluadores.
Los factores externos que puedan afectar
al juicio del evaluador o evaluadores.

20. Conclusiones
●
●
●
●
●
La evaluación de productos o herramientas
de software es la evaluación de su calidad.
La calidad ofrece diferentes perspectivas.
La evaluación debe realizarse en el marco
de una cuidadosa planificación.
Es necesario definir los parámetros a
valorar y las escalas de valor de cada uno
de ellos y del conjunto.
Hay que ajustar las técnicas de toma de
datos a las características de la evaluación.