Recibido 28 Mar 2016
Aceptado 2 May 2016
ReCIBE, Año 5 No. 3, Noviembre 2016

Gestión de Materiales Experimentales y su Uso en Replicaciones de Experimentos: Un Mapeo Sistemático de la Literatura


Replication Management Tools and Materials for Use in Replication in Experimental Software Engineering: A Systematic Mapping Study

Edison Espinosa
Universidad de las Fuerzas Armadas , Ecuador
egespinosa1@espe.edu.ec

Juan Marcelo Ferreira
Facultad Politécnica de la Universidad Nacional de Asunción, Paraguay
jmferreira1978@gmail.com


Resumen: La Ingeniería de Software Experimental (ISE) aplica la experimentación para obtener conocimiento sobre productos, métodos, técnicas usados en el proceso de desarrollo software. Para validar el conocimiento es necesario repetir el experimento original tantas veces como sea necesario. Se requieren mucha información y materiales acerca del experimento para que un experimentador realice una replicación. Previa a la ejecución de la replicación del experimento, algunos o la totalidad de los materiales pueden requerir cambios produciendo nuevas o modificadas versiones de estos. Una vez ejecutada la replicación del experimento se espera que, parte o la totalidad de los materiales, se incorporen al material del experimento original. El incremento en el número de replicaciones del experimento original está directamente relacionado con el incremento de las versiones del material experimental, que ocasiona comúnmente confusión y desorden en su organización. En este trabajo, realizamos un mapeo sistemático de la literatura (MSL) para localizar trabajos sobre Gestión de Materiales Experimentales y su Uso en Replicaciones en Ingeniería de Software Experimental. Los resultados encontrados reflejan la escasa existencia de artículos sobre esta temática. Además, el análisis de los estudios encontrados ha descubierto que dichos artículos, en su mayoría, adolecen de problemas en la gestión de versiones de materiales experimentales para poder llevar a cabo un proceso de replicación. Estos datos proporcionan información de interés para iniciar la investigación de la adopción del paradigma de gestión de configuración de software en la gestión del material experimental en ISE.

Palabras clave: Ingeniería del Software Experimental, Replicación de Experimentos, Material Experimental, Gestión del Material Experimental

Abstract: Experimental Software Engineering (ESE) applies experimentation to get knowledge about products, methods and techniques used in the software development process. The original experiment should be repeated as many times as necessary to validate that knowledge. Lots of information and materials about experiment is required for an experimenter to perform a replication. Before the execution of the experimental replication, all or part of the materials may require changes producing new or modified versions of these. After experimental replication is executed, it is expected that all or part of the materials are incorporated in the material of the original experiment. The increase of the number of replications of the original experiment is directly related to the increase of the versions of the experimental material, generating commonly confusion and disorder in the organization. In this work, we conduct a mapping study to locate articles about Replication Management Tools and Materials for use in experiment replication in ESE. The results show the lack of articles in this subject. Furthermore, most of them suffers from problems in the version management of the experimental materials to carry out a replication process. These data provide interesting information to start a research of the adoption of the software configuration management paradigm in the experimental material management.

Keywords: Experimental Software Engineering; Experiment Replication; Experimental Material; Experimental Material Management.

1. Introducción

En la Ingeniería del Software (IS) se han realizado centenares de experimentos que abarcan virtualmente todas las áreas (Sjøberg et al., 2005) y este número no cesa de incrementarse (Dieste, Fernandez, Martinez, & Juristo, 2011; Zendler, 2001). La experimentación en IS es compleja, pero necesaria y requiere mecanismos para sustentar y motivar los estudios e integrar resultados; lo que a su vez, necesita de una comunidad de experimentadores que se centre en replicar estudios (V. R. Basili, Shull, & Lanubile, 1999). La replicación se utiliza para validar los resultados empíricos publicados por investigadores en IS (Daly, Brooks, Miller, Roper, & Wood, 1994; F. J. Shull, Carver, Vegas, & Juristo, 2008). Se requieren mucha información y materiales acerca del experimento para que un experimentador realice una replicación (Schmidt, 2009). Previa a la ejecución de la replicación del experimento, algunos o la totalidad de los materiales pueden requerir cambios produciendo nuevas o modificadas versiones de estos. Una vez ejecutada la replicación del experimento se espera que parte o la totalidad de los materiales se incorporen al material del experimento original. El incremento en el número de replicaciones del experimento original está directamente relacionado con el incremento de versiones del material experimental, ocasionando comúnmente confusión y desorden en su organización donde el problema de gestionar las versiones de los materiales experimentales y las replicaciones de un experimento se torna más compleja (Mendonça et al., 2008). La gestión de los materiales experimentales es una cuestión abierta en ISE y de importancia notoria según han manifestado diversos autores (Do, Elbaum, & Rothermel, 2005; Gallardo, 2012; F. Shull et al., 2002; F. Shull, Mendonça et al., 2004). La literatura relacionada sobre la replicación de experimentos permite identificar la evolución de los instrumentos que se emplearon en la transmisión de información para replicar experimentos como: reportes de los experimentos, paquetes de replicación e infreaestructura tecnológicas para apoyo a la experimentación (Vegas, Juristo, Moreno, Solari, & Letelier, 2006). En este artículo se presenta un MSL que se ha llevado a cabo para localizar investigaciones en los que se evidencie la gestión del material experimental y su uso en replicación de experimentos en ISE.

El artículo está estructurado de la siguiente manera. En la sección 2 se describen los antecedentes. En la sección 3 se describen la pregunta de investigación y la metodología. En la sección 4 se detalla el proceso de planificación y ejecución de las iteraciones. Los resultados son detallados en la sección 5. En la sección 6 se discuten aspectos relevantes de los artículos localizados y seleccionados. Las situaciones que amenazan la validez de esta investigación son presentadas en la sección 7. Finalmente, en las secciones 8 y 9 se dan las conclusiones y líneas futuras de la investigación.

2. Antecedentes

Para incentivar los procesos de experimentación y replicación en IS, algunos investigadores propusieron y desarrollaron instrumentos para transferir información, como publicaciones, paquetes de replicación y repositorios de experimentos (Gallardo, 2012). En el inicio, las publicaciones del experimento resultaban en un documento que se transfería para replicar el experimento (Kamsties & Lott, 1995). Posteriormente, investigadores como Lott (Lott,s.f.), Basili y colegas (V. Basili et al., 1996) entre otros propusieron y desarrollaron paquetes estáticos de replicación que contienen algunos documentos (materiales, objetos, instrumentos, formularios, instrumentos, especificaciones entre otros) que son necesarios para replicar un experimento. Finalmente, algunos trabajos de investigación proporcionan infraestructuras tecnológicas para almacenamiento de materiales, instrumentos, documentos entre otros en diferentes medios, que son usados para transferir información. Estos pueden ir desde un repositorio de material experimental hasta la definición e implementación de herramientas para soportar las actividades del proceso experimental. Además, ha habido intentos para almacenar resultados (grupo de experimentos, casos de estudio y experimentos individuales) en lo que podría llamarse como bases de experiencia CEBASE (Boehm & Basili, April 2001), Visek (Hofmann & Wulf, 2002), Giants (Vanschoren & Blockeel, 2009) and SIR (Petersen, Feldt, Mujtaba, & Mattsson, 2008).

Los materiales experimentales en ISE podrían ser considerados como un conjunto común de productos: interrelacionados, reutilizables, almacenados en repositorios y que se usan para realizar futuros procesos de experimentación y replicación. Estos productos evolucionan en el tiempo debido: al cambio de contexto, por defectos encontrados en el material, la evolución de la investigación entre otros, que genera nuevas o modificadas versiones del material experimental. Los materiales experimentales y sus diferentes versiones se constituyen en el medio de comunicación entre los diferentes experimentadores. En este contexto proponemos llevar a cabo un MSL que permita localizar trabajos en los que se evidencie la gestión de materiales experimentales y su uso en replicaciones de experimentos (Espinosa, 2014).

3. Pregunta de Investigación y Metodología

Dirigimos el alcance de esta investigación sobre artículos relacionados a la gestión de materiales experimentales y su uso en replicaciones hasta julio de 2014. La pregunta de investigación que planteamos es:

RQ1: ¿Qué investigaciones existen sobre gestión de materiales experimentales para la realización de replicaciones?

La RQ1 que nos planteamos en esta investigación busca localizar los artículos donde se identifique indicios de la gestión de versiones en el material experimental. Realizamos un MSL (Systematic Mapping Study, SMS en inglés) con dos iteraciones. Para cada iteración se desarrollaron las actividades de planificación y ejecución para identificar la cantidad, tipo de publicaciones y los reportes técnicos disponibles sobre esta temática. Según Petersen (Petersen et al., 2008), los pasos para llevar a cabo un mapeo sistemático son: la definición de la pregunta de investigación, la búsqueda de artículos relacionados, el análisis de resultados, la selección de artículos, el keywording del resumen y la extracción y mapeo de los datos. En cada uno de estos pasos se producen ciertos resultados y al final del proceso se tiene el mapa de los artículos relacionados sobre la temática. Además, la ejecución de estos pasos requiere el uso de recursos humanos, materiales, técnicos etc. Los recursos utilizados para la búsqueda de artículos incluyen un conjunto de reglas, actividades, elementos e instrumentos, que formalizan y dan soporte a las actividades de:

1. Selección de fuentes de artículos
2. Definición de la cadena de búsqueda
3. Definición de los criterios de inclusión y exclusión
4. Preselección de artículos
5. Selección de artículos
6. Extracción de datos de los artículos

Para la selección de fuentes de artículos establecemos un conjunto de reglas para garantizar la calidad y cantidad de los artículos. Las reglas que consideramos son: definición de criterios de selección de fuentes y motores de búsqueda. En la actividad de definición de cadenas de búsqueda se estructuraran las cadenas de búsqueda utilizadas para responder a la pregunta de investigación. Como lo propone Beecham (Beecham, Baddoo, Hall, Robinson, & Sharp, 2006), la cadena de búsqueda se construye a partir de la pregunta de investigación planteada con la estrategia PICOC y para refinar la pregunta de investigación se aplica las estrategia propuesta por Petticrew & (Petticrew & Roberts, 2008). Para la definición de los criterios de inclusión y exclusión se establecen previamente un conjunto de criterios utilizados durante la actividad de ejecución de la búsqueda para la preselección y selección de artículos. En la actividad de preselección de artículos se procede a la lectura de algunas secciones del artículo a fin de identificar en el texto términos utilizados en la cadena de búsqueda. En la actividad de selección de artículos se hace una lectura completa del artículo, donde se busca evidenciar la aplicación de los términos de la cadena de búsqueda en el artículo. Para la extracción de datos de los artículos se crea un instrumento para recolectar los datos de los artículos relacionados con la temática. .

4. Planificación y Ejecución de las Iteraciones

Hemos realizado el mapeo sistemático de la literatura para la localización de artículos en dos iteraciones. En cada iteración se realizan tareas de planificación y ejecución que se describen a continuación.

4.1 Iteración I

En la planificación se formaliza el soporte a las actividades de organizar, ejecutar y entregar resultados de la búsqueda de artículos y en la ejecución se realizan las actividades de buscar, preseleccionar y seleccionar los artículos sobre la temática.

Planificación En esta primera iteración para la selección de fuentes de artículos se estableció como reglas: 1) los artículos artículos deben proceder de fuentes fiables como conferencias internacionales, revistas, capítulos de libros, artículos de revistas científicas disponibles en la web y, 2) los motores de búsqueda son Scopus e IEEE. En la actividad de definición de las cadenas de búsqueda se estructuran las cadenas de búsqueda utilizadas para responder a la pregunta de investigación. Siguiendo la propuesta de Beecham (Beecham et al., 2006), la cadena de búsqueda se construye a partir de la pregunta de investigación planteada con la estrategia PICOC: Population, Intervention, Comparison, Output, Context. Para responder a la pregunta de investigación planteada la estrategia PICOC tiene la composición que se muestra en la Tabla 1.

La definición de la estructura de la cadena se inicia identificando los términos para la población, intervención y el contexto. Usamos el término Experimentation para la población junto con los sinónimos de la cadena propuesto por Dieste (Dieste & Padua, 2007). Para la intervención se incluyen diversos términos utilizados para referirse al material en la ejecución de experimentos como: material en (Juristo & Vegas, 2011; Maldonado et al., 2006; F. Shull, Lanubile, & Basili, 2000), objects en (Do et al., 2005; Sabaliauskaite, Matsukawa, Kusumoto, & Inoue, 2003), artifacts en (Albayrak & Carver, 2012; V. R. Basili et al., 1999; He & Carver, 2006; F. Shull et al., 2004), instruments en (da Silva et al., 2013), components en (Dunsmore, Roper, & Wood, 2002) y laboratory package en (F. Shull et al., 2004). Para finalizar, en el contexto incluimos el término sharing considerando que el proceso experimental es un marco de trabajo en el que se comparten información, conocimiento y materiales entre experimentadores que buscan minimizar costos y maximizar la producción de conocimiento científico. En la Tabla 1 se muestra la lista de sinónimos relacionados con los términos de la pregunta de investigación unidos con el operador OR.

PICOC Término Sinónimo/Término relacionado
Población Experimentation Experiment OR Empirical OR Empirical study OR Empirical evaluation, Experimentation OR Experimental comparison OR Experimental analysis OR Experimental evidence, Experimental setting OR Empirical data
Intervención Experimental Material Material OR Objects OR Artifact, Instruments OR Components OR Laboratory package
Comparación No aplicable
Salida No aplicable
Contexto Management Management OR Sharing
Tabla 1. Sinónimos y términos relacionados de búsqueda de artículos PICOC Iteración I.

Finalmente, la población, intervención y contexto se unen con el operador AND. La cadena de búsqueda resultante es:

SRCHManagement= (Experiment OR Empirical OR Empirical study OR Empirical evaluation OR Experimentation OR Experimental comparison OR Experimental analysis OR Experimental evidence OR Experimental setting OR Empirical data) AND (Material OR Objects OR Artifact OR Instruments OR Components OR Laboratory package) AND (Management OR Sharing).

Para la definición de los criterios de inclusión y exclusión de artículos se utiliza la pregunta de investigación planteada. Estos criterios son utilizados durante la actividad de ejecución de la búsqueda para la preselección y selección de artículos. En la actividad de preselección de artículos, los criterios de inclusión permiten incorporar artículos en los que se evidencie el uso de términos de la cadena de búsqueda en las secciones: título del trabajo, resumen y palabras claves. Por lo contrario los criterios de exclusión permiten descartar los artículos en los que se utilizan los términos de la cadena de búsqueda pero que no corresponden al contexto de experimentación. Esta actividad genera una lista que contiene los estudios primarios de la búsqueda. Durante la actividad de selección de artículos se toman los criterios de inclusión para incorporar los artículos en los que se evidencie actividades de gestión de configuración sobre al menos un material experimental. Encambio, se aplican los criterios de exclusión para descartar los artículos en los que no se detallen actividades de gestión sobre al menos un material experimental, para ello se realiza una lectura completa del artículo. Esta actividad genera una lista que contiene los estudios seleccionados.

En la actividad de extracción de datos se identifican informaciones básicas de los artículos seleccionados. Para soportar esta actividad creamos el instrumento para registrar la información sobre: autores, el título del artículo, la fuente y el año de publicación y también los materiales experimentales sobre los que se realizaron las tareas de gestión. La Tabla 2 muestra el instrumento desarrollado.

Autores
Título del Artículo
Fuente de Publicación
Año de Publicación
Materiales Experimentales Identificados
Tabla 2. Instrumento para la extracción de datos de artículos seleccionados.

Ejecución En esta sección se describe la realización de las actividades previamente planificadas para localizar artículos sobre la temática. La ejecución comienza con el acceso a las bases digitales de Scopus e IEEE, seguidamente se selecciona la opción búsqueda avanzada en cada uno de los motores de búsqueda y a continuación se ingresa la cadena especificada en la definición de la cadena de búsqueda. Con la cadena de búsqueda SCRHManagement se ha localizado un total de 40 artículos en Scopus y 31 en IEEE. Luego de aplicar los criterios de inclusión y exclusión especificados para la preselección de artículos, han quedado 3 artículos de Scopus y 1 de IEEE. Estos resultados se visualizan en la Tabla 3.

En términos de la precisión de la búsqueda, determinado por la relación entre el número de artículos preseleccionados y localizados, el 7,5 % corresponde a Scopus, mientras que 3,22 % para IEEE.

Finalmente, luego del proceso de selección, tres artículos fueron excluidos de los cuatro preseleccionados por no cumplir alguno de los criterios establecidos.

Cadena de búsqueda Motor Artículos Localizados Artículos Preseleccionados Precisión
SCRHManagement Scopus 40 3 [STW+05], [SMB+04], [FPCM98+05] 7,5%
IEEE 31 1 [VZJ03] 3,22%
Total 71 4
Tabla 3. Artículos localizados, preseleccionados y precisión de la cadena SCRHManagement.

En la Tabla 4 se detalla la justificación de la exclusión. En general los artículos excluidos no evidencian en su contenido la aplicación de actividades de gestión sobre materiales experimentales.

# Artículos Preseleccionados Excluido Justificación
1 [STW+ 05] SI El estudio aborda la problemática, de la gestión de materiales de enseñanza.
2 [STW+ 04] NO
3 SI El trabajo implementa un prototipo sobre prácticas de gestión de requisitos.
4 SI La investigación aborda la problemática de la clasificación, almacenamiento y recuperación de componentes de negocio que se utilizan en el ensamblaje de aplicaciones software.
Tabla 4. Detalle de artículos incluidos y excluidos en la Iteración I.

Durante la actividad de extracción de datos se utiliza el instrumento definido en la planificación. La Tabla 5 muestra los datos del artículo [SMB+ 04] finalmente seleccionado

Autores Shull F., Mendonca M.G., Basili V., Carver J., Maldonado J.C., Fabbri S., Travassos G.H., Ferreira M.C
Título del Artículo Título del Artículo
Fuente de Publicación Journal Of Information Science and Engineering
Año de Publicación 2004
Materiales Experimentales Identificados Paquete de Laboratorio (Artefacto)
Tabla 5. Datos del Estudio Seleccionado en la Iteración I.

4.2 Iteración II

Como en la Iteración I, siguiendo el proceso riguroso hemos obtenido resultados muy limitados, apenas un estudio seleccionado, consideramos necesaria una segunda iteración donde replanteamos y realizamos ajustes en la planificación y ejecución. Por un lado, necesitamos aumentar la precisión de la cadena de búsqueda de la iteración I. Recuerde que la precisión es la relación entre los artículos preseleccionados y el total de artículos localizados en los motores de búsqueda. Por otro lado, debemos mejorar la cantidad de artículos encontrados sobre la temática. Para mejorar la precisión y la cantidad de artículos en esta iteración, hemos introducido variantes en la planificación, que se detallan a continuación.

Planificación En esta actividad consideramos importante mantener invariantes algunas reglas, elementos y actividades de la Iteración I. En este sentido, se va a mantener la pregunta de investigación, los criterios de inclusión y exclusión para las actividades de preselección y selección de artículos. Por otro lado hemos extendido los motores de búsqueda agregando a Scopus e IEEE los motores ACM y SpringerLink. Además, en esta iteración hemos incorporado un segundo contexto, con el fin de incrementar la cantidad de artículos. Denominamos Contexto1 (management) a la referida en la Iteracion I y Contexto2 (Support) a la Iteración II. Los valores de la estrategia PICOC para esta nueva iteración tiene la composición que se muestra en la Tabla 6.

La incorporación del Contexto2 ha producido dos cambios en la cadena de búsqueda. El primer cambio realizado es la modificación parcial de los términos (MPT), en la que únicamente se mantienen cuatro sinónimos de población, tres de intervención y adicionalmente se incorporan los sinónimos de soporte del Contexto2. El segundo cambio consiste en la modificación total de términos (MTT) donde en el campo población se usa únicamente el término Experimentation, en el campo intervención utilizamos la expresión Software Engineering y para el contexto se emplea un conjunto de expresiones sobre Support para el proceso de replicación experimental. En la Tabla 6 se detallan los sinónimos y términos separados con el opetrador OR para la MPT y MTT. Como veremos en la ejecución, la estrategia MTT surge como consecuencia de que los resultados obtenidos con la MPT no mejoran la precisión ni la cantidad de artículos localizados.

PICOC Término Sinónimo / Término Relacionado /Expresión
MPT Población Experimentation Experimentation OR Experiment OR Experimental OR Empirical
Intervención Experimental Material Material OR Objects OR Artifact
Comparación No aplicable
Salida No aplicable
Contexto 1 Management Management OR Sharing
Contexto 2 Support (Replication Support )2.1 (Package OR Lab Package OR Laboratory Package OR Replication Package )2.2 (Replication Infrastructure )2.3 Replication Repository )2.4
MTT Población Experimentation Experimentation
Intervención Software engineering Software engineering
Comparación No aplicable
Salida No aplicable
Contexto 1 Support (Experimental Material OR Experimental Material Replication OR Experimental Artifacts OR Experimental Object OR Experiment Material )1.1 (Experimental Package OR Lab Package OR Laboratory Package OR Replication Package)1.2 (Infrastructure OR Replication Infrastructure OR Experimental Infrastructure )1.3 (Repository OR Replication Repository OR Experimental Repository OR Experiment Repository )1.4 (Replication Support )1.5 (Replication Management OR Experimental Management OR Experimental Material Management OR Experimental Material Sharing)1.6
Tabla 6. MPT y MTT para la búsqueda de artículos PICOC.

Finalmente para MPTse unen con el operador AND los términos y sinónimos resultando cinco cadenas de búsqueda, construidas de la siguiente manera:

1. SRCHManagement = Población AND Intervención AND Contexto1
2. SRCHSupportMan(i) = Población AND Intervención AND Contexto2.i, donde i={1..4}

Para MTT se unen con el operador AND los términos y sinónimos. Las cadenas de búsqueda MTT construidas son seis y se obtienen mediante la siguiente composicion:

SRCHSupport(i)= Poblacion AND Intervención AND Contexto1,i, donde i={1..6}

EjecuciónLa actividad de búsqueda de estudios primarios comienza con el uso de la cadena de búsqueda con MPT en las bases digitales de Scopus, IEEE, ACM y SpringerLink. Luego en cada uno de los motores de búsqueda se selecciona la opción búsqueda avanzada y a continuación se ingresa las cadenas de búsqueda: SCRHManagement y SRCHSupportMan(i) con i=[1..4]. La cadena de búsqueda SCRHManagement ha localizado un total de 33 artículos en Scopus, 44 en IEEE, 299 en ACM y 21 en SpringerLink. Los resultados de las demás cadenas de búsqueda se ven en la Tabla 7.

Motor Cadena de Búsqueda Artículos Localizados Artículos Preseleccionados Precisión
Scopus SCRHManagement 33 3 [BZS+ 07],[TMN+ 99], [BSL99] 9,0 %
SCRHSupportMan1 4 1 [BSL99] 25,00 %
SCRHSupportMan2 6 1 [TMN+ 99] 16,66 %
SCRHSupportMan3 6 0 0,00 %
SCRHSupportMan4 8 0 0,00 %
Total 57
IEEE SCRHManagement 44 0 0,00 %
SCRHSupportMan1 2 0 0,00 %
SCRHSupportMan2 11 0 0,00 %
SCRHSupportMan3 8 0 0,00 %
SCRHSupportMan4 8 0 0,00 %
Total 73 0 0,00 %
ACM SCRHManagement 299 0 0,00 %
SCRHSupportMan1 10 0 0,00 %
SCRHSupportMan2 16 1 [MCDdO06] 6,25 %
SCRHSupportMan3 26 0 0,00 %
SCRHSupportMan4 42
Total 393 1 [ABF04] 2,38 %
SpringerLink SCRHManagement 21 0 0,00 %
SCRHSupportMan1 33 1 [BSL00] 3,03 %
SCRHSupportMan2 24 0 0,00 %
SCRHSupportMan3 13 0 0,00 %
SCRHSupportMan4 14 1 [BSL00] 7,14 %
Total 105
Tabla 7. Artículos localizados, preseleccionados y precisión en Scopus, IEEE, ACM y SpringerLink con MPT.

Con los artículos localizados en la búsqueda se aplican los criterios de inclusión/exclusión definidos en la actividad de preselección de artículos explorando el uso de los términos de la cadena de búsqueda en las secciones: título, resumen y palabras claves. En la Tabla 7 se muestran los resultados de la actividad de preselección. El total de artículos localizados en Scopus fue de 57, ACM 393, IEEE 73 y Springer 105. La precisión de la búsqueda de los artículos en la biblioteca digital: Scopus se encuentra en el rango del 0-25 %, IEEE se encuentra en 0 %, ACM se encuentra en el rango de 0-6,25 % mientras que SpringerLink tiene un rango de 0-7,14 %. Para la selección, se lee el artículo completo buscando evidencias de actividades de gestión en los materiales experimentales en el estudio analizado.

Recuerde que necesitamos mejorar los resultados de la búsqueda y bajo esta premisa la MPT no proporciona progreso alguno. De ahí, decidimos cambiar completamente los términos de búsqueda y surge la estrategia MTT obligando a replantear la cadena de búsqueda en la planificación. Una vez definidos los nuevos términos de búsqueda se procede a la ejecución. Para realizar la búsqueda de estudios primarios utilizando la nueva cadena de búsqueda con MTT accedemos a las bases digitales de Scopus, IEEE, ACM y SpringerLink, seguidamente en cada uno de los motores de búsqueda seleccionamos la opción búsqueda avanzada y a continuación ingresamos las cadenas de búsquedas SCRHSupport(i) con i=[1..6]. En la actividad de preselección de artículos se realiza la revisión de los artículos para buscar el uso de los términos de la cadena de búsqueda en las secciones: título, resumen y palabras claves. En la Tabla 8 se muestran los resultados de la actividad de preselección. El total de artículos localizados en Scopus fue de 120, IEEE 260, ACM 881, y Springer 182.

Motor Cadena de Búsqueda Artículos Localizados Artículos Preseleccionados Precisión
Scopus SCRHSupport1 10 0 0,00 %
SCRHSupport2 11 3 [MCDdO06], [SCVJ08], [SMB+ 04] 27,27 %
SCRHSupport3 19 1 [SCVJ08] 5,26 %
SCRHSupport4 8 0 0,00 %
SCRHSupport5 72 1 [BSL99] 1,38 %
SCRHSupport6 0 0 0,00 %
Total 120
IEEE SCRHSupport1 119 4 [MMdO+ 08], [MCDdO06], [BSL99], [SBC+ 02] 0,33 %
SCRHSupport2 2 1 [SBC+02] 50,00 %
SCRHSupport3 20 2 [LT09], [TdSNB08] 10,00 %
SCRHSupport4 33 2 [LT09], [JV09] 6,06 %
SCRHSupport5 10 2 [BSL99], [MA03] 20,00 %
SCRHSupport6 76 2 [LT09], [BCL+ 01] 2,63 %
Total 260
ACM SCRHSupport1 263 0 0,00 %
SCRHSupport2 4 2 [SBC+ 02], [JV09] 50,00 %
SCRHSupport3 179 1 [ABF04] 0,55 %
SCRHSupport4 209 0 0,00 %
SCRHSupport5 7 0 0,00 %
SCRHSupport6 219 1 [JV09] 0,45 %
Total 881
SpringerLink SCRHSupport1 115 4 [SMB+ 04], [DER05], [BZS+ 07], [BSL00] 0,34 %
SCRHSupport2 0 0 0,00 %
SCRHSupport3 0 0 0,00 %
SCRHSupport4 67 2 [SMB+ 04], [BSL00] 2,98 %
SCRHSupport5 0 0 0,00 %
SCRHSupport6 0 0 0,00 %
Total 182
Tabla 8. Artículos localizados, preseleccionados y precisión en Scopus, IEEE, ACM y SpringerLink con MTT.

La precisión de la búsqueda de los artículos en la biblioteca digital: Scopus se encuentra en el rango del 0-27,27 %, IEEE se encuentra en el rango de 0,33-50 %, ACM se encuentra en el rango de 0-50 % mientras que SpringerLink tiene un rango de 0-2,98 %.

En la selección de artículos se realiza una revisión de los artículos para evidenciar el uso de la gestión en al menos un material experimental. En la Tabla 9 se muestra los artículos preseleccionados. Nótese, que el total de artículos excluidos en esta iteración ha sido 12 de los 16 preseleccionados por no cumplir alguno de los criterios establecidos. En general los artículos excluidos no evidencian en su contenido la aplicación de actividades de gestión sobre materiales experimentales.

# Artículos Preseleccionados Excluido Justificación
1 [TdSNB08] SI El estudio trata sobre la problemática del soporte al proceso de experimentación en ingeniería del software (ISE).
2 [BCL+ 01] SI El trabajo aborda la problemática de mantener una apropiada administración del conocimiento
3 [MMdO+08] NO
4 [ABF04] SI El trabajo aborda el problema sobre el desarrollo de software de alta calidad con tiempos y costos efectivos.
5 [BSL99] SI La problemática que aborda el artículo es la construcción de conocimiento en base a una familia de experimentos relacionados.
6 [TMN+ 99] SI El estudio aborda la problemática sobre el soporte al desarrollo del software.
7 [SMB+ 04] NO
8 [LT09] SI La problemática que aborda el estudio es sobre el manejo del gran volumen de información y el tiempo empleado en la ejecución de experimentos en ISE.
9 [BZS+ 07] SI El estudio aborda la problemática para obtener, usar, compartir y comparar datos recolectados de una variedad de fuentes.
10 [SBC+ 02] No
11 [DER05] No
12 [SCVJ08] SI El estudio aborda la problemática sobre el rol de la replicaciones exactas en la construcción de conocimiento en la comunidad de ingeniería de software.
13 [BSL00] SI La problemática que aborda el artículo es la construcción de conocimiento en base a una familia de experimentos relacionados.
14 [MCDdO06] SI La problemática que aborda el estudio es la dificultad de definir y correr experimentos controlados en ingeniería del software.
15 [JV09] SI La problemática que aborda el trabajo es sobre la obtención de conocimiento a través del uso de los resultados obtenidos de la ejecución de replicaciones no idénticas.
16 [MA03] SI El trabajo aborda la problemática para la creación de un modelo exacto de simulación.
Tabla 9. Detalle de artículos incluidos y excluidos en la Iteración II.

La actividad de extracción de datos utiliza el instrumento creado en la actividad de planificación. Así se registra la información básica de los artículos en diferentes campos del instrumento, con excepción del artículo de Shull [SMB+ 04], que fue localizado en la iteración I. Los tres nuevos artículos seleccionados en la iteración II se visualizan en la Tabla 10.

1. Autores Mendonca, Manoel G;Maldonado, José Carlos;de Oliveira, Maria Cristina Ferreira; Carver, Jeffrey; Fabbri, CPF;Shull, Forrest; Travassos, Guilherme Horta;Hohn, EN;Basili, Víctor R.
Título del Artículo A framework for software engineering experimental replications
Fuente de Publicación Engineering of Complex Computer Systems, 2008. ICECCS 2008. 13th IEEE International Conference
Año de Publicación 2008
Materiales Experimentales Identificados Paquete de laboratorio, artefacto
2. Autores Do, Hyunsook; Elbaum, Sebastian; Rothermel, Gregg
Título del Artículo Supporting controlled experimentation with testing techniques: An infrastructure and its potential impact.
Fuente de Publicación Empirical Software Engineering
Año de Publicación 2005
Materiales Experimentales Identificados Artefactos, objetos
3. Autores Shull, F.; Basili, V.; Carver, J.; Maldonado, J.C.; Travassos, G.H. Mendonca,M.;Fabbri,S.
Título del Artículo Replicating Software Engineering Experiments: Addressing the Tacit Knowledge Problem.
Fuente de Publicación ISESE ’02: Proceedings of the 2002 International Symposium on Empirical Software Engineering.
Año de Publicación 2002
Materiales Experimentales Identificados Paquete de Laboratorio (Artefactos)
Tabla 10. Datos de los artículos seleccionados en la iteración II.

5. Resultados

RQ1: ¿Qué investigaciones existen sobre gestión de materiales experimentales para la realización de replicaciones?

Como se muestra en la Tablla 10 se seleccionaron 4 artículos, donde se evidenció el detalle de actividades de gestión del material experimental. Específicamente, los estudios encontrados fueron: Mendonça [MMdO+ 08], Shull [SMB+ 04, SBC+ 02] y Do [DER05]. En [MMdO+ 08] y [SMB+ 04, SBC+ 02] los investigadores gestionan paquetes de laboratorio consistente en un contenedor de artefactos. En los estudios analizados, los artefactos son el material experimental. Para finalizar, en Do [DER05] se gestionan artefactos y objetos, siendo éste último el material experimental que se gestiona en la investigación.

6. Discusión

Desde el mapeo sistemático de la literatura que llevamos a cabo, concluimos que la situación sobre estudios donde se gestionan materiales experimentales para el uso en el proceso de replicaciones en ISE permitió: 1) localizar y analizar pocos artículos, a pesar de que el número de experimentos y replicaciones se han incrementado en las últimas décadas y, 2) eliminar otros trabajos por no cumplir con los criterios de exclusión definidos. Los artículos localizados y analizados fueron cuatro, que son investigaciones de fondo y consolidadas, pues existen varios reportes generados desde algunas décadas atrás y que inclusive se mantienen vigentes. El análisis de estos trabajos nos permitió identificar que todos adolecen de problemas en la gestión de versiones del material experimental, provocadas por el elevado número de replicaciones ejecutadas. En relación al número de trabajos excluidos es alta como se puede ver en las tablas 8 y 9 esto se debe a dos razones que identificamos. La primera es que en la preselección de artículos se buscó excluir aquellos donde se utilicen los términos de las cadenas de búsqueda pero que su uso no corresponda al contexto de experimentación, específicamente se buscó que gestionen materiales experimentales y no productos del desarrollo del software que fue común encontrar en los que los trabajos que se excluyeron. La segunda razón se relaciona con la actividad de selección que permitió excluir los artículos donde no se evidencia indicios de actividades de gestión sobre algún material experimental. A continuación detallamos los artículos localizados.

En Shull [11] se aborda la problemática de la transmisión del conocimiento entre experimentadores para incrementar y mejorar las replicaciones experimentales, para lo cual proponen el uso de una estructura colaborativa basada en varios medios de comunicación y paquetes de laboratorio. Además Mendonca y colegas [8] describen la problemática sobre la transmisión de conocimiento entre grupos de investigación tanto internos como externos para llevar a cabo procesos de replicación de un experimento y proponen un marco de trabajo llamado FIRE (Framework for Improving the Replication of Experiments). En FIRE se direcciona el problema de compartir conocimiento entre investigadores fomentando la coordinación entre grupos de investigación con el uso de diferentes medios y mecanismos de comunicación, que a decir de los autores, facilitan la transmisión de conocimientos, permiten reducir costos, mejoran la calidad de las replicaciones y proveen resultados generalizables. También Shull y colegas [9] describen la problemática de la transferencia del conocimiento tácito entre experimentadores para realizar mejores procesos de replicación de experimentos, estudios complementarios y robustas conclusiones en un área específica de la ISE. La solución propuesta por los autores sustenta la idea de fomentar la relación entre el experimentador original y el replicador para transmitir el conocimiento tácito a través de una estructura colaborativa además del uso del paquete del laboratorio. Finalmente, Do y colegas [10] abordan la problemática de la baja cantidad de experimentos sobre la efectividad de las técnicas de testing, la escasa cantidad de datos empíricos y además sobre los costos que conlleva la ejecución de experimentos controlados en IS. La solución propuesta es una infraestructura para soportar experimentos controlados en técnicas de testing y testing de regresión. La infraestructura, descrita por los autores, permite la replicabilidad de experimentos, la agregación de resultados y la amortización de costos en experimentación.

El análisis de los artículos localizados permitió identificar indicios de aplicación de la gestión sobre materiales experimentales, pero en los estudios analizados los investigadores indican problemas en la gestión de versiones de materiales experimentales para poder llevar a cabo un proceso de replicación, específicamente hemos encontrado carencias con respecto a la información que permita conocer el estado y la traza de los materiales experimentales y la ausencia de actividades de gestión sobre los materiales experimentales.

7. Amenazas a la Validéz

La principal amenaza está relacionada con la palabras claves utilizadas para la selección de los estudios. Los términos y sinónimos que empleamos para la construcción de las cadenas de búsqueda son comúnmente usadas en la comunidad que investiga en ISE. Esto lo realizamos mediante un estudio de base realizado sobre artículos sugeridos por expertos que conocen y tienen experiencia sobre experimentación y replicación en ISE. Una amenaza a la validéz secundaria está relacionada con el factor humano al momento de aplicar los criterios de inclusión y exclusión para la preselección y selección de artículos. Para mitigar esta amenaza los investigadores realizaron un chequeo individual y, posteriormente, un chequeo cruzado. El chequeo individual consistió en que cada investigador revisa y genera una lista de artículos, posteriormente cada lista fue revisada para consolidarla en una única lista de artículos.

8. Conclusiones

Se ha realizado un estudio de mapeo sistemático con dos iteraciones en la que buscamos identificar la cantidad, tipo de publicaciones y reportes técnicos disponibles sobre la gestión del material experimental para su uso en replicaciones. En la primera iteración se ha obtenido un sólo artículo sobre la temática, motivando a realizar una segunda iteración donde se ha mantenido ciertos parámetros de la iteración I, entre ellas la pregunta de investigación, los criterios de inclusión y exclusión para las actividades de preselección y selección de artículos. Además se ha añadido un segundo contexto con el objetivo de identificar estudios acerca del soporte al proceso de replicación de experimentos empleando gestión de materiales experimentales. Estos cambios, han conducido a la generación de dos nuevas cadenas de búsqueda. A la primera le denominamos modificación parcial de términos (MPT) en la que se ha mantenido algunos de los sinónimos empleados en la cadena original, mientras la segunda lleva la denominación de modificación total de términos (MTT) donde se han cambiado todos los sinónimos de los términos de la estrategia PICOC. Este nuevo escenario de MTP y MTT ha logrado encontrar cuatro artículos más incluido el artículo localizado en la iteración I. De ahí, se puede concluir la escasa existencia de artículos sobre la temática. Además, el análisis de los artículos encontrados ha descubierto que dichos artículos, en su mayoría, adolecen de problemas en la gestión de versiones de materiales experimentales para poder llevar a cabo un proceso de replicación. Finalmente, la gestión de materiales experimentales representa un marco novedoso y poco trabajado, y con este artículo hemos proporcionado información de interés como punto de partida para la investigación de la adopción del paradigma de gestión de configuración de software en la gestión del material experimental en ISE.

9. Trabajos Futuros

En el mapeo sistemático conducido, se realizó un esfuerzo sustancial para seleccionar un grupo de artículos a partir de una gran cantidad de estos. Creemos que futuras ampliaciones y actualizaciones se beneficiarán de nuestros esfuerzos, debido a que estas extensiones sólo tendrán que aplicar el procedimiento de búsqueda de las publicaciones después de 2014. Por lo que esperamos realizar actualizaciones continuas para este estudio de mapeo, usando o mejorando el protocolo de investigación que se describe en este artículo.

ReconocimientosLos autores agradecen a la Universidad de las Fuerzas Armadas (ESPE), al Grupo de Investigación en Ingeniería de Software Empírica (GrISE), a la Secretaría de Educación Superior, Ciencia, Tecnología e Innovacion (SENESCYT) y a la Facultad Politécnica FP-UNA por el soporte brindado durante el desarrollo de este trabajo.

Referencias

Albayrak, Ã, & Carver, J. (2012). Investigation of individual factors impacting the effectiveness of requirements inspections: A replicated experiment., 1-26. doi:10.1007/s10664-012-9221-0


Basili, V., Green, S., Laitenberger, O., Lanubile, F., Shull, F., Sorumgard, S., & Zelkowitz, M. (1996). Packaging researcher experience to assist replication of experiments. Proc. of the ISERN Meeting 1996,


Basili, V. R., Shull, F., & Lanubile, F. (1999). Building knowledge through families of experiments.25(4), 456-473.


Beecham, S., Baddoo, N., Hall, T., Robinson, H., & Sharp, H. (2006). Protocol for a systematic literature review of motivation in software engineering. University of Hertfordshire,


Boehm, B., & Basili, V. (April 2001). The CEBASE framework for strategic software development and evolution.


da Silva, F. Q. B., França, A. C. C., Suassuna, M., de Sousa Mariz, L. M. R., Rossiley, I., de Miranda, R. C. G., . . . Espindola, E. (2013). Team building criteria in software projects: A mix-method replicated study. Information and Software Technology, 55(7), 1316-1340. doi:http://dx.doi.org/10.1016/j.infsof.2012.11.006


Daly, J., Brooks, A., Miller, J., Roper, M., & Wood, M. (1994). Verification of results in software maintenance through external replication. Software Maintenance, 1994. Proceedings., International Conference On, 50-57. doi:10.1109/ICSM.1994.336790


Dieste, O., & Padua, O. A. G. (2007). Developing search strategies for detecting relevant experiments for systematic reviews. Empirical Software Engineering and Measurement, 2007. ESEM 2007. First International Symposium On, 215-224. doi:10.1109/ESEM.2007.19


Dieste, O., Fernandez, E., Martinez, R. G., & Juristo, N. (2011). Comparative analysis of meta-analysis methods: When to use which? Evaluation & Assessment in Software Engineering (EASE 2011), 15th Annual Conference On, 36-45. doi:10.1049/ic.2011.0005


Do, H., Elbaum, S., & Rothermel, G. (2005). Supporting controlled experimentation with testing techniques: An infrastructure and its potential impact. Empirical Software Engineering, 10(4), 405-435.


Dunsmore, A., Roper, M., & Wood, M. (2002). Further investigations into the development and evaluation of reading techniques for object-oriented code inspection. Software Engineering, 2002. ICSE 2002. Proceedings of the 24rd International Conference On, 47-57.


Espinosa, E. (2014). Gestión de configuración y línea de productos para mejorar el proceso experimental en ingeniería del software.


Gallardo, E. G. E. (2012). Using configuration management and product line software paradigms to support the experimentation process in software engineering. Research Challenges in Information Science (RCIS), 2012 Sixth International Conference On, 1-6. doi:10.1109/RCIS.2012.6240454


He, L., & Carver, J. (2006). PBR vs. checklist: A replication in the n-fold inspection context. Proceedings of the 2006 ACM/IEEE International Symposium on Empirical Software Engineering, 95-104.


Hofmann, B., & Wulf, V. (2002). Building communities among software engineers: The VISEK approach to intra-and inter-organizational learning., 25-33.


Juristo, N., & Vegas, S. (2011). Design patterns in software maintenance: An experiment replication at UPM - experiences with the RESER'11 joint replication project. Replication in Empirical Software Engineering Research (RESER), 2011 Second International Workshop On, 7-14. doi:10.1109/RESER.2011.8


Kamsties, E., & Lott, C. M. (1995). An empirical evaluation of three defect-detection techniques. Proceedings of the Fifth European Software Engineering Conference,


Lott, C. M.Comparing reading and testing techniques. Retrieved from http://web.archive.org/web/20071026204353/http://www.chris-lott.org/work/exp/


Maldonado, J. C., Carver, J., Shull, F., Fabbri, S., Dória, E., Martimiano, L., . . . Basili, V. (2006). Perspective-based reading: A replicated experiment focused on individual reviewer effectiveness. Empirical Software Engineering, 11(1), 119-142.


Mendonça, M. G., Maldonado, J. C., de Oliveira, Maria Cristina Ferreira, Carver, J., Fabbri, C., Shull, F., . . . Basili, V. R. (2008). A framework for software engineering experimental replications. Engineering of Complex Computer Systems, 2008. ICECCS 2008. 13th IEEE International Conference On, 203-212.


Petersen, K., Feldt, R., Mujtaba, S., & Mattsson, M. (2008). Systematic mapping studies in software engineering. 12th International Conference on Evaluation and Assessment in Software Engineering, , 17 1.


Petticrew, M., & Roberts, H. (2008). Systematic reviews in the social sciences: A practical guide Wiley-Blackwell.


Sabaliauskaite, G., Matsukawa, F., Kusumoto, S., & Inoue, K. (2003). Further investigations of reading techniques for object-oriented design inspection. Information and Software Technology, 45(9), 571-585.


Schmidt, S. (2009). Shall we really do it again? the powerful concept of replication is neglected in the social sciences.13(2), 90-100.


Shull, F. J., Carver, J. C., Vegas, S., & Juristo, N. (2008). The role of replications in empirical software engineering. Empirical Software Engineering, 13(2), 211-218.


Shull, F., Basili, V., Carver, J., Maldonado, J. C., Travassos, G. H., Mendon\cca, M., & Fabbri, S. (2002). Replicating software engineering experiments: Addressing the tacit knowledge problem. ISESE '02: Proceedings of the 2002 International Symposium on Empirical Software Engineering, 7.


Shull, F., Lanubile, F., & Basili, V. R. (2000). Investigating reading techniques for object-oriented framework learning. Software Engineering, IEEE Transactions On, 26(11), 1101-1118. doi:10.1109/32.881720


Shull, F., Mendon\cca, M. G., Basili, V., Carver, J., Maldonado, J. C., Fabbri, S., . . . Ferreira, M. C. (2004). Knowledge-sharing issues in experimental software engineering.9, 111-137(27).


Shull, F., Mendonça, M. G., Basili, V., Carver, J., Maldonado, J. C., Fabbri, S., . . . Ferreira, M. C. (2004). Knowledge-sharing issues in experimental software engineering. Empirical Software Engineering, 9(1-2), 111-137.


Sjøberg, D. I., Hannay, J. E., Hansen, O., Kampenes, V. B., Karahasanovic, A., Liborg, N., & Rekdal, A. C. (2005). A survey of controlled experiments in software engineering. Software Engineering, IEEE Transactions On, 31(9), 733-753.


Vanschoren, J., & Blockeel, H. (2009). Stand on the shoulders of giants. towards a portal for collaborative experimentation in data mining. Proceedings of the SoKD-09 International Workshop on Third Generation Data Mining at ECML PKDD 2009, , 1 88-99.


Vegas, S., Juristo, N., Moreno, A., Solari, M., & Letelier, P. (2006). Analysis of the influence of communication between researchers on experiment replication. Proceedings of the 2006 ACM/IEEE International Symposium on Empirical Software Engineering, 28-37.


Zendler, A. (2001). A preliminary software engineering theory as investigated by published experiments. Empirical Software Engineering, 6(2), 161-180.


Apéndice: Lista de Artículos Preseleccionados

[ABF04] Roger T. Alexander, James M. Bieman, and Robert B. France. A software engineering research repository. SIGSOFT Softw. Eng. Notes, 29(5):1–4, September 2004.


[BCL+ 01] V. Basili, P. Costa, M. Lindvall, M. Mendonca, C. Seaman, R. Tesoriero, and M. Zelkowitz. An experience management system for a software engineering research organization. In Software Engineering Workshop, 2001. Proceedings. 26th Annual NASA Goddard, pages 29–35, 2001.


[BSL99] V.R. Basili, F. Shull, and F. Lanubile. Building knowledge through families of experiments. Software Engineering, IEEE Transactions on, 25(4):456–473, Jul 1999.


[BSL00] Victor R. Basili, Forrest Shull, and Filippo Lanubile. Using experiments to build a body of knowledge. In Proceedings of the Third International Andrei Ershov Memorial Conference on Perspectives of System Informatics, PSI ’99, pages 265–282, London, UK, UK, 2000. Springer-Verlag.


[BZS+ 07] Victor R. Basili, Marvin V. Zelkowitz, Dag I. Sjøberg, Philip Johnson, and Anthony J. Cowling. Protocols in the use of empirical software engineering artifacts. Empirical Softw. Engg., 12(1):107–119, February 2007.


[DER05] Hyunsook Do, Sebastian Elbaum, and Gregg Rothermel. Supporting controlled experimentation with testing techniques: An infrastructure and its potential impact. Empirical Softw. Engg., 10(4):405–435, October 2005.


[FPCM98] P. Fowler, M. Patrick, A. Carleton, and B. Merrin. Transition packages: an experiment in expediting the introduction of requirements management. In Requirements Engineering, 1998. Proceedings. 1998 Third International Conference on, pages 138–145, 1998.


[JV09] Natalia Juristo and Sira Vegas. Using differences among replications of software engineering experiments to gain knowledge. In Proceedings of the 2009 3rd International Symposium on Empirical Software Engineering and Measurement, ESEM ’09, pages 356–366, Washington, DC, USA, 2009. IEEE Computer Society.


[LT09] V.P. Lopes and G.H. Travassos. Knowledge repository structure of an experimental software engineering environment. In Software Engineering, 2009. SBES ’09. XXIII Brazilian Symposium on, pages 32–42, Oct 2009. [MA03] J. Munch and O. Armbrust. Using empirical knowledge from replicated experiments for software process simulation: a practical example. In Empirical Software Engineering, 2003. ISESE 2003. Proceedings. 2003 International Symposium on, pages 18–27, Sept 2003.


[MCDdO06] Manoel Mendonca, Daniela Cruzes, Josemeire Dias, and Maria Cristina Ferreira de Oliveira. Using observational pilot studies to test and improve lab packages. In Proceedings of the 2006 ACM/IEEE International Symposium on Empirical Software Engineering, ISESE ’06, pages 48–57, New York, NY, USA, 2006. ACM.


[MMdO+ 08] M.G. Mendonca, J.C. Maldonado, M.C.F. de Oliveira, J. Carver, S.C.P.F. Fabbri, F. Shull, Guilherme H. Travassos, E.N. Hohn, and V.R. Basili. A framework for software engineering experimental replications. In Engineering of Complex Computer Systems, 2008. ICECCS 2008. 13th IEEE International Conference on, pages 203–212, March 2008.


[SBC+ 02] Forrest Shull, Victor Basili, Jeffrey Carver, José C. Maldonado, Guilherme Horta Travassos, Manoel Mendon¸ca, and Sandra Fabbri. Replicating software engineering experiments: Addressing the tacit knowledge problem. In Proceedings of the 2002 International Symposium on Empirical Software Engineering, ISESE ’02, pages 7–, Washington, DC, USA, 2002. IEEE Computer Society.


[SCVJ08] Forrest J. Shull, Jeffrey C. Carver, Sira Vegas, and Natalia Juristo. The role of replications in empirical software engineering. Empirical Softw. Engg., 13(2):211–218, April 2008.


[SMB+ 04] Forrest Shull, ManoelG. Mendonca, Victor Basili, Jeffrey Carver, JosC. Maldonado, Sandra Fabbri, GuilhermeHorta Travassos, and MariaCristina Ferreira. Knowledge-sharing issues in experimental software engineering. Empirical Software Engineering, 9(1-2):111–137, 2004.


[STW+ 05] Jun-Ming Su, Shian-Shyong Tseng, Ching-Yao Wang, Ying-Chieh Lai, Yu-Chang Sung, and Wen-Nung Tsai. A content management scheme in a SCORM compliant learning object repository. J. Inf. Sci. Eng., 21(5):1053–1075, 2005.


[TdSNB08] G.H. Travassos, P.S.M. dos Santos, P.G.M. Neto, and J. Biolchini. An environment to support large scale experimentation in software engineering. In Engineering of Complex Computer Systems, 2008. ICECCS 2008. 13th IEEE International Conference on, pages 193–202, March 2008.


[TMN+ 99] K. Torii, K.-i. Matsumoto, K. Nakakoji, Y. Takada, S. Takada, and K. Shima. Ginger2: an environment for computer-aided empirical software engineering. Software Engineering, IEEE Transactions on, 25(4):474–492, Jul 1999.


[VZJ03] P. Vitharana, F.M. Zahedi, and H. Jain. Knowledge-based repository scheme for storing and retrieving business components: a theoretical design and an empirical analysis. Software Engineering, IEEE Transactions on, 29(7):649–664, July 2003.


Notas biográficas:

Rodrigo Vences Nava Edison G. Espinosa es Ingeniero de Sistemas e Informática por la Universidad de las Fuerzas Armadas ESPE de Ecuador. Ha obtenido el Titulo de Doctor en Software y Sistemas en la Universidad Autonoma de Madrid, España. Se desempeña como docente investigador en la Carrera de Software del Departamento de Eléctrica y Electrónica. Sus áreas de interés son la Ingeniería de Software Experimental y la línea de producto software.



Víctor Hugo Menéndez Domínguez Juan M. Ferreira es Ingeniero en Informática y Licenciado en Análisis de Sistemas Informáticos en la Facultad Politécnica-UNA. Ha obtenido la Maestría en Software y Sistemas en la Facultad de Informática-Universidad Politécnica de Madrid. Es Especialista en Tecnologías de la Información con énfasis en Ingeniería del Software. Se desempeña como Director de Desarrollo en la Cámara de Senadores-Congreso Nacional. Sus áreas de interés son la Usabilidad e Ingeniería de Software Experimental.





Licencia de Creative Commons

Esta obra está bajo una licencia de Creative Commons
Reconocimiento-NoComercial-CompartirIgual 2.5 México.