SlideShare una empresa de Scribd logo
Escribir es re-escribir. Un análisis
   de contenidos de los informes
     realizados a los artículos no
      publicados en Infancia y
             Aprendizaje
 EMILIO SÁNCHEZ*, JESÚS NICASIO GARCÍA** Y PABLO DEL RÍO*
                        *Universidad de Salamanca;**Universidad de León




                                                  Resumen
    En este artículo nos hemos propuesto analizar las razones que motivan la no aceptación de los artículos
enviados a la revista y, al mismo tiempo, la labor que, al respecto, llevan a cabo los revisores. Para ello hemos
creado un sistema de análisis capaz de desentrañar todos los contenidos de los informes de evaluación que aluden
a cuatro tareas diferentesque hemos identificadoen la labor de los revisores: evaluar, apoyar, sugerir y clarificar.
Con ese sistema se han analizado 50 informes de evaluación que corresponden a los 25 primeros artículos que
fueron no aceptados para publicación en el presente periodo de la revista. Respecto del análisis de las objeciones,
presentamos las frecuenciasde 95 objeciones diferentes organizadas en 24 categorías y en 6 apartados. Y respecto
del análisis de la labor de los revisores, se presenta un análisis de los recursos retóricos empleados, los diferentes
estilos que hemos identificado y un análisis de las tareas no evaluativas que también están presentes en los
informes. Entendemos que este análisis puede propiciar una doble toma de conciencia que motive una reflexión en
la comunidad académica sobre el proceso de evaluación en sí y sobre el modo de acometerlo.
Palabras clave: Artículos no aceptados, tareas, recursos retóricos y estilos de los revisores.


Writing as rewriting: A content analysis of
  peer reviews of non-accepted papers
  submitted to Infancia y Aprendizaje
                                                  Abstract
    The paper analyses the reasons that motivate the non-acceptance of articles sent to the journal and, in this
respect, also the work carried out by referees. To do so, we have designed a system of analysis capable of
explaining the content of peer reviews. We have thus identified four different tasks in the work of referees: To
assess, support, suggest, and clarify. 50 reports have been analysed using this system, corresponding to the first
25 papers rejected for publication in the journal’s current period. First, we analysed the reasons for not
accepting articles: the frequencies of 95 different objections, organised into 24 categories, and grouped under 6
headings are provided. Second, we analyse the rhetoric resources employed by referees, and describe the different
styles identified. Finally, we analyse non evaluative tasks also present in peer reviews. We feel that this
analysis could favour a double awareness in the academic community, promoting a reflection on: 1) the
assessment process itself, and 2) the way it is undertaken.
Keywords: Non-accepted papers, referees’ tasks, rhetoric resources, referees’ evaluation style.

Agradecimientos: Agradecemos los comentarios críticos y sugerencias diversas que nos ofrecieron los tres revisores
de este artículo y también los efectuados por nuestros colegas Javier Rosales, Ricardo García y Gerardo Prieto.
Correspondencia con los autores: Emilio Sánchez. Facultad de Psicología. Departamento de Psicología Evolutiva y de
la Educación. Avda. de la Merced, 109-131; 37005-Salamanca. e-mail: esanchez@gugu.usal.es. Jesús Nicasio
García. Facultad de Educación. Departamento de Filosofía y Ciencias de la Educación. Campus de Vegazana, s/n.
24071-León. e-mail: dfcjgs@unileon.es. Pablo del Río. Facultad de Ciencias Sociales. Departamento de
Comunicación Audiovisual. Campus Unamuno, s/n. 37071-Salamanca. e-mail: prio@gugu.usal.es
Original Recibido: Septiembre, 2001. Aceptado: Noviembre, 2001.
© 2002 by Fundación Infancia y Aprendizaje,ISSN: 0210-3702                     Infancia y Aprendizaje, 2002, 25 (1), 5-35
6
    A lo largo de los últimos años venimos apreciando un notable incremento de
originales que llegan a la revista (superan los sesenta cada año) que, como ocurre
en todas las revistas con criterios de calidad homologados, son sometidos a un
exigente proceso de revisión a cargo de dos expertos seleccionados por uno de los
editores asociados de la revista. El hecho que motiva estas páginas es que una
buena parte de esos trabajos no son aceptados para publicación (véanse las cifras
que se ofrecen en la editorial de este mismo número), y el resto sufre en el trans-
curso del proceso una considerable transformación. De hecho ni uno sólo —en el
período que hemos analizado— ha llegado a publicarse sin introducir algún tipo
de cambio en la versión inicial. De ahí que, como reza el título de este trabajo,
escribir sea en realidad un proceso de revisión, crítica, optimización y mejora
progresivas; un proceso, en suma, de reescritura.
    El sentido de este artículo es hacer público lo que suele quedar en la trastien-
da de este complejo proceso. Esto es, tanto las razones que motivan la no acepta-
ción como el tipo de labor que llevan a cabo los revisores. La toma de conciencia
sobre esa doble actividad —de autoría y de revisión— que aquí intentamos pro-
piciar puede ser a nuestro modo de ver positiva, aunque conlleva, también, algu-
nos riesgos.
    Por lo que a los beneficios se refiere, merece la pena reseñar, en primer lugar,
el más obvio de todos: el que se deriva de ofrecer de forma ordenada las razones
que motivan la no aceptación o el cuestionamiento de los trabajos. Es bien cierto
que contamos con el precedente de las normas APA (1994) y de las normas espe-
cíficas que la propia revista ofrece a los autores. No obstante, y sin negar el valor
de esas fuentes, cabe la posibilidad de que resulten poco operativas para los auto-
res, especialmente en el caso de aquéllos que cuenten con poca experiencia, pues
tales normas pueden ofrecer a los interesados un “ideal” demasiado abstracto y
lejano.
    Abstracto, en el sentido de que constituyen recomendaciones (especialmente
las que ofrece la revista) que quizás no proporcionen claves suficientemente
poderosas y precisas para los procesos de elaboración y revisión de los trabajos.
    Lejano, en el sentido de que pueden reclamar competencias excesivas para las
posibilidades inmediatas de algunos autores o autores noveles. En ese sentido, el
proceso de evaluación puede y, a nuestro juicio, debe, tener un valor formativo,
que ayude a extender a toda la comunidad académica criterios de calidad cada
vez más elevados.
    En segundo lugar, creemos que el análisis de la actividad de los revisores nos
permitirá ofrecer una descripción que motive una toma de conciencia colectiva en la
que cada cual pueda objetivar sus preferencias y, al hacerlo, explorar la posibili-
dad de enriquecer su modo de obrar. ¿Qué tareas se acometen en la revisión?
¿Qué marcos de referencia se emplean? ¿Cuáles son los estilos más comunes de revi-
sión? ¿Qué recursos específicos pueden facilitar la comunicación con los autores?
Estas son algunas de las preguntas que intentaremos contestar en lo que sigue.
    En tercer lugar, podríamos ayudar a extender una convicción muy importan-
te: que necesitamos evaluación externa y que la necesitamos todos. Ahora bien, y aun
cuando escribir es, como ya se ha comentado, reescribir (un proceso recursivo y
progresivo de mejora —Elbow, 1988; 2000; Kellogg, 1994; Sorenson, 1997—
, de toma de conciencia y de re-pensamiento —Wong, 1999; Wray, 1998—)
no hay razón para que esa labor, de por sí exigente, sea más incómoda de lo
necesario. En una palabra, el rigor con el que hay que emprender el proceso de
evaluación no está reñido con el reconocimiento del otro (del autor), y de esa
dualidad de funciones (control y reconocimiento) habremos también de hablar
en estas páginas.
7
   Debemos, finalmente, resaltar que somos conscientes de alguno de los
riesgos del trabajo que aquí presentamos. El más notorio es que el hecho de
describir un comportamiento (el de los autores y revisores en este caso) suele
interpretarse como una prescripción del mismo. Intentaremos, para evitarlo,
emprender dos acciones diferentes. Por un lado, reiterar a lo largo de sus
páginas que ésta no es nuestra intención (aunque seguramente el riesgo no
podrá ser conjurado por esas insistentes advertencias). Por otro, indicar con
claridad cuando, a la luz de los datos recogidos, cabe ofrecer una sugerencia
concreta; algo que haremos en contadas ocasiones. Quisiéramos, en todo
caso, subrayar que las descripciones que nos proponemos realizar deben
tomarse como espejos desde los que reflexionar, y no como un conjunto de
normas que hubiera que adoptar (salvo en los casos en los que nos pronuncia-
mos expresamente a favor de alguna medida concreta y que son recogidos en
el decálogo que ofrecemos en la discusión). Un segundo riesgo del que
somos igualmente conscientes es que los autores interpreten de un modo
muy lineal y tajante las razones de la no aceptación que iremos identifican -
do. Sobrará advertir que la no aceptación se produce por una acumulación de
objecion es (¡la media por revisión es de casi 16!), pero es que, además,
muchas de ellas, tomadas en sí mismas, podrían no serlo si no tuviéramos en
cuenta el resto del trabajo. Dado que esta información complementaria
sobre cada uno de los trabajos no puede trasladarse a estas páginas, hemos de
aceptar que muy probablemente se malinterpreten algunas de las evidencias
reunidas, al menos si se toman una por una. Confiamos, no obstante, en que
estos riesgos se vean compensados por los beneficios a los que también
hemos aludido.
   En definitiva, en lo que sigue ofreceremos dos análisis diferentes. El primero,
centrado en los motivos que conducen a la no aceptación de los artículos; el
segundo, respecto del modo empleado por los revisores para llevar a cabo la tarea
de evaluación encomendada. En los dos ámbitos, intentaremos ofrecer ejemplos
ilustrativos de las cuestiones más relevantes. Antes, dedicaremos un apartado a
clarificar la metodología que se ha utilizado.


METODOLOGÍA

   Para alcanzar estos objetivos, hemos empleado el Análisis de Contenidos
(AC), un método procedente de campos tan lejanos como la arqueología (Gar-
din, 1980) y la comunicación de masas (Bardin, 1977; Wimmer y Dominick,
1994). El AC permite levantar un inventario de repertorios culturales y comuni-
cativos, estableciendo, en primer lugar, taxonomías y tipicidades, desde las que
proceder a la identificación de concurrencias, covariaciones y pautas estructurales
con las que categorizar los fenómenos, calcular factores, e inferir procesos y siste-
mas de causalidad.
   El AC combina habitualmente los acercamientos etic (categorías del investi-
gador) y emic (categorías presentes en el corpus cultural). Es más frecuente basar-
se en las primeras en la tradición sociológica de los análisis (Krippendorf, 1990;
López-Aranguren, 1994) y más en las segundas en las tradiciones etnográficas y
semiológicas. Aquí adoptamos una perspectiva integradora (del Río, 1996), rea-
lizando primero un pre-análisis emic, (de abajo a arriba, guiado por el corpus
cultural) y también en la etapa del pre-análisis una construcción teórica de cate-
gorías etic. La combinación de ambas se aplica sobre el corpus completo de casos
en el análisis propiamente dicho.
8
Muestra de informes de revisión de artículos

   Para poder identificar las regularidades que presentan tanto el modo de traba-
jar de los revisores como las objeciones por ellos formuladas, hemos tomado
como base los primeros 25 informes negativos efectuados durante este periodo,
lo que supone, dado que cada artículo es evaluado por dos revisores anónimos, el
análisis de 50 revisiones diferentes. Un número, a nuestro modo de ver, acepta-
ble y, en todo caso, sumamente representativo del periodo actual.
   De manera más concreta, hemos analizado toda la documentación relativa a
los trabajos que han sido considerados como no publicables, lo que incluye dos
categorías: los trabajos no aceptados para publicación en su versión actual y los
que son rechazados sin dar la posibilidad de una nueva versión.
   Los revisores son 50 expertos en los temas respectivos, y son autores de publi-
caciones, por lo que poseen la experiencia de la autoría, aunque su grado de expe-
riencia en tareas de evaluación de artículos es variable.


Procedimiento del análisis de contenido y categorías

   El análisis se ha realizado en dos fases que corresponden a los dos objetivos del
artículo. En la primera examinamos las causas que justifican la no aceptación. Y
en la segunda, los contenidos de los informes que nos permiten analizar la labor
de los revisores.


Codificación de las causas de “no aceptación” (tarea evaluadora)

Etapa 1. Pre-análisis
    1. En primer lugar, se realizó un pre-análisis para establecer las categorías del
análisis propiamente dicho, para ello se descompuso una parte de los casos (8 de
las 50 revisiones) en proposiciones; la mayor parte de ellas (véase más adelante)
expresaban, como cabía esperar, objeciones al trabajo. El resto de los contenidos,
esto es, los que no contienen objeciones, fueron igualmente analizados pero han
servido, como hemos venido insistiendo, para el segundo de nuestros objetivos:
caracterizar el trabajo de los revisores (véase su tratamiento en el apartado reservado
al respecto).
    2. En segundo lugar, se agruparon aquellas proposiciones-objeciones que tenían
un significado equivalente, creando para cada agrupación de proposiciones-obje-
ciones una formulación más inclusiva a la que denominamos indicadores. Esos
indicadores se crearon por consenso entre los tres autores.

Etapa 2. Análisis
   3. En tercer lugar, y una vez establecidos esos indicadores, se analizaron los
demás informes de evaluación. En los casos en los que aparecían objeciones
que no encajaban en los indicadores primitivos, se añadían literalmente al
sistema. Estas “nuevas” proposiciones-objeciones fueron ulteriormente
reconvertidas en indicadores siguiendo lo establecido en el punto anterior,
esto es, por consenso. El número total de indicadores encontrados ha sido de
95 (cfr., Figura 1).
   4. Los indicadores se agruparon en apartados que responden a la lógica de ela-
boración de los trabajos: introducción, metodología, resultados, y conclusiones.
A estos cuatro apartados se añadieron otros dos. Uno en el que agrupamos todos
9
los indicadores que cuestionan globalmente el trabajo y otro reservado a cuestio-
nes formales.
    5. Finalmente, se procedió a identificar dentro de cada apartado ciertas
regularidades entre sus numerosos indicadores. De esta manera, se agrupa-
ron los indicadores en un limitado y manejable número de categorías que res-
pondían a algún criterio racional y trataban de hallar grandes líneas estruc-
turales de los procesos de autoría y revisión (cfr., Figura 1). Así, en el primer
apartado que afecta a la visión general de los artículos se construyeron cuatro
categorías que tienen que ver con el formato, la relevancia, la legibilidad y la
consistencia. En el segundo apartado, de la introducción, diferenciamos cuatro
categorías: problemas en la precisión de los objetivos, en la claridad teórica, en la
documentación y en la coherencia. En el tercer apartado, metodología se estable-
cieron seis categorías, identificadas como problemas con la muestra, las hipó-
tesis, las variables, el diseño, los instrumentos/programas y el procedimiento. En el
cuarto apartado, dedicado al análisis y resultados, se agruparon los indicadores
en dos categorías: visibilidad de los datos y tratamiento estadístico. El quinto
apartado es el de discusión y conclusiones, e incluye cinco categorías que agru-
pan a los indicadores, relativas a problemas en la coherencia (en la discusión),
por inferencias injustificadas, por incompletud (no completo), en la profundidad
o en las consecuencias. Y por último, los problemas en los aspectos formales se
clasifican en tres categorías, en que los indicadores se agrupan en citas y
referencias, en títulos y anexos y en redundancia y valoraciones. En las tablas I a
VI respectivas por apartados se incluyen los 95 indicadores precisos de las
causas de no aceptación de artículos, agrupados en las categorías respectivas.
    Es importante subrayar que al analizar un informe de evaluación con este sis-
tema lo que se computa es la presencia o ausencia de cada indicador. Por tanto, si
una objeción se expresa reiteradamente, sólo se contabiliza una vez. Obviamente,
una vez sabido cuáles son los indicadores mencionados en cada revisor, es posible
establecer el número de menciones que recibe cada categoría o cada apartado.
    Ofrecemos a continuación un ejemplo del procedimiento seguido. En primer
lugar, presentamos el listado de las proposiciones de una de las revisiones que en
este caso es el siguiente.
   Listado de proposiciones que revelan objeciones:
   P1: No sigue la estructurade ninguno de los tipos de artículos que admite la revista.
   P2: El artículo carece de indicacionesde su organización.
   P3: La revisión no sigue las pautas habituales (distinguir entre distintos modelos o perspecti-
   vas, compararlasentre sí, defenderalguna de ellas).
   P4: La revisión de los conceptos centrales es superficial (no se adentra en los modelos y única-
   mente se citan su existencia).
   p5: No se documenta con referenciaslas afirmacionessobre autorese ideas.
   P6: No hay conexión entre la revisión y las propuestasque se desarrollan.
   p7: Se afirma haber realizado (una síntesis entre distintas alternativas), sin haberlas realmente
   efectuado.
   p8: No se clarifica cuál es el procedimientoseguido (se mencionan los principios pero estos no
   se desarrollan).
   P9: No se clarifica cómo se llevó a cabo el procedimiento(por ejemplo, el papel de cada uno de
   los participantesni cómo los participantesadquirieronlas competenciasnecesariaspara serlo).
   p10: Referenciasbibliográficas.
           desajustesreferenciasy citas
           no se siguen las normas para las referencias.

   Es fácil apreciar, en primer lugar, que algunas de estas objeciones-propo-
siciones aparecen reiteradamente y se repiten, a veces, con otras palabras en
la misma revisión (por ejemplo p8 y p9) o en otras revisiones. Esta fue la
razón para agrupar las distintas objeciones en expresiones más abstractas que
10
las originales, los denominados indicadores. Así, la proposición p8 y p9 pue-
den reflejar un mismo significado que es recogido en una formulación más
inclusiva, en este caso: “Procedimiento: falta información precisa”; de la
misma manera, p1 da lugar al indicador “Género impreciso”, que puede ser-
virnos para computar cualquier objeción que aluda a que un determinado
artículo no se ajusta a los tipos de artículos aceptables para la revista. Estos
indicadores figurarán en las distintas tablas (cfr., Tablas I a VI) que acompa-
ñan el análisis de las objeciones de cada uno de los apartados y constituyen
las categorías terminales del sistema y la base de todos los cómputos que
serán realizados.
    Además, es evidente que los indicadores se relacionan con distintos apartados.
Algunos tienen que ver con la introducción, por ejemplo, p4 y p5; otros, afectan
a la metodología (p8 y p9) y otros, por poner un último ejemplo, a las cuestiones
formales (p10). Y hay, además, objeciones que tienen un carácter global, en el sen-
tido de que cuestionan el trabajo como un todo, es el caso de los indicadores que
se derivan de p6 o p1. Finalmente, esos indicadores de cada apartado se incluyen
en alguna de las categorías del mismo.
    De esta manera, el sistema de análisis que se empleó para analizar las cincuen-
ta revisiones de los 25 artículos (dos revisores por artículo) se sintetiza en la figu-
ra 1 y se detalla en las tablas I a VI ya referidas.
    Tal y como puede verse en la figura 1 se han identificado seis apartados,
24 categorías y 95 indicadores posibles, con una aparición efectiva de 783
causas que señalan en total entre los 50 revisores. La coincidencia media
entre cada par de revisores, en torno al artículo evaluado, es relativamente
grande. Por ejemplo, la probabilidad de que los dos revisores coincidan en
los seis apartados generales es del 81% (véase Anexo). De manera más con-
creta, si un revisor hace una objeción correspondiente al apartado introduc-
ción, hay una probabilidad de un 81% de que el otro revisor también lo
haga en ese mismo apartado. Este grado de coincidencia disminuye, como
cabe esperar, cuando se consideran las categorías de cada apartado. Así, en el
caso de las correspondientes a la visión general se alcanza un 66%; en las cua-
tro categorías de introducció n se observa un 58%; en las seis categorías de
metodología , un 69%; las dos categorías de análisis y resultados , un 64%; las
cinco categorías de discusión y conclusiones , un 57%; y por último, en las tres
categorías de aspectos formales: el 83 %.
    Es importante subrayar que el sistema permite codificar todas las ideas conte-
nidas en las 50 revisiones que expresan objeciones, y que tienen que ver con la
tarea evaluadora. Es decir, permiten identificar las causas de no aceptación orga-
nizadas en indicadores, las categorías que incluyen a los indicadores y los aparta-
dos más generales en donde se incluyen las categorías.


Codificación de los contenidos que no contienen objeciones

    Además de las objeciones, los informes contienen otras muchas ideas que
también fueron analizadas por el mismo procedimiento que el resto de los conte-
nidos y agrupadas, finalmente, en torno a cuatro aspectos. Por una parte, respec-
to de los marcos que utilizan los revisores para hacer el análisis de los artículos.
Por otra, el análisis de los recursos retóricos que utilizan los revisores en sus infor-
mes. Además, analizamos la actitud de los revisores cuando emiten sus escritos.
Y, por último, hemos hecho un estudio de las tareas adicionales a las de poner de
relieve las limitaciones del trabajo.
FIGURA 1
    Tarea evaluadora de los 50 revisores (25 artículos): razones de “no aceptación de artículos” (cómputo de 783 indicadores agrupados en apartados y subapartados-categorías)

                                                                                                                                Causas no
                                                                                                                                aceptación
                                                                                                                                  (ip:95;
                                                                                                                                 air: 783;
                                                                                                                                  100%)
                            Visión                          Introducción                              Metodología                                           Análisis y                         Discusión y                            Aspectos
                          General                              (ip: 18;                                 (ip: 22;                                            resultados                         Conclusiones                           formales
                           (ip: 17;                           air: 204;                                air: 180;                                              (ip: 12;                           (ip: 19;                               (ip: 7;
                          air: 144;                             26%)                                     23%)                                                 air: 89;                          air: 146;                              air: 20;
                            18%)                                                                                                                               11%)                               19%)                                 2,5%)

Formato                                                                                                                                                                                                            C secu cias
                                                                                                                                                                                                                    on en
  (ip: 6;                                                                                                                                                                                                             (ip: 4;
 air: 51;                                                                                                                                                                                                            air: 19;
 6,5%)                                                                                                                                                                                                                2,5%)


                                       Consistencia                                        Muestra                  Diseño                   Visibilidad           Tratamiento         C eren
                                                                                                                                                                                        oh ciaen                                                      Redundancia
                                          (ip: 3;                                           (ip: 5;                  (ip: 2;                 de los datos           estadístico        laD sión
                                                                                                                                                                                            iscu                                                             y
                                         air: 30;                                          air: 45;                 air: 17;                    (ip: 9;                (ip: 3;            (ip: 3;                                                     Valoraciones
                                           4%)                                               6%)                      2%)                      air: 61;               air: 28;           air: 28;                                                     (ip: 2; air: 7;
                                                                                                                                                 8%)                   3,5%)             3,5%)                                                             1%)
                                                                                                                                                                                                                                                                        11




                                                                                                                                                                                                                 Profundidad       Citas y
                                                                                                                                                                                                                    (ip: 7;      referencias
                                                                                                                                                                                                                   air: 38;        (ip: 3;
                                                                                                                                                                                                                     5%)            air: 8;
                                                                                                                                                                                                                                     1%)

            Relevancia                           Precisión en              Documentación                                                                                           Inferencias
              (ip: 6;                           los Objetivos                completa                                                                                             injustificadas
             air: 29                                (ip: 4;                    (ip: 6;                                                                                                (ip: 3;
               4%)                                 air: 34;                   air: 62;                                                                                               air: 43;
                                                     4%)                        8%)                                      Instrumentos                                                 5,5%)
                                                                                                                             (ip: 4;
                                                                                                                            air: 55;
                                                        Claridad                                                              7%)
                         Legibilidad                    Teórica                            Hipótesis                                                                                                Completivo                             Título y anexos
                            (ip: 3;                      (ip: 5;                             (ip: 5;                                                                                                   (ip: 2;                                 (ip: 2;
                           air: 34;                     air: 67;                            air: 10;                                                                                                  air: 18;                                 air: 5;
                             4%)                         8,5%)                                1%)                                                                                                       2%)                                    0,5%)


                                                                    Coherencia                             Variables            Procedimiento                 Esquema con los apartados y categorías de cada apartado. Tras la denominación de cada
                                                                      (ip: 3;                                (ip: 4;                (ip: 2;
                                                                     air: 41;                               air: 30;               air: 23;                   categoría, agrupadas en los seis apartados, se incluyen el número total de indicadores posi-
                                                                       5%)                                    4%)                    3%)                      bles (ip), las apariciones de indicadores efectivamente referidos por los evaluadores (air) y el
                                                                                                                                                              porcentaje respecto del total aparecidos (redondeados) (%).
12
ANÁLISIS Y COMENTARIOS

    Con el propósito de no distanciar la presentación de los datos (que son volu-
minosos) de los comentarios que suscitan, se ha procedido a la presentación con-
junta, combinando en un único apartado lo que, en un artículo de investigación
habitual, suele organizarse en dos: el dedicado a la presentación de los resultados
y el correspondiente a la discusión. Dejaremos los comentarios más globales para
las conclusiones.
    En todo caso, seguiremos el orden ya anunciado. Primero, procederemos en
relación con las “razones de no aceptación de artículos” —relevantes especial-
mente para los autores—, para después centrarnos en el análisis de los revisores.


1. Razones de la no aceptación de artículos: Diálogo con los autores

   Tal y como se muestra en la figura 1, las objeciones se reparten de forma rela-
tivamente equitativa en los distintos apartados. En todo caso, destaca el número
de objeciones que aluden a problemas en la introducción, que es el apartado que
recibe más comentarios críticos (el 26% del total). También merece la pena
subrayar el número total de objeciones realizadas, exactamente, 783, lo que
supone una media de casi 16 objeciones semánticamente diferentes en cada revi-
sión, con una amplitud que va desde 6 causas que un revisor apunta, hasta 31
causas de otros dos (cfr. Tabla IX). Una cifra que consideramos elevada y que
indica que las revisiones tienden a ser concienzudas. Igualmente, da la impresión
de que el número de causas que cada revisor incluye tiene mucho que ver con la
forma de organizar el informe, así los informes que centran la evaluación en
torno a los problemas nucleares suelen contener menos causas, pero no por ello
menos importantes.
   Las objeciones, según apartados, son, por orden de importancia tras las relati-
vas a la introducción, las de la metodología (23% del total), discusión y conclusio-
nes (19 % del total), visión general (18% del total), análisis y resultados (11%
del total) y aspectos formales (2,5% del total).


Razones globales

   Un buen número de objeciones, exactamente el 18% del total, o 144 indica-
dores (cfr., Tabla I), cuestionan aspectos globales del trabajo y suelen conducir a
la no aceptación del mismo (cfr., Figura 1). El análisis de todos los indicadores
que tienen este rasgo de globalidad lleva a diferenciar cuatro categorías de pro-
blemas: en el formato (6,5% del total), en la consistencia (4% del total), en la
relevancia (4% del total) y en la legibilidad (4% del total). La mayor parte de
ellos se explican por sí solos, pero merece la pena detenerse en alguno de ellos.


Formato
   Así, respecto del formato, cabe resaltar una objeción muy común a los artículos
encuadrables en la categoría informe de investigación: que no se ajuste al forma-
to estándar, esto es, una introducción que plantee y justifique el problema que ha
de tratarse, la metodología desarrollada para abordarlo, los resultados alcanzados
y la discusión de los mismos según el marco de interpretación expuesto en la
introducción y las hipótesis derivadas del mismo. Naturalmente, el problema es
13
                                                 TABLA I
 Tarea evaluadora de los revisores: causas escritas de ‘no aceptación de artículos’: Indicadores que afectan
                                      a la visión general del artículo

               PR O B LEM A S EN V IS IÓ N G EN ER A L (V G ):                               N R eviso res   % (sobre los5 0
                                                                                              reviso res)

FO R M A T O

1. Género impreciso: no se encuadra en ninguno de los tipos de artículos previstos:               10               20
   informe de investigación, intervención, revisión, etc
2.Organización(sumade2.1a2.4)                                                                     36               72
2.1. Organización confusa. Falta articulación del informe.                                        23               46
2.2. No se siguen los apartados de informe de investigación                                        6               12
2.3. Necesidad de ajustar títulos de subapartados para que reflejen mejor de lo que                6               12
     tratan. Mejorar la estructuración y claridad
2.4. Sobran apartados no esenciales o no relacionados con el núcleo del objetivo                   1              2
3. Falta hilo argumental: mera colección de ideas                                                  5             10
Total formato                                                                                     51         6,5%(de783)

R ELEV A N CIA

1. El objetivo no es relevante porque no se justifica teóricamente su relevancia.                 10               20
2. Resultados previsibles, se aportan pocos conocimientos nuevos                                   4                8
3. Falta una perspectiva psicológica (se opta por una perspectiva lingüística, o                   4                8
   matemática, o física) o basada en el desarrollo psicológico
4. Reflexión teórica poco actual. Enfoque teórico no relevante en la actualidad                    9             18
5. No es posible valorar el método, al no concretarse los objetivos                                2              4
Total relevancia                                                                                  29          4%(de 783)

LEG IB ILID A D

1. Redacción y estilo confuso; tablas inexistentes; poner resultados en apartados; difícil        3                 6
   leer gráficos, etc. Necesidad de mejorar la comunicabilidad del informe.
2. Necesidad de mayor esfuerzo de redacción y composición del artículo                            17             34
3. Necesidad de precisión terminológica.                                                          14             28
Total legibilidad                                                                                 34          4%(de 783)

C O N S IS T EN C IA

1. No hay conexión entre lo Revisado y lo Realizado. No se desarrolla el objetivo                  7               14
2. En la Discusión o en los resultados se apela a nociones y trabajos no presentados              18               36
   en la Introducción . En los resultados aparecen variables no informadas en la
   metodología. En la introducción se explica el programa en vez de su
   fundamentación teórica, que debiera figurar en Metodología.
3. No se justifica desde el marco teórico la selección de instrumentos o categorías que           5                10
   luego adoptan.
Total consistencia                                                                                30          4%(de 783)

                        T otales v isión general (V G )                                          14 4        18% (de 783 )


que toda esa información puede estar en el trabajo, pero distribuida de una
manera que no se ajusta a lo “esperado”.
   Otra objeción, algo diferente, es la falta de articulación global del trabajo y la
confusión resultante. La manifestación más clara de todo ello es la presencia de un
estilo enumerativo, en el que se tiende a acumular mucha información sin que se
introduzca expresamente un orden o esquema previo. Una posible sugerencia
para paliar esta objeción es que los autores anticipen el esquema organizativo que
van a seguir. Por ejemplo: “El artículo está organizado de la siguiente manera...”.
14
   Una tercera objeción es que el artículo se quede a medio camino entre una
revisión y un informe de investigación, o que no constituya realmente una revi-
sión de un campo de estudio ni una reflexión crítica sobre el mismo, sino, por
ejemplo, comentarios más o menos ordenados sobre un tema. Pensemos en el
caso de un revisor que aduce que un determinado artículo “...no se puede encua-
drar en ninguno de los tratamientos propios de la revista; ni es un informe de
investigación, ni es un informe de intervención, ni es un artículo de revisión pro-
piamente dicho”


Relevancia
    Una segunda categoría de problemas globales que conducen frecuentemente
a la no aceptación es la de no encontrar suficiente relevancia al trabajo. En general,
los revisores reconocen la relevancia potencial de los trabajos (esto es, el problema
planteado es visto como social o educativamente relevante), y su ajuste con la
línea editorial de la revista; lo que quiere decir que Infancia y Aprendizaje tiene
una imagen nítida al menos para los autores (y los revisores). La queja tiene que
ver con la ausencia de relevancia teórica. Obviamente, esto depende de que se
apele a modelos solventes que justifiquen tanto la definición del problema como
las variables o los indicadores elegidos. Por tanto, parece que no basta con selec-
cionar un contenido relevante, sea, por ejemplo, el caso de la escritura argumen-
tativa, pues también deben serlo los indicadores seleccionados y, si estos no lo
son (valga, como ejemplo, que se tomen únicamente indicadores del tipo
“número de palabras utilizadas”), los revisores interpretan que el trabajo no es
relevante. Una cuestión más espinosa es el problema de la actualidad del marco
empleado, otra de las razones frecuentemente aducidas para no aceptar un traba-
jo. Hemos de entender que el criterio de la actualidad está al servicio del de la
relevancia (no siempre son relevantes referencias de “última hora” y no siempre
pierden actualidad las referencias históricas). Es decir, se entiende que la actuali-
dad es un modo —¡no el único!— de conseguir dar relevancia al trabajo y no un
atributo que proporciona ese valor por sí mismo.


Legibilidad
   Además, los problemas de legibilidad tienen que ver con una redacción des-
cuidada, con confusiones en la terminología utilizada (uso de varias expresiones
para un mismo concepto, por ejemplo) o con un tratamiento de tablas y figuras
confuso.


Consistencia
    Por último, un grupo de problemas se relacionan con la falta de consistencia
entre las distintas partes del trabajo. En este caso, el trabajo puede adoptar el for-
mato estándar pero los revisores hacen ver que se aprecia una desconexión entre
el marco teórico y las tareas desarrolladas o, como parece más común (un 32% -
cfr., Tabla I), entre los sistemas de interpretación que se emplean en la discusión
y los presentados en la introducción. La labor de los revisores es en este caso espe-
cialmente relevante para hacer ver a los autores esa falta de continuidad que
puede pasar desapercibida a estos últimos. Hay que entender al respecto que en
el apartado de la Discusión los autores pueden centrarse en encontrar un sentido
a los resultados, lo que les puede llevar a nuevas conexiones que, por ser las últi-
mas, pueden ser la más valoradas pero, quizás, con el riesgo de que puedan per-
15
der su relación con lo planteado inicialmente. Por supuesto, se sobreentiende
que la discusión puede invocar cuestiones no previstas en la introducción pero
esto debe tener una dimensión limitada y, cuando se haga, conviene advertirlo
expresamente. Menos justificado es que no aparezca una conexión clara entre las
categorías de análisis empleados, las tareas afrontadas o los procedimientos desa-
rrollados y el marco teórico, una cuestión que a juicio de los revisores ocurre con
alguna frecuencia.
   Más notorio es el caso de los trabajos en los que apenas si se constata un hilo
entre las teorías y evidencias que se revisan y las investigaciones que se realizan.
Aquí puede ocurrir que los autores den la impresión de que invocan un marco
teórico muy general que inspira pero no dirige el trabajo. En todo caso, resulta
muy evidente que en las revisiones analizadas de Infancia y Aprendizaje se espera
que haya una adecuada documentación de los precedentes teóricos y empíricos
del trabajo que justifique los pasos dados para definir el problema y para acome-
terlo (véase más adelante lo referido a Objetivos).
   En resumen, las razones globales afectan tanto a la forma (legibilidad, formato)
como al fondo (consistencia y relevancia). Los problemas de consistencia y forma
suelen dar lugar a rechazar únicamente la versión actual del trabajo, en la espera
de que las mejoras solicitadas permitan valorarlo contando con evidencias más
firmes, mientras que la ausencia de relevancia teórica suele dar lugar a no acepta-
ción definitiva. Esto quizás ayude a los autores a conocer las categorías valora-
tivas que guían a los revisores de la revista.
   En cualquier caso, es importante reseñar que los revisores se ven en la necesi-
dad de asumir una decisión que en muchos casos es realmente muy difícil: saber
cuándo en un artículo no “está todo lo que debe estar”, pero se vislumbre “en
potencia” lo que se echa de menos, y cuándo, por el contrario, no parecen existir
esos elementos y reclamarlos en los informes llevaría a una prolongación agónica
del proceso. Es imposible garantizar que ese juicio sea siempre correcto, pero al
menos podría considerarse una virtud el hacer más transparente la racionalidad
que guía la elaboración del informe.


Razones ligadas al Apartado Introducción

   Respecto de la Introducción, hay un buen número de objeciones (204, lo que
constituye un 26 % del total). Se han agrupado estas objeciones en algunas cate-
gorías específicas (cfr., Tabla II). Como en el caso anterior, nos limitaremos a glo-
sar las más relevantes una vez hemos dejado expuesto el porcentaje de menciones
de cada uno de los indicadores.

Objetivos
   En primer lugar, los revisores se quejan de un conjunto de problemas que tienen
que ver con la precisión del objetivo que se persigue. En muchos casos, ese objetivo
sólo se llega a percibir con nitidez al finalizar la lectura del artículo. En otros casos,
hay una formulación del objetivo por acumulación, esto es, se presenta un conjunto
amplio de posibles objetivos sin que se pueda llegar a apreciar cuál es la diferencia
entre ellos ni, por tanto, lo que realmente se persigue. Por supuesto, el objetivo
puede estar en el texto pero no tan visible como sería necesario. Quizás, los autores
desean subrayar todas las implicaciones del trabajo, lo que les lleva a una introduc-
ción excesivamente amplia e imprecisa. Una buena idea es que los autores se hagan
esta pregunta que se recomienda en el manual de la APA (1994): ¿cómo hacer ver
desde el principio al lector lo que se quiere resolver en el trabajo? Probablemente,
16
                                                 TABLA II
 Tarea evaluadora de los revisores: causas escritas de ‘no aceptación de artículos’: Indicadores que afectan
                                      a la introducción del artículo
 PR O B LEM A S EN IN T R O D U C C IÓ N (I): Enfoque y planteam iento                   N R ev isores   % (sobre los 50
                                                                                                            revisores)
P R ECIS IÓ N EN LO S O B JET IV O S
1. No se define cuál es el problema específico que se persigue –Problema inespecífico         12             24
2. Objetivoinespecífico(sumade2.1a2.3)                                                        22             44
2.1. No se define cuál es el objetivo específico que se persigue                              17             34
2.2. Objetivo no enunciado                                                                     1              1
2.3. Falta explicitar el propósito antes de la revisión                                        4              8
Total objetivos                                                                               34          4%(de783)
C LA R ID A D T EÓ R IC A
1. No se desarrollan en profundidad los conceptos clave                                       21               42
2. Marco teórico confuso. Poca elaboración del marco teórico.                                 16               32
3. No se ilustran los modelos con aplicaciones concretas                                       2                4
4. No se selecciona adecuadamente la información revisada. Se habla de lo que no se           25               50
   debe y no se habla de lo que se debe
5. Se abordan demasiados temas                                                                 3               6
Total claridad teórica                                                                        67         8,5% (de 783)
C O H ER EN CIA
1. Los autores no exponen cuál es el punto de vista adoptado. El trabajo carece de un         17               34
   marco teórico preciso. No se revisan los argumentos en contra.
2. Falta justificar enfoque y lo que se espera de él                                           7               14
3. No se organiza la introducción (según perspectivas, modelos, polémicas), estilo            17               34
   enumerativo, telegráfico
Total coherencia                                                                              41          5%(de783)

D O C U M EN T A C IÓ N CO M P LET A
1. Revisiónyreferencias(suma1.1y1.2)                                                          35               70
1.1. No se revisan los trabajos específicamente vinculados con el objetivo específico,        31               62
     pero sí los de carácter general
1. 2. Referencias inapropiadas. Referencias excesivamente generales                            4              8
2. Diferenciar las ideas originales de la exposición de las ideas de otros                     1              2
3. No se documentan con referencias las afirmaciones sostenidas en el trabajo                 14             28
4. Referencias muy poco actuales. Faltan referencias claves.                                  10             20
5. No se justifica la ausencia de precedentes.                                                 2              4
Total documentación                                                                           62          8%(de783)

                            T otal introducción (I)                                          204          2 6% (de 783)


el acierto de muchos artículos reside en que consiguen hacer visible lo que persi-
guen apenas se ha avanzado unos pocos párrafos. Por supuesto, ese objetivo especí-
fico sólo encuentra su sentido en un marco más general, pero el objetivo del artícu-
lo no puede ser resolver, valga el ejemplo, el problema de la didáctica de las mate-
máticas, sino entender la incidencia de una determinada variable educativa en la
adquisición de un determinado concepto. Otra ilustración podría ser plantear el
problema global de la relación entre clima social y familiar y la adaptación personal
y social, cuando el estudio se centra de hecho en cuestiones específicas de la resolu-
ción de conflictos familiares en la etapa de la adolescencia. Sería de esto último, si
los ejemplos valen, de lo que habría que hablar cuanto antes.
17
    En ese mismo sentido, un amplísimo número de revisores señalan que no se
consideran los precedentes inmediatos de lo que se quiere hacer y que de esta
manera resulta muy difícil comparar los resultados obtenidos o la metodología
empleada con otros estudios. Una consecuencia de esta reflexión es que el encon-
trar un objetivo específico puede conseguirse remitiéndose a los precedentes que
de forma más concreta se relacionan con el trabajo. La ausencia de los mismos,
salvo que se advierta y que se justifique adecuadamente su probable inexistencia,
es interpretado como una señal de inmadurez.
    Por ejemplo, los revisores advierten de que los autores de un trabajo en el que se
proponen, valga como ejemplo, estudiar el papel de la conciencia fonológica en la
lectura de niños con síndrome de Down, emprenden una revisión general del
campo de estudio (por ejemplo la lectura), sin hacer una revisión de los trabajos que
han abordado el mismo problema específico que se intenta acometer en el trabajo
(la conciencia fonológica en niños con síndrome de Down). Consecuentemente, se
quejan los revisores, los datos no pueden compararse con los de ningún otro estu-
dio y es difícil valorar el interés o relevancia del trabajo (lo que nos remite al pro-
blema de relevancia tratado en el apartado anterior).
    Parece absurdo exigir a los autores que citen siempre, los haya o no, preceden-
tes inmediatos, pero parece ser útil al lector aclarar cuándo no los hay y subrayar
la necesidad de correr el riesgo (relativo, por supuesto) que supone la ausencia de
precedentes.


Claridad teórica
    Este primer grupo de objeciones suele llevar acompañadas otras ligadas a la
falta de claridad. Los indicadores de esta categoría se explican por sí mismos, pero
de entre ellos destaca uno que no sería muy difícil de resolver: la introducción
considera muchas cuestiones sin detenerse con el suficiente detalle en los concep-
tos que articularían el trabajo. Consecuencia: falta de claridad en el marco teórico.
Algunos evaluadores hablan, por ejemplo, de una revisión tipo Manual, cuando lo
que se necesita es una revisión que tome en consideración el eje creado por un pro-
blema específico que se quiere resolver y que lleva a ciertas hipótesis (si el trabajo
las requiere) u objetivos específicos que guían el trabajo. Una ilustración de esto
último, es el alto grado de coincidencia en cada evaluador entre las categorías de
objetivos y de claridad teórica, un 56%.
    Un tercer problema que despierta la atención de los revisores es que no se
desarrollen con suficiente profundidad y claridad los conceptos claves. Se habla
de ellos, dice algún revisor, pero sin desarrollarlos. En parte esto es consecuencia
de no partir de un objetivo preciso. Otros revisores se quejan de que se habla de
demasiadas cosas y urgen a los autores a seleccionar las que sean relevantes res-
pecto del objetivo específico que se persiga.


Coherencia en la introducción
    Un tercer tipo de problemas tiene más bien que ver con la articulación o coheren-
cia de lo que se dice. En este caso, los revisores suelen apuntar que no hay un esque-
ma claro de la revisión. Entre otros: revisar los distintos enfoques, ordenar en el
tiempo las distintas propuestas, partir de un cierto número de dimensiones para
identificar los puntos de continuidad o discontinuidad entre las distintas alternati-
vas. Algo así como: “hay tres grandes cuestiones que han suscitado discusiones en
los últimos años: a... b... c... Por lo que se refiere a a... Por lo que se refiere a b... “.
18
   Además, se espera que los autores se pronuncien respecto del marco que se va
a utilizar o al menos sobre el modo como se va a utilizar el marco revisado.


Documentación completa
   Finalmente, y aunque es a todas luces una cuestión menor, los evaluadores de
Infancia y Aprendizaje suelen esperar que los autores documenten sus afirmaciones
apelando a las fuentes adecuadas. De esta manera no suele aceptarse que se atri-
buya una idea a un autor y no se advierta la fuente.

    Es interesante destacar que la mayor parte de las objeciones consignadas en
este apartado tienden a ser resolubles, salvo de nuevo las más ligadas a la relevan-
cia teórica (esto es, la precisión de los objetivos). De esta manera, y dada la fre-
cuencia de menciones a lo considerado en este apartado sería de sumo interés que
los autores leyeran lo expuesto en este apartado. Muy probablemente, como con-
clusión, podríamos centrar la atención en estas tres cuestiones:
    1) la introducción debe centrarse en clarificar a los lectores el problema que se
va a intentar resolver (es lo que muchas veces aparece con más claridad en la dis-
cusión, pues “el problema” es justamente lo que los autores necesitan clarificar
en ese apartado final). Pero claro, en muchas ocasiones los autores han de con-
cluir el artículo para saberlo, de ahí que escribir sea reescribir;
    2) los autores deben contextualizar ese problema clarificando especialmente
los conceptos de los que depende la comprensión y el sentido de ese problema, el
resto de las cuestiones, por interesantes que puedan resultar, podrían quedar en
un segundo plano;
    3) esa exploración de los conceptos clave puede verse facilitada si se hace una
revisión ordenada de los marcos o perspectivas empleadas.
    Por supuesto, en mayor o menor grado, todos los autores podrían mejorar la
introducción a sus artículos (de hecho hay obras magníficas que ilustran de forma
precisa cómo hacerlo, cfr., por ejemplo, Sorenson, 1997). Ahora bien, ¿cómo
renunciar a exponer cuestiones que, en sí mismas, son tan importantes? ¿cómo
saber cuál es el punto justo de clarificación que se necesita? La respuesta, quizás, la
pueda encontrar mejor el otro que uno mismo. Y es, justamente, por ello por lo que
la evaluación es tan necesaria, puesto que juega un papel regulador que, cuando el
que escribe va asumiendo esta función, se transforma en autorreguladora (cfr., para
esta cuestión por ejemplo Graham y Harris, 2000 a y b). Una recomendación muy
evidente a la luz de lo expuesto es reservar siempre un tiempo suficiente para remi-
tir el original a otros colaboradores y colegas antes de darlo por terminado.


Razones del apartado Metodología

   Un tercer grupo de objeciones tiene que ver, como ya vimos en su momento,
con la metodología (180 indicadores o el 23% de todas las causas de no aceptación
de artículos —cfr., Tabla III—). En este caso, las objeciones son igualmente pre-
visibles y en algún caso, como las ligadas a los problemas de diseño, muy difícil-
mente comentables en el limitado espacio de estas páginas.


Muestra
   Los problemas ligados a la muestra son de tres tipos. El más común es que no
se ofrecen todos los datos que serían necesarios; los autores no informan con sufi-
19
                                                  TABLA III
 Tarea evaluadora de los revisores: causas escritas de ‘no aceptación de artículos’: Indicadores que afectan
                                       a la metodología del artículo

                 P R O B LEM A S EN M ET O D O LO G ÍA (M ):                             N R eviso res    % (sobre los 50
                                                                                                            revisores)

M U EST R A

1.Nosedefinenapropiadamente lascaracterísticasdelas muestras(sumade1.1y1.2)                   27                 54
1.1. Participantes-Criterios de configuración de las muestras poco claros                     16                 32
1.2. Participantes-Se desconocen datos importantes o relevantes de las muestras (curso        11                 22
     x conglomerados, etc)
2. La muestra no es apropiada para obtener los datos relativos a los objetivos del            15                 30
   trabajo [Participantes-Errores en la configuración. Falta una muestra
   esencial (ej., de zurdos).]
3. Tamaño apropiado para los análisis de datos (potencia, análisis factorial, etc.)            0                  0
4. Representatividad de la muestra (procedimiento apropiado de muestreo,                      15                 30
   características de la muestra que avalan la representatividad, etc.). No
   representatividad de la muestra
Total muestra                                                                                 45            6%(de 783)

H IPÓ T ES IS

1. No reflejan los problemas derivados de la revisión teórica. No están bien articuladas con la introducción, y por tanto no
están adecuadamente justificadas                                                                  1                 2
2. No están bien definidas operacionalmente, de forma que es difícil su contrastación. Se plantean como preguntas abiertas
sin que se vislumbre el compromiso de ponerlas a prueba                                           0                 0
3.Losobjetivosdeuntrabajonosecircunscribennecesariamentealacontrastaciónd                         9                18
    hipótesis. Lafinalidadpuede serlameradescripcióndeunfenómeno,nola
   puestaapruebade unos supuestos(sumade 3.1y3.2)
3.1. No aparecen con suficiente claridad. No aparecen. (cuando debieran aparece                   9                18
     porque no es una mera descripción)
3.2. Las hipótesis se adivinan en la discusión                                                    0                 0
4. Un criterio importante ha de ser la relevancia teórica, práctica o social de los
    objetivos y/o hipótesis (falta)                                                               0                 0
Total hipótesis                                                                                  10           1%(de 783)

V A R IA B LES

1. No están bien definidas operacionalmente                                                   16               32
2. Su número es excesivo. No se presentan de forma ordenada                                    4                8
3. Carecen de relevancia teórica. No se justifican psicológicamente.                          10               20
4. No son adecuadas para contrastar las hipótesis                                              0                0
Total variables                                                                               30            4%(de 783)

D ISEÑ O

1. No aparece clara la modalidad metodológica del trabajo (experimental, selectiva             6                 12
   observacional). Las limitaciones nucleares del artículo tienen que ver con el
   diseño metodológico
2. El diseño no es apropiado. Validez: Ausencia de grupo de control. Orden de                 11                 22
   aplicación de instrumentos inadecuado o no controlado. No medidas previas.
   Diseño no especificado
Total diseño                                                                                  17            2%(de 783)

IN ST R U M EN T O S

1.Losinstrumentos(materialesoprogramas)seleccionados nosedescribenconrigor                    41                 82
  (sumade1.1y1.2)
20
1.1. Instrumentos y materiales y programas: Indicadores de las variables mal definidos.   15         30
     Diferenciar medidas más sensibles. Desequilibrio entre la evaluación y lo
     codificado y utilizado en la investigación.
1.2. Instrumentos y materiales y programas: No se describen con claridad las tareas y/o   26         52
     instrumentos. No se hace una descripción concreta de un programa. No se
     describen con claridad las categorías utilizadas.
2. Losinstrumentos (materialesoprogramas)nosonlosmás apropiados(insuficiente              14         28
   validezyfiabilidad,adaptacióninadecuadaalapoblaciónde interés)(sumade2.1y2.2)
2.1 Faltan medidas relevantes o importantes para el estudio. Sesgos en cuanto              7         14
     selección de tareas (insuficientes)
2.2. Los instrumentos son poco adecuados según la definición de las variables.             7       14
Total instrumentos                                                                        55    7%(de783)

P R O CED IM IEN T O

1. No se describe con precisión. Falta información precisa (participantes, contextos      22         44
   roles instruccionales, horas de evaluación)
2. No es adecuado (sensible a variables extrañas). Tratamiento experimental                1          2
   intervención muy reducido (excesivamente breve o muy limitado)
Total procedimiento                                                                       23    3%(de783)

                           T otal m etodología (M )                                       180   2 3% (de 783)

ciente claridad de los criterios, de las características (procedencia, sexo, edad, ori-
gen), lo que lleva a los revisores a hacer sugerencias frecuentes de clarificació n.
En segundo lugar, que la muestra es insuficiente para alcanzar los objetivos. Y,
en tercer lugar, que hay problemas en la configuración (cómo se ha seleccionado,
cómo se han asignado a grupos, etc).


Hipótesis
   De igual manera, las hipótesis pueden no ser expuestas con suficiente detalle.
Más relevante es que estén desconectadas con el marco teórico de la introducción
(un ejemplo más de falta de consistencia comentada en el primer apartado). En
ese sentido, los revisores suelen recomendar que los autores revisen la introduc-
ción atendiendo a la naturaleza de las hipótesis. Es justamente esa relación que
en ellas se precisa lo que debe ser justificado, clarificado conceptualmente y revi-
sado en la introducción. Lo cierto es que en ocasiones el lector puede apreciar
cuál es la hipótesis cuando el autor se adentra en interpretar que los datos no cua-
dran con ellas.


Variables
   Cualquier investigación requiere una definición operativa y precisa de las
variables, seleccionando el número adecuado a los objetivos del estudio, que pre-
senten relevancia teórica o que sean adecuadas para contrastar las hipótesis. Los
revisores refieren (32%) casos en los que no están bien definidas o que carecen de
relevancia teórica (20%).


Diseño
    Son varias las causas de modificación o no aceptación de artículos que identi-
fican los revisores en relación con el diseño metodológico, desde la no aparición clara
de la modalidad metodológica del trabajo (12%) a no ser apropiados (22%). La
planificación previa de cualquier investigación obliga a definir el diseño más
21
adecuado para los objetivos que se persiguen. Los autores han de ser conscientes
de que la publicación del artículo también tiene que ver con una explicación del
diseño que permita valorar los datos y las posibles interpretaciones.


Instrumentos
    Es una categoría, la de instrumentos (programas, materiales, sistemas de cate-
gorías), de cierta importancia, pues es referida por el 82% de los revisores que
señalan que no se describen con rigor, o que no son apropiados, un 28%. Cuando
se utilizan sistemas de categorías esta objeción es especialmente importante,
puesto que al tratarse de instrumentos ad hoc para la investigación no suele exis-
tir conocimiento previo de ellas (distribución comercial).


Procedimiento
   El apartado dedicado al procedimiento suele merecer un buen número de
comentarios críticos. Muchos de ellos hacen ver que la información es insuficien-
te para entender lo que realmente se ha hecho, esto es, los pasos dados para confi-
gurar la muestra, para diseñar o desarrollar la tarea, para recoger los datos. Los
autores pueden pensar que eso se deduce fácilmente de los datos y de los distin-
tos comentarios realizados, pero en muchas ocasiones resulta vital entender el
proceso seguido para comprender el modo de operar con los datos y las conclu-
siones extraídas de ellos. Eso es lo que suele ocurrir con el apartado dedicado al
procedimiento de intervención, en el que apenas si se comentan únicamente los
principios rectores de lo que se hace pero no lo que realmente se hace. Quizás
simplemente lo que ocurre es que no es fácil describir verbalmente un procedi-
miento y resulta más sencillo apelar a los principios que los organizan, pero los
lectores necesitan saber en qué consistió exactamente el procedimiento para
poder valorar los resultados obtenidos, y si cabe para poder hacer una replicación
de la investigación. Una vez más debemos destacar la necesidad de una lectura
ajena al grupo de investigación para evitar esos errores de interpretación, y tomar
conciencia del lector, es decir, de la audiencia (Wong, 1999; Wray, 1998).
   De igual manera, la presentación de las tareas o de los sistemas empleados
para extraer los datos pertinentes no siempre son suficientemente clarificados lo
que despierta la necesidad de pedir aclaraciones y modificaciones.


Razones del apartado de análisis y resultados

   Hay dos categorías en este apartado, que representa el 11% del total u 89
razones de no aceptación (cfr., Tabla IV). Los indicadores que se agrupan en
la categoría visibilidad de los datos, que incluye básicamente razones de no
presentación de forma exhaustiva de los datos requeridos por los objetivos o
las hipótesis y de que no se presentan de forma ordenada y clara —no se
resumen parsimoniosamente los datos en tablas y gráficos, o las tablas y los
gráficos no están bien identificados de acuerdo a las normas APA— (con 61
indicadores referidos o el 8% del total). Y la otra categoría se refiere al trata-
miento estadístico de los datos, que agrupa los indicadores, básicamente, relati-
vos al hecho de que los análisis estadísticos no son apropiados para los datos
obtenidos (nivel de medida, incumplimiento de supuestos, tamaño de las
muestras), con una presencia de 28 indicadores referidos que representan el
3,5% del total.
22
   Los revisores alegan que un artículo ha de revirsarse, en lo que atañe a este
apartado, cuando hay problemas de análisis de datos (insuficiente o inapropiado)
o cuando hay problemas en la presentación de los mismos.
                                                 TABLA IV
 Tarea evaluadora de los revisores: causas escritas de ‘no aceptación de artículos’: Indicadores que afectan
                                   al análisis y resultados del artículo

          PR O B LEM A S EN A N Á LISIS Y R ES U LT A D O S (A R )                          N R ev isores   % (sobre los 50
                                                                                                              revisores)

V ISIB ILID A D D E LO S D A T O S

1. Nose presentandeformaexhaustivalos datosrequeridosporlos objetivosolas                        39               78
    hipótesis(faltandatosrelevantes)(sumade1.1a1.6)
1.1. No hay ajuste entre los datos y los objetivos (o no hay presentación sistemática            11               22
     de todos ellos)
1.2. No se presentan datos de todas las variables. No hay datos de conjunto                      11               22
1.3. No se proporcionan los materiales de los que se obtienen los datos                           4                8
1.4. No se ofrecen las puntuaciones directas cuando son relevantes                                0                0
1.5. Se presentan datos sin clarificar su origen ni su relación con el texto                      6               12
1.6. Apenas si se presentan resultados. No se presentan los resultados                            7               14
2. Nose presentandeformaordenadayclara(resumirparsimoniosamente losdatosen                       22               44
   tablasygráficos, lastablasygráficosnoestánbienidentificadosdeacuerdo
   alas normasAPA)(suma2.1a2.3)
2.1. Necesidad de presentar de forma ordenada y clara los resultados                              6               12
2.2. No se explican en el texto los datos de las tablas.                                          6               12
2.3. Incluir gráficos o tablas ilustrativos de los datos. Incluir contrastes estadísticos        10               20
     en gráficos o tablas.
Total visibilidad                                                                                61          8%(de783)

T R A T A M IEN T O EST A D ÍS T ICO

1. Losanálisisestadísticosnosonapropiados paralosdatos obtenidos (niveldemedida                  28               56
   incumplimientode supuestos,tamañodelas muestras).(sumade1.1a1.3)
1.1. Sistema de análisis estadístico Inadecuado. Confuso. Carece de rigor. Necesidad             21               42
    de análisis adicionales. Sólo se hace análisis intragrupos. Se dice que se
    hacen análisis pero no se presentan.
1.2. No se especifica el tratamiento dado a los datos                                             6              12
1.3. Se comparan puntuaciones directas y no estandarizadas.                                       1               2
Total tratamientoestadístico                                                                     28          3,5%(de783)

                       T otal análisis y resultado s (A R )                                      89          1 1% (de 783)


Razones del apartado de Discusión

   En la discusión hemos encontrado varias categorías de problemas (con 146
indicadores referidos o el 19% del total —cfr., Tabla V—). El primero de ellos
insiste en la cuestión de la coherencia.


Coherencia
   En este caso, los problemas se evidencian en el momento en el que los reviso-
res no ven una relación precisa entre las hipótesis-resultados-interpretaciones (el
52% de los revisores lo refieren, cfr., tabla V). Dicho en otras palabras, lo que se
espera es que se parta de un recordatorio de las hipótesis para adentrarse en los
resultados y de ahí a las interpretaciones que se juzguen necesarias. Un artículo
23
inmaduro suele mostrar alguna fisura en este eje básico. Algunos ejemplos pue-
den hacer ver la importancia que conceden los revisores a este apartado.
    Ejemplo 2 A: “... tal vez debería de existir una mayor relación entre estas con-
clusiones y el marco teórico inicial del artículo y, entre estas conclusiones y los
resultados reales que se han obtenido en la investigación. En definitiva señalar
que la información que en el artículo se nos ofrece no nos permite compartir las
conclusiones que los autores exponen, no por incorrectas sino por falta de infor-
mación más precisa”
    Ejemplo 24 B: “... en la discusión no se atiende apenas al segundo objetivo,
pues no se abordan los resultados obtenidos en el grupo experimental en relación
a los obtenidos en los grupos de control, antes y después del tratamiento”.
    Un aspecto más específico es que se mezcle la presentación de los resultados
con su interpretación, cuando justamente la división del artículo en los dos apar-
tados de resultados y discusión conlleva el evitar cualquier mezcla de ambos. Es
el caso extremo de un artículo en dos apartados (introducción y desarrollo) en
que se ‘mezclan’ todos los apartados, y es el caso de un informe con un apartado
único para resultados y discusión pero sin justificar la razón del mismo (por
ejemplo, tratarse de un estudio cualitativo o exploratorio donde no hay contras-
tes de hipótesis, como el caso del presente trabajo).


Inferencias injustificadas
    Un segundo apartado tiene que ver con la impresión de que se hacen inferen-
cias a partir de datos que no las justifican. En ese sentido, conclusiones demasiado
tajantes son comúnmente destacadas (32% de los revisores) También es relativa-
mente común advertir de que los autores ofrecen recomendaciones que, aunque
sean en sí mismas razonables, no están justificadas por el estudio presentado.


No completo
  Hemos agrupado aquí un conjunto de indicadores que tienen como elemento
común el de que no se lleguen a examinar todos los datos y por tanto todas las
implicaciones de los mismos.


Profundidad
    Otra queja relacionada tiene que ver con la profundidad de la reflexión. Se trata
de una queja difícil de definir sin apelar a ejemplos concretos. Esencialmente, se
trata de pedir algo más que una constatación de los resultados alcanzados. Esos
resultados deben ser interpretados desde las teorías de partida y debe hacerse
apelando a las cuestiones más específicas desarrolladas en el trabajo. Por ejemplo,
si en un experimento de corte instruccional se entrena a los participantes en una
capacidad dándoles dos o más dietas o tratamientos instruccionales diferentes, se
trata de no limitarse a constatar que uno ha sido mejor que otro, y aventurarse en
una interpretación de las implicaciones psicológicas que tienen las diferentes
dietas. En otras palabras, no bastará con decir o constatar que hubo un mayor
efecto en el tratamiento A respecto del B, sino intentar interpretar o explicar de
qué aspecto concreto del tratamiento A pueden depender las ventajas en él
constatadas.
    Naturalmente, la existencia de varias argumentaciones que no se ponen en
relación entre sí es otro motivo de cuestionamiento que revela falta de profun-
didad.
24
                                                              TABLAV
  Tareaevaluadoradelos revisores: causasescritas de ‘noaceptacióndeartículos’: Indicadores queafectanaladiscusiónyconclusionesdel
                                                               artículo

       PR O B LEM A S EN D ISC U S IÓ N Y C O N C LU SIÓ N ES (D C)                          N R ev isores    % (sobre los 50
                                                                                                                revisores)

C O H ER EN CIA EN LA D ISC U SIÓ N

1. Se mezcla la presentación de los resultados con su interpretación y discusión                   2                   4
2. Falta de coherencia entre el marco expuesto en la introducción y el empleado en l              16                  32
    discusión. Por ejemplo, no se alude a las hipótesis ni a los objetivos en la
   discusión. Como consecuencia no se pueden valorar los razonamientos
3. Falta de relación entre los resultados y las conclusiones. Las conclusiones no se              10                  20
   remiten a los resultados
Total coherencia                                                                                  28            3,5%(de783)

IN FER EN C IA S IN JU S T IFICA D A S

1. Se asumen como diferencias significativas lo que son simplemente tendencias o                  8                   16
   diferencias entre puntuaciones. Se asumen resultados positivos (apoyo
   cuando son negativos.
2. Se da por bueno conclusiones no avaladas por los datos ( los sujetos tenían igual nivel        16                  32
   de conocimientos previos, sin haber presentado los datos correspondientes ni
   el modo de obtenerlos) En la revisión no se apoyan las afirmaciones con
   investigaciones empíricas
3. Inferencias demasiado rotundas o generalizaciones excesivas                                    19               38
Total inferencias injustificadas                                                                  43           5,5% (de 783)

IN CO M P LET U D

1. No se comparan los resultados y conclusiones obtenidos con los de otros trabajos.              11                  22
   No se hace referencia a los argumentos en contra.
2. No utilizan datos en la reflexión que pudieran explicar los resultados.                         7                14
Total incompletud                                                                                 18             2%(de783)

P R O FU N D ID A D

1. Poca relevancia de las reflexiones. No se profundiza en las cuestiones nucleares.               8                  16
2. Quedan sin resaltar datos importantes. Falta profundizar en reflexiones esenciales             17                  34
3. Ausencia de reflexiones originales en un artículos de revisión                                  1                   2
4. No dan una explicación psicológica de las diferencias obtenidas                                 3                   6
5. Falta reflexión entre los resultados y las pruebas realizadas.                                  4                   8
6. No se hace una valoración cualitativa ante datos cualitativos o cuantitativa ante               1                   2
   datos cuantitativos
7. Argumentaciones contradictorias. Se utilizan argumentos a favor, que en realidad               4                   8
   lo son en contra
Total profundidad                                                                                 38             5%(de783)

C O N SEC U EN CIA S

1. Falta un apartado de conclusiones. No pueden considerarse como tales. Necesidad                6                   12
   de mejorar este apartado
2. No se hacen ver las aplicaciones de lo desarrollado en el trabajo.                              8                16
3. No se reconocen las limitaciones de la investigación.                                           4                 8
4. No se dan sugerencias para investigaciones futuras                                              1                 2
Total consecuencias                                                                               19            2,5%(de783)

Total discusiónyconclusiones(DC)                                                                 146            19%(de 783)
25
Consecuencias
   Es otra categoría de objeciones que puede ser alegada por los revisores, si bien
no es demasiado común (19 indicadores o un 2,5% del total). Así, cuando
advierten de la ausencia de ese apartado o cuando comentan que el que aparece
en el texto no es tal. Hemos de entender que ese apartado puede ser especialmen-
te indicado en el caso de que la discusión haya sido muy extensa o cuando se
quiera hacer ver las posibles aplicaciones o consecuencias de lo tratado.
                                                 TABLA VI
 Tarea evaluadora de los revisores: causas escritas de ‘no aceptación de artículos’: Indicadores que afectan
                                    a los aspectos formales del artículo

P R O B LEM A S EN LO S A SP EC T O S FO R M A LES (A F)                           N R eviso res   % (sobre los 50
                                                                                                     revisores)

C IT A S Y R EFER EN C IA S

1. No sigue las normas de la APA en las referencias                                     4                 8
2. Citar originales y no traducción 2                                                   4
3. Excesiva inclusión de citas literales 2                                              4
Total citas yreferencias                                                                8           1%(de 783)

T ÍT U LO Y A N EX O S

1. El título es más ambicioso que el contenido, o no se ajusta bien al contenido        4              8
2. Los materiales podrían adjuntarse en un anexo                                        1              2
Total títuloyanexos                                                                     5          0,5%(de783)

R ED U N D A N CIA Y V A LO R A C IO N ES

1. Reiteración de las mismas ideas.                                                     4              8
2. Suprimir las propias valoraciones, reducir metáforas                                 3              6
Total redundanciayvaloraciones                                                          7           1%(de 783)

Total aspectos formales (AF)                                                            20         2,5%(de783)


Razones en el apartado de aspectos formales

   Si bien no constituyen causas de no aceptación de artículos, es claro que las
cuestiones referidas tienen cierta importancia y facilitan la comunicabilidad y la
lectura comprensiva del mismo. Tiene que ver con la conciencia de los procesos
mecánicos, que diría Wray (1998) o Wong (1999), pero que afectan a los procesos
sustantivos de los artículos, y es en este sentido en el que hay que entender las
objeciones de los revisores (20 indicadores o el 2,5% del total —cfr., Tabla VI—).
Hemos agrupado todo este grupo de objeciones en tres categorías de problemas:
en relación con citas y referencias, con el título y anexos o con la redundancia o reitera-
ción de las mismas ideas


2. Sobre la labor de los revisores: Diálogo con los revisores

   Como ya hemos advertido en distintos momentos, al mismo tiempo que
intentamos desentrañar las razones contenidas en los informes de evaluación
elaborados por los revisores, encontramos un buen número de proposiciones
y comentarios que tienen que ver más, aunque no siempre, como enseguida
26
veremos, con el propio revisor que con el artículo revisado. Al analizar todas
esas proposiciones que no suponían objeciones, entendimos que una buena
parte de ellas tenían que ver con otras tareas no evaluativas que los revisores
asumían, es lo que denominaremos en lo sucesivo tareas espontáneas de los revi-
sores. Además, otro buen número de elementos tenían una función retórica,
esto es, parecían dedicados a clarificar lo que se quería decir y no tanto a
decir o exponer nuevas ideas. También, en muchos otros casos se trataba más
que de juicios sobre el trabajo, de argumentos que sostenían esos juicios o, en
muy pocos casos, diálogos o conversaciones encubiertas con el autor o autores.
Esto nos llevó a diferenciar estilos o actitudes diferentes en los distintos eva-
luadores. Finalmente, otro buen número de elementos tenían que ver con el
modo de organizar la propia revisión.
   De esta manera, agrupamos todos los comentarios que no suponían objecio-
nes en estos cuatro apartados:
   1. Las tareas no-cuestionadoras asumidas por los revisores
   2. Las actitudes adoptadas.
   3. Los sistemas empleados para dar orden y organizar la revisión.
   4. Los recursos usados para esclarecer la intención de la revisión
   El análisis de este material puede ayudarnos a estudiar la labor del revisor y
suscitar, como señalábamos anteriormente, una toma de conciencia colectiva en
la que cada cual pueda objetivar sus preferencias y, al hacerlo, si llega el caso,
explorar la posibilidad de enriquecer su modo de hacer las revisiones.


Tareas no-cuestionadoras

   Hemos visto que los revisores pueden asumir tres diferentes tareas además de
la de exponer sus objeciones: apoyar al autor, destacando aspectos que son de
interés o que son valorados como relevantes, prometedores o interesantes, clarifi-
car conceptos que parecen relevantes o sugerir alternativas precisas y viables a las
objeciones realizadas. Es de destacar que estamos hablando de revisiones en las
que se rechaza el artículo, de ahí que se asuma que deberán predominar los jui-
cios frente a las felicitaciones, pero es que, como mencionábamos más arriba, la
cuestión es si es posible conseguir que sin perder el rigor podamos hacer nuestra
vida más agradable. En la tabla VII adjunta presentamos el porcentaje de las pro-
posiciones o argumentos dedicados a cada una de esas tareas.
   Como puede apreciarse, la totalidad de los revisores advierte elementos posi-
tivos en el trabajo. Es muy común que esto ocurra en el inicio de la revisión, en
la que se destaca la relevancia social o potencial del trabajo, el esfuerzo reali-
zado. También, y en contra de nuestra apreciación inicial, ocurre lo mismo
en un 50% de los casos durante el desarrollo de la evaluación. Sin duda algo
en principio más difícil de hacer, puesto que el énfasis se está poniendo en
justificar un juicio adverso. Como editores no tenemos ninguna duda de que
los revisores actúan con un indudable compromiso con la tarea, por eso, y
desde esa seguridad, quizás sea el momento de hacer ver la necesidad de
subrayar esa otra dimensión de la evaluación: el reconocimiento del otro. Hemos
tenido la paciencia de contar cada una de las menciones en las que se destaca
el valor del trabajo y el total es de 129, lo que supone una media de 2, 58
comentarios positivos por revisión ¿Es esta cifra razonable? ¿Cabe alguna
reflexión al respecto?. Por supuesto, hablamos de reconocer al otro, y no de
actos de mera cortesía (aun cuando ésta no debería ser despreciada).
27
                                                   TABLA VII
                      Tareas asumidas espontáneamente por los revisores: apoyar, sugerir, clarificar

TA R EA S                                                                                  N R evisores % (sobre los 50
                                                                                                          revisores)

APOYAR                                                                                                                       f   % (f)a

1. Recoger Méritos AL PRINCIPIO DEL INFORME: ANTES                                               35                 70       54 41,86
2. Recoger Méritos durante la argumentación.: DURANTE                                            26                 52       58 44,96
3. Recoger Méritos AL FINAL DEL INFORME: FINAL                                                   11                 22       17 13,17
T otal reco ger m éritos (Relevancia, interés, novedoso)                                         43                 86       129 100

S U G ER IR
1. Se proporcionan sugerencias precisas. Ejemplificar las sugerencias                22                             44
2. Sugerir ampliar el equilibrio entre apartados                                      3                              6
Sugerencias: alternativas terminológicas más precisas                                18                             36
3. Sugerencias de mejora metodológica                                                13                             26
4. Sugerencias de clarificación de conceptos. No se justifica la pertinencia psicológica                             4       8
5. Sugerencias de estructuración según apartados y subapartados.                      3                              6
T otal sugerir                                                                       63

C LA R IFICA R

1. Se clarifican conceptos                                                                       14                 28
2. Se clarifica el enfoque actual (frente al “arcaico”)                                           3                  6
T otal clarificar                                                                                17
a
    Se trata de los129 argumentos de apoyooreconocimientode méritos identificadosen los informes escritos de losrevisores.

    Además, los revisores asumen otras dos tareas muy importantes. Clarificar
conceptos (algo poco frecuente) que a su juicio lo requieren y sugerir medidas fac-
tibles que podrían mejorar el trabajo. Dejamos a los lectores que valoren las
cifras encontradas (cfr., Tabla VII).


Actitudes o estilos de los revisores

   Una buena parte de los contenidos de muchos revisores puede interpretarse
como si reflejaran una actitud ante la evaluación. Es el caso de las argumentacio-
nes que en sí mismas no encajan dentro de las categorías hasta ahora identifica-
das o de las apelaciones a los autores (“entiendo que los autores pueden pen-
sar:..”). En este caso más que realizar cómputos hemos optado por utilizar su pre-
sencia como indicadores de actitudes o estilos, lo que nos ha permitido
diferenciar tres muy diferentes.

   El primero, que denominamos evaluativo, consiste en exponer el juicio crítico
que merecen las distintas dimensiones del artículo. Con esa actitud, el revisor
asume esencialmente la necesidad de hacer ver al autor los aspectos que se obje-
tan o que parecen discutibles o revisables. Hemos entendido que un 70% de los
revisores tienden a adoptar este estilo. Un ejemplo de este tipo de revisión podría
adoptar el siguiente tono:
        “No se clarifica el marco teórico adoptado......
        Se echa en falta una revisión actualizada....
        El artículo no está bien estructurado.....
        El método es adecuadoa los objetivosque se persiguen........”
28
   El segundo estilo lo hemos denominado argumentativo, pues en él los revisores
desplazan el acento de los juicios a los argumentos que el propio revisor sigue en
el proceso de valoración. Es muy difícil trasladar a estas páginas un ejemplo real,
por lo que ofrecemos un modo característico de proceder que corresponde a este
estilo.
   “Si he comprendido bien, el objetivo del trabajo consiste en…Entiendo por ello, que la divi-
   sión que se hace en la introducción podría no reflejar con claridad el cometido perseguido.Al
   leer la primera parte se tiene la impresión (o al menos esa es la que he tenido) de que se nos va a
   hablar de… (referencia breve al texto..) Mientras que al leer el segundo apartado (de nuevo
   referencia al texto..), la impresión es más bien que únicamente se va a tratar de... Entiendo por
   ello que el lector puede quedar confundidodesde el principio y que podría ser más eficaz admi-
   tir de entrada…”

   Por supuesto, los argumentos conducen a ciertos juicios, pero éstos, como
quizás quede claro en el ejemplo, parecen supeditados a la validez de aquéllos. A
veces da la impresión de que el revisor entiende que los autores podrían contra-
argumentar y que el juicio o valoración específica que él revisor hubiera hecho
quedaría condicionada a esa hipotética contra-argumentación de los autores. A
nuestro juicio, un 26% de los revisores se sitúan en esta categoría.
   El tercer estilo es claramente minoritario, únicamente parece definir la labor
de dos revisores. Lo hemos denominado dialógico, pues lo que en el estilo argu-
mentativo se vislumbra (esto es, la posibilidad de una contra-argumentación), en
éste otro se manifiesta de forma expresa. De esta manera, el autor es convocado al
texto, bien asumiendo lo que aquél puede llegar a pensar en torno a lo que se le
dice o bien invitándole expresamente a ofrecer su visión una vez conocida la
repercusión que han tenido sus palabras.
   “Quizás los autores puedan razonar que esta objeción (que se acaba de exponer y argumentar)no
   es tan decisiva, pues lo importante es…(se expone el posible pensamiento atribuido a los auto-
   res). No obstante, la cuestión a considerar es si, con la información presentada,es posible enten-
   der o no la diferenciaentre las dos categorías expuestas(..). En todo caso, cabe admitir que …”

   Por supuesto, los juicios son sugeridos como hipótesis y quedan en suspenso
con la expectativa de que sea el propio autor quien los elabore de forma definitiva.
   Es inevitable que se entienda que un estilo es mejor que otro. Pero de nuevo y
aunque algunos son más elaborados, de ello no se desprende que sean mejores,
pues, en parte, la actitud adoptada depende del artículo evaluado. Poco cuesta
pensar, en este sentido, que algunos trabajos requieren que el revisor precise sus
objeciones, asegurándose de que no haya duda alguna al respecto. Otros pueden
suscitar interrogantes al propio revisor, ante los cuales, sólo pueda exponer sus
argumentos. Finalmente, es posible que los problemas objeto de análisis admi-
tan varias perspectivas y el revisor, asumiendo este hecho, se adentre en conside-
rar simultáneamente la suya y la que atribuye expresamente a los autores, susci-
tando una conversación encubierta con ellos (Sánchez, 1996).
   Mijail Bajtin (1930 y Bakhtin, 1986) y James Wertsch (1991) dentro de su
modelo dialógico de análisis de las producciones textuales, nos enseña a tratar de
desvelar las “voces” que habitan en todo texto. Un revisor puede adoptar un
papel y una voz de “la ciencia” y dirigir su escrito a “la Revista”. Ambas voces se
agigantan y el autor que recibe el informe percibe su papel de objeto evaluado y
juzgado, pero no de interlocutor. En otros casos, sin embargo, se aprecia que el
revisor, sin cambiar en absoluto el contenido objetivo del análisis —e incluso sin
alterar las críticas recogidas— redacta su texto dirigiéndose ostensiblemente al
autor como interlocutor “de pleno derecho”.
29
   Finalmente, hemos identificado algunos recursos que emplean los revisores
para dar orden a la revisión y los hemos agrupado en categorías. En una de ellas,
nos limitamos a considerar el modo como se organiza la propia revisión, en la
otra, un relatorio de algunos recursos más específicos.


Organización de la revisión

   Las revisiones pueden estar organizadas de diferentes modos. El más sencillo
de todos es, obviamente, seguir las pautas que ofrece la propia revista (este es cla-
ramente minoritario, sólo un revisor lo sigue —cfr., Tabla VIII—), pero hemos
encontrado otros muchos sistemas. Algunos autores siguen, con mayor o menor
rigor, la lógica de la investigación científica: justificación, metodología, análisis de
los resultados y de la discusión (el 16%). Otros emplean sistemas menos preci-
sos: cuestiones de contenido y formales (32%), etc. En la tabla VIII adjunta figuran
los sistemas que hemos identificado y la presencia de cada uno de ellos en el total
de las cincuenta revisiones.
                                                    TABLA VIII
                       Marcos que utilizan los revisores para hacer el análisis de los artículos

MARCOS
¿Desde dónde hacen el análisis los evaluadores?                                   N Revisores                 % (sobre los 50 revisores)

M arco Externo:

Pautas sugeridas por la revista I&A                                                     1                                  2
Lógica de investigación                                                                 8                                  16
Asuntos mayores vs., menores                                                            1                                  2
Formal vs., contenido                                                                  16                                  32
Total marcoexterno                                                                    26a                                  52

M arco Interno :

Lógica del artículo (Contraejemplo: no es “lógica investigación”)                       9                                  18
Marco Ad hoc                                                                           20                                  40
Listado de limitaciones                                                                 5                                  10
Total marcointerno                                                                    34a                                  68
a: La presencia de más de 50 (los revisores) se debe a que en algún caso cabía la adscripción a más de una categoría, por lo que se computó
presente en ambas (en aras de mayor información sobre los marcos utilizados por los revisores). Se ilustra esto en el anexo 1, en el que se
recogen numerosos ejemplos indicando el revisor respectivo.

   Como puede observarse, el orden más habitual es emplear un sistema que se
adapta a las peculiaridades de cada trabajo (68%), bien sea a su lógica interna
(18%), bien sea a lo que hemos denominado, marco ad hoc (40%). Ilustraremos
esto con dos ejemplos.
   Ejemplo 1 (revisor 16 B): El revisor (16 B) inicia el informe con un reconoci-
miento de méritos, seguido de un breve resumen del artículo objeto de comenta-
rio. A continuación se focaliza en el núcleo del artículo y con los propios argu-
mentos del autor los va contraponiendo y evidenciando las limitaciones y contra-
dicciones (de gran interés y con un estilo dialógico). Tras lo cual hace una serie de
sugerencias de re-escritura del artículo y de revisión en profundidad.
   Ejemplo 2 (revisor 8 A): El revisor estructura el informe en dos grandes aparta-
dos. El primero en torno al siguiente enunciado “Con objeto de mejorar la
comunicabilidad del informe... modificarse” en donde queda claro el propósito
Emilio sanchez caracteristicas de articulos no publicados
Emilio sanchez caracteristicas de articulos no publicados
Emilio sanchez caracteristicas de articulos no publicados
Emilio sanchez caracteristicas de articulos no publicados
Emilio sanchez caracteristicas de articulos no publicados
Emilio sanchez caracteristicas de articulos no publicados

Más contenido relacionado

Similar a Emilio sanchez caracteristicas de articulos no publicados

Presentación Módulo 2.pdf
Presentación Módulo 2.pdfPresentación Módulo 2.pdf
Presentación Módulo 2.pdf
Ody Aranda
 
El artículo de revisión - review paper
El artículo de revisión - review paperEl artículo de revisión - review paper
El artículo de revisión - review paper
Angie Katherine Betancur Villegas
 
Ma. teresa actividad 1.2 unidad iv
Ma. teresa actividad 1.2 unidad ivMa. teresa actividad 1.2 unidad iv
Ma. teresa actividad 1.2 unidad iv
Tere Segura
 
La importancia de publicar artículos científicos – Parte 3 - Febrero 2024.pdf
La importancia de publicar artículos científicos – Parte 3 - Febrero 2024.pdfLa importancia de publicar artículos científicos – Parte 3 - Febrero 2024.pdf
La importancia de publicar artículos científicos – Parte 3 - Febrero 2024.pdf
Docentes en línea UNLP
 
EVALUACIÓN EDUCATIVA SOBRE SENTIDOS Y PRÁCTICAS
EVALUACIÓN EDUCATIVA SOBRE SENTIDOS Y PRÁCTICASEVALUACIÓN EDUCATIVA SOBRE SENTIDOS Y PRÁCTICAS
EVALUACIÓN EDUCATIVA SOBRE SENTIDOS Y PRÁCTICAS
MARISA MICHELOUD
 
El Papel Del Evaluador 1 (1)
El Papel Del Evaluador 1 (1)El Papel Del Evaluador 1 (1)
El Papel Del Evaluador 1 (1)
Universidad Nacional de Ingeniería
 
La reseña descriptiva_y_la_reseña_crítica_ 4 (1)
La reseña descriptiva_y_la_reseña_crítica_ 4 (1)La reseña descriptiva_y_la_reseña_crítica_ 4 (1)
La reseña descriptiva_y_la_reseña_crítica_ 4 (1)
Rafael
 
Art2 de margarita poggi
Art2 de margarita poggiArt2 de margarita poggi
Art2 de margarita poggi
Patricia Antenucci
 
Evaluacion Margarita Poggi
Evaluacion Margarita PoggiEvaluacion Margarita Poggi
Evaluacion Margarita Poggi
Victor Nicolas
 
Mirar ampliatorios01
Mirar ampliatorios01Mirar ampliatorios01
Mirar ampliatorios01
elizabeth guanuco
 
2202und5art1aap2002.pdf
2202und5art1aap2002.pdf2202und5art1aap2002.pdf
2202und5art1aap2002.pdf
CAROLINAOLALDELOPEZ
 
Envió y publicación de Articulo Científico
Envió y publicación de Articulo CientíficoEnvió y publicación de Articulo Científico
Envió y publicación de Articulo Científico
José Guadalupe de la Cruz Borrego
 
Version liviana de teorias
Version liviana de teoriasVersion liviana de teorias
Version liviana de teorias
Red De Investigadores
 
Cómo publicar en una revista científica: Buenas prácticas para bibliotecarios...
Cómo publicar en una revista científica: Buenas prácticas para bibliotecarios...Cómo publicar en una revista científica: Buenas prácticas para bibliotecarios...
Cómo publicar en una revista científica: Buenas prácticas para bibliotecarios...
Juan D. Machin-Mastromatteo #Juantífico
 
Marco teórico.pdf
Marco teórico.pdfMarco teórico.pdf
Marco teórico.pdf
EILEN7
 
Metodología para revisión crítica de artículos de investigación (innovar, 2007)
Metodología para revisión crítica de artículos de investigación (innovar, 2007)Metodología para revisión crítica de artículos de investigación (innovar, 2007)
Metodología para revisión crítica de artículos de investigación (innovar, 2007)
lindsayrommy
 
Proceso editorial-Aguirre
Proceso editorial-AguirreProceso editorial-Aguirre
Proceso editorial-Aguirre
Latindex
 
II Seminario: Orientación a la Acreditación. Taller de preparación de solicit...
II Seminario: Orientación a la Acreditación. Taller de preparación de solicit...II Seminario: Orientación a la Acreditación. Taller de preparación de solicit...
II Seminario: Orientación a la Acreditación. Taller de preparación de solicit...
Torres Salinas
 
Foro taller 8
Foro taller 8Foro taller 8
Foro taller 8
Jose Acosta
 
Seminario 6
Seminario 6Seminario 6
Seminario 6
Malugs
 

Similar a Emilio sanchez caracteristicas de articulos no publicados (20)

Presentación Módulo 2.pdf
Presentación Módulo 2.pdfPresentación Módulo 2.pdf
Presentación Módulo 2.pdf
 
El artículo de revisión - review paper
El artículo de revisión - review paperEl artículo de revisión - review paper
El artículo de revisión - review paper
 
Ma. teresa actividad 1.2 unidad iv
Ma. teresa actividad 1.2 unidad ivMa. teresa actividad 1.2 unidad iv
Ma. teresa actividad 1.2 unidad iv
 
La importancia de publicar artículos científicos – Parte 3 - Febrero 2024.pdf
La importancia de publicar artículos científicos – Parte 3 - Febrero 2024.pdfLa importancia de publicar artículos científicos – Parte 3 - Febrero 2024.pdf
La importancia de publicar artículos científicos – Parte 3 - Febrero 2024.pdf
 
EVALUACIÓN EDUCATIVA SOBRE SENTIDOS Y PRÁCTICAS
EVALUACIÓN EDUCATIVA SOBRE SENTIDOS Y PRÁCTICASEVALUACIÓN EDUCATIVA SOBRE SENTIDOS Y PRÁCTICAS
EVALUACIÓN EDUCATIVA SOBRE SENTIDOS Y PRÁCTICAS
 
El Papel Del Evaluador 1 (1)
El Papel Del Evaluador 1 (1)El Papel Del Evaluador 1 (1)
El Papel Del Evaluador 1 (1)
 
La reseña descriptiva_y_la_reseña_crítica_ 4 (1)
La reseña descriptiva_y_la_reseña_crítica_ 4 (1)La reseña descriptiva_y_la_reseña_crítica_ 4 (1)
La reseña descriptiva_y_la_reseña_crítica_ 4 (1)
 
Art2 de margarita poggi
Art2 de margarita poggiArt2 de margarita poggi
Art2 de margarita poggi
 
Evaluacion Margarita Poggi
Evaluacion Margarita PoggiEvaluacion Margarita Poggi
Evaluacion Margarita Poggi
 
Mirar ampliatorios01
Mirar ampliatorios01Mirar ampliatorios01
Mirar ampliatorios01
 
2202und5art1aap2002.pdf
2202und5art1aap2002.pdf2202und5art1aap2002.pdf
2202und5art1aap2002.pdf
 
Envió y publicación de Articulo Científico
Envió y publicación de Articulo CientíficoEnvió y publicación de Articulo Científico
Envió y publicación de Articulo Científico
 
Version liviana de teorias
Version liviana de teoriasVersion liviana de teorias
Version liviana de teorias
 
Cómo publicar en una revista científica: Buenas prácticas para bibliotecarios...
Cómo publicar en una revista científica: Buenas prácticas para bibliotecarios...Cómo publicar en una revista científica: Buenas prácticas para bibliotecarios...
Cómo publicar en una revista científica: Buenas prácticas para bibliotecarios...
 
Marco teórico.pdf
Marco teórico.pdfMarco teórico.pdf
Marco teórico.pdf
 
Metodología para revisión crítica de artículos de investigación (innovar, 2007)
Metodología para revisión crítica de artículos de investigación (innovar, 2007)Metodología para revisión crítica de artículos de investigación (innovar, 2007)
Metodología para revisión crítica de artículos de investigación (innovar, 2007)
 
Proceso editorial-Aguirre
Proceso editorial-AguirreProceso editorial-Aguirre
Proceso editorial-Aguirre
 
II Seminario: Orientación a la Acreditación. Taller de preparación de solicit...
II Seminario: Orientación a la Acreditación. Taller de preparación de solicit...II Seminario: Orientación a la Acreditación. Taller de preparación de solicit...
II Seminario: Orientación a la Acreditación. Taller de preparación de solicit...
 
Foro taller 8
Foro taller 8Foro taller 8
Foro taller 8
 
Seminario 6
Seminario 6Seminario 6
Seminario 6
 

Más de camiblancoa

Hipotesis seminario de investigacion pedagogica linea pedagogia universitar...
Hipotesis seminario de investigacion pedagogica   linea pedagogia universitar...Hipotesis seminario de investigacion pedagogica   linea pedagogia universitar...
Hipotesis seminario de investigacion pedagogica linea pedagogia universitar...
camiblancoa
 
Referente teorico 1 abril 1 2014 fci
Referente teorico 1 abril 1 2014 fciReferente teorico 1 abril 1 2014 fci
Referente teorico 1 abril 1 2014 fci
camiblancoa
 
Referente teorico abril 1 2014 fci
Referente teorico abril 1 2014 fciReferente teorico abril 1 2014 fci
Referente teorico abril 1 2014 fci
camiblancoa
 
Primeras redes de analisis con cuatro familias. tesis uniminuto abril 1 2014 fci
Primeras redes de analisis con cuatro familias. tesis uniminuto abril 1 2014 fciPrimeras redes de analisis con cuatro familias. tesis uniminuto abril 1 2014 fci
Primeras redes de analisis con cuatro familias. tesis uniminuto abril 1 2014 fci
camiblancoa
 
Diseño metodologico trabajo aced el mejor docente abril 1 2014 fci
Diseño metodologico trabajo aced el mejor docente abril 1 2014 fciDiseño metodologico trabajo aced el mejor docente abril 1 2014 fci
Diseño metodologico trabajo aced el mejor docente abril 1 2014 fci
camiblancoa
 
Diseño metodologico tesis competencias abril 1 2014 fci
Diseño metodologico tesis competencias abril 1 2014 fciDiseño metodologico tesis competencias abril 1 2014 fci
Diseño metodologico tesis competencias abril 1 2014 fci
camiblancoa
 
Descripcion realidad abril 1 2014 fci
Descripcion   realidad abril 1 2014 fciDescripcion   realidad abril 1 2014 fci
Descripcion realidad abril 1 2014 fci
camiblancoa
 
Categorizacion abril 1 2014 fci
Categorizacion abril 1 2014 fciCategorizacion abril 1 2014 fci
Categorizacion abril 1 2014 fci
camiblancoa
 
Analisis e interpretacion abril 1 2014 fci
Analisis e interpretacion abril 1 2014 fciAnalisis e interpretacion abril 1 2014 fci
Analisis e interpretacion abril 1 2014 fci
camiblancoa
 
Representaciones graficas del conocimiento
Representaciones graficas del conocimientoRepresentaciones graficas del conocimiento
Representaciones graficas del conocimientocamiblancoa
 
Portafolio de servicios 2012
Portafolio de servicios 2012Portafolio de servicios 2012
Portafolio de servicios 2012
camiblancoa
 
Portafolio de servicios uniendoscopia
Portafolio de servicios uniendoscopiaPortafolio de servicios uniendoscopia
Portafolio de servicios uniendoscopia
camiblancoa
 
Portafolio de servicios uniendoscopia
Portafolio de servicios uniendoscopiaPortafolio de servicios uniendoscopia
Portafolio de servicios uniendoscopia
camiblancoa
 
Education introduction
Education  introductionEducation  introduction
Education introduction
camiblancoa
 
Cursillo normas apa
Cursillo normas apaCursillo normas apa
Cursillo normas apa
camiblancoa
 
Cursillo normas apa
Cursillo normas apaCursillo normas apa
Cursillo normas apa
camiblancoa
 
Explicitar las palabras mperez
Explicitar las palabras mperezExplicitar las palabras mperez
Explicitar las palabras mperez
camiblancoa
 
Publindex colciencias indexacion
Publindex colciencias indexacionPublindex colciencias indexacion
Publindex colciencias indexacion
camiblancoa
 
Reseña descriptiva goria bernal- guia de escritura
Reseña descriptiva goria bernal- guia de escrituraReseña descriptiva goria bernal- guia de escritura
Reseña descriptiva goria bernal- guia de escritura
camiblancoa
 
Reseña taller articulo mauricio perez . pensar la escritura
Reseña taller    articulo mauricio perez . pensar la escrituraReseña taller    articulo mauricio perez . pensar la escritura
Reseña taller articulo mauricio perez . pensar la escritura
camiblancoa
 

Más de camiblancoa (20)

Hipotesis seminario de investigacion pedagogica linea pedagogia universitar...
Hipotesis seminario de investigacion pedagogica   linea pedagogia universitar...Hipotesis seminario de investigacion pedagogica   linea pedagogia universitar...
Hipotesis seminario de investigacion pedagogica linea pedagogia universitar...
 
Referente teorico 1 abril 1 2014 fci
Referente teorico 1 abril 1 2014 fciReferente teorico 1 abril 1 2014 fci
Referente teorico 1 abril 1 2014 fci
 
Referente teorico abril 1 2014 fci
Referente teorico abril 1 2014 fciReferente teorico abril 1 2014 fci
Referente teorico abril 1 2014 fci
 
Primeras redes de analisis con cuatro familias. tesis uniminuto abril 1 2014 fci
Primeras redes de analisis con cuatro familias. tesis uniminuto abril 1 2014 fciPrimeras redes de analisis con cuatro familias. tesis uniminuto abril 1 2014 fci
Primeras redes de analisis con cuatro familias. tesis uniminuto abril 1 2014 fci
 
Diseño metodologico trabajo aced el mejor docente abril 1 2014 fci
Diseño metodologico trabajo aced el mejor docente abril 1 2014 fciDiseño metodologico trabajo aced el mejor docente abril 1 2014 fci
Diseño metodologico trabajo aced el mejor docente abril 1 2014 fci
 
Diseño metodologico tesis competencias abril 1 2014 fci
Diseño metodologico tesis competencias abril 1 2014 fciDiseño metodologico tesis competencias abril 1 2014 fci
Diseño metodologico tesis competencias abril 1 2014 fci
 
Descripcion realidad abril 1 2014 fci
Descripcion   realidad abril 1 2014 fciDescripcion   realidad abril 1 2014 fci
Descripcion realidad abril 1 2014 fci
 
Categorizacion abril 1 2014 fci
Categorizacion abril 1 2014 fciCategorizacion abril 1 2014 fci
Categorizacion abril 1 2014 fci
 
Analisis e interpretacion abril 1 2014 fci
Analisis e interpretacion abril 1 2014 fciAnalisis e interpretacion abril 1 2014 fci
Analisis e interpretacion abril 1 2014 fci
 
Representaciones graficas del conocimiento
Representaciones graficas del conocimientoRepresentaciones graficas del conocimiento
Representaciones graficas del conocimiento
 
Portafolio de servicios 2012
Portafolio de servicios 2012Portafolio de servicios 2012
Portafolio de servicios 2012
 
Portafolio de servicios uniendoscopia
Portafolio de servicios uniendoscopiaPortafolio de servicios uniendoscopia
Portafolio de servicios uniendoscopia
 
Portafolio de servicios uniendoscopia
Portafolio de servicios uniendoscopiaPortafolio de servicios uniendoscopia
Portafolio de servicios uniendoscopia
 
Education introduction
Education  introductionEducation  introduction
Education introduction
 
Cursillo normas apa
Cursillo normas apaCursillo normas apa
Cursillo normas apa
 
Cursillo normas apa
Cursillo normas apaCursillo normas apa
Cursillo normas apa
 
Explicitar las palabras mperez
Explicitar las palabras mperezExplicitar las palabras mperez
Explicitar las palabras mperez
 
Publindex colciencias indexacion
Publindex colciencias indexacionPublindex colciencias indexacion
Publindex colciencias indexacion
 
Reseña descriptiva goria bernal- guia de escritura
Reseña descriptiva goria bernal- guia de escrituraReseña descriptiva goria bernal- guia de escritura
Reseña descriptiva goria bernal- guia de escritura
 
Reseña taller articulo mauricio perez . pensar la escritura
Reseña taller    articulo mauricio perez . pensar la escrituraReseña taller    articulo mauricio perez . pensar la escritura
Reseña taller articulo mauricio perez . pensar la escritura
 

Último

REVISTA TECNOLOGICA PARA EL DESARROLLO HUMANO
REVISTA TECNOLOGICA PARA EL DESARROLLO HUMANOREVISTA TECNOLOGICA PARA EL DESARROLLO HUMANO
REVISTA TECNOLOGICA PARA EL DESARROLLO HUMANO
gisellearanguren1
 
UML_clase_02_UML_casos_de_uso_05 EN DIAGRAMA
UML_clase_02_UML_casos_de_uso_05 EN DIAGRAMAUML_clase_02_UML_casos_de_uso_05 EN DIAGRAMA
UML_clase_02_UML_casos_de_uso_05 EN DIAGRAMA
martinezluis17
 
La Inteligencia Artificial en la actualidad.docx
La Inteligencia Artificial en la actualidad.docxLa Inteligencia Artificial en la actualidad.docx
La Inteligencia Artificial en la actualidad.docx
luiscohailatenazoa0
 
MONOGRAFIA memoria RAM.docx trabajo DE TECNOLOGIA
MONOGRAFIA memoria RAM.docx trabajo DE TECNOLOGIAMONOGRAFIA memoria RAM.docx trabajo DE TECNOLOGIA
MONOGRAFIA memoria RAM.docx trabajo DE TECNOLOGIA
leia ereni
 
Catalogo general tarifas 2024 Vaillant. Amado Salvador Distribuidor Oficial e...
Catalogo general tarifas 2024 Vaillant. Amado Salvador Distribuidor Oficial e...Catalogo general tarifas 2024 Vaillant. Amado Salvador Distribuidor Oficial e...
Catalogo general tarifas 2024 Vaillant. Amado Salvador Distribuidor Oficial e...
AMADO SALVADOR
 
Nuevos tiempos, nuevos espacios.docxdsdsad
Nuevos tiempos, nuevos espacios.docxdsdsadNuevos tiempos, nuevos espacios.docxdsdsad
Nuevos tiempos, nuevos espacios.docxdsdsad
larapalaciosmonzon28
 
edublogs info.docx asdasfasfsawqrdqwfqwfqwfq
edublogs info.docx asdasfasfsawqrdqwfqwfqwfqedublogs info.docx asdasfasfsawqrdqwfqwfqwfq
edublogs info.docx asdasfasfsawqrdqwfqwfqwfq
larapalaciosmonzon28
 
Presentación Seguridad Digital Profesional Azul Oscuro (1).pdf
Presentación Seguridad Digital Profesional Azul Oscuro (1).pdfPresentación Seguridad Digital Profesional Azul Oscuro (1).pdf
Presentación Seguridad Digital Profesional Azul Oscuro (1).pdf
giampierdiaz5
 
Presentación de Tic en educación y sobre blogger
Presentación de Tic en educación y sobre bloggerPresentación de Tic en educación y sobre blogger
Presentación de Tic en educación y sobre blogger
larapalaciosmonzon28
 
Slideshare: definiciòn, registrarse, presentaciones, ventajas y desventajas
Slideshare: definiciòn, registrarse, presentaciones, ventajas y desventajasSlideshare: definiciòn, registrarse, presentaciones, ventajas y desventajas
Slideshare: definiciòn, registrarse, presentaciones, ventajas y desventajas
AdrianaRengifo14
 
TIC en educacion.rtf.docxlolololololololo
TIC en educacion.rtf.docxlolololololololoTIC en educacion.rtf.docxlolololololololo
TIC en educacion.rtf.docxlolololololololo
KukiiSanchez
 
CURSO CAMARAS DE SEGURIDAD 2023 FINAL .pdf
CURSO CAMARAS DE SEGURIDAD 2023 FINAL .pdfCURSO CAMARAS DE SEGURIDAD 2023 FINAL .pdf
CURSO CAMARAS DE SEGURIDAD 2023 FINAL .pdf
LagsSolucSoporteTecn
 
El uso de las TIC en la vida cotidiana.pptx
El uso de las TIC en la vida cotidiana.pptxEl uso de las TIC en la vida cotidiana.pptx
El uso de las TIC en la vida cotidiana.pptx
jgvanessa23
 
Second Life, informe de actividad del maestro Tapia
Second Life, informe de actividad del maestro TapiaSecond Life, informe de actividad del maestro Tapia
Second Life, informe de actividad del maestro Tapia
al050121024
 
El uso de las TIC por Cecilia Pozos S..pptx
El uso de las TIC  por Cecilia Pozos S..pptxEl uso de las TIC  por Cecilia Pozos S..pptx
El uso de las TIC por Cecilia Pozos S..pptx
cecypozos703
 
Inteligencia Artificial
Inteligencia ArtificialInteligencia Artificial
Inteligencia Artificial
YashiraPaye
 
LA GLOBALIZACIÓN RELACIONADA CON EL USO DE HERRAMIENTAS.pptx
LA GLOBALIZACIÓN RELACIONADA CON EL USO DE HERRAMIENTAS.pptxLA GLOBALIZACIÓN RELACIONADA CON EL USO DE HERRAMIENTAS.pptx
LA GLOBALIZACIÓN RELACIONADA CON EL USO DE HERRAMIENTAS.pptx
pauca1501alvar
 
El uso de las TIC's en la vida cotidiana
El uso de las TIC's en la vida cotidianaEl uso de las TIC's en la vida cotidiana
El uso de las TIC's en la vida cotidiana
231458066
 
Flows: Mejores Prácticas y Nuevos Features
Flows: Mejores Prácticas y Nuevos FeaturesFlows: Mejores Prácticas y Nuevos Features
Flows: Mejores Prácticas y Nuevos Features
Paola De la Torre
 
Todo sobre la tarjeta de video (Bienvenidos a mi blog personal)
Todo sobre la tarjeta de video (Bienvenidos a mi blog personal)Todo sobre la tarjeta de video (Bienvenidos a mi blog personal)
Todo sobre la tarjeta de video (Bienvenidos a mi blog personal)
AbrahamCastillo42
 

Último (20)

REVISTA TECNOLOGICA PARA EL DESARROLLO HUMANO
REVISTA TECNOLOGICA PARA EL DESARROLLO HUMANOREVISTA TECNOLOGICA PARA EL DESARROLLO HUMANO
REVISTA TECNOLOGICA PARA EL DESARROLLO HUMANO
 
UML_clase_02_UML_casos_de_uso_05 EN DIAGRAMA
UML_clase_02_UML_casos_de_uso_05 EN DIAGRAMAUML_clase_02_UML_casos_de_uso_05 EN DIAGRAMA
UML_clase_02_UML_casos_de_uso_05 EN DIAGRAMA
 
La Inteligencia Artificial en la actualidad.docx
La Inteligencia Artificial en la actualidad.docxLa Inteligencia Artificial en la actualidad.docx
La Inteligencia Artificial en la actualidad.docx
 
MONOGRAFIA memoria RAM.docx trabajo DE TECNOLOGIA
MONOGRAFIA memoria RAM.docx trabajo DE TECNOLOGIAMONOGRAFIA memoria RAM.docx trabajo DE TECNOLOGIA
MONOGRAFIA memoria RAM.docx trabajo DE TECNOLOGIA
 
Catalogo general tarifas 2024 Vaillant. Amado Salvador Distribuidor Oficial e...
Catalogo general tarifas 2024 Vaillant. Amado Salvador Distribuidor Oficial e...Catalogo general tarifas 2024 Vaillant. Amado Salvador Distribuidor Oficial e...
Catalogo general tarifas 2024 Vaillant. Amado Salvador Distribuidor Oficial e...
 
Nuevos tiempos, nuevos espacios.docxdsdsad
Nuevos tiempos, nuevos espacios.docxdsdsadNuevos tiempos, nuevos espacios.docxdsdsad
Nuevos tiempos, nuevos espacios.docxdsdsad
 
edublogs info.docx asdasfasfsawqrdqwfqwfqwfq
edublogs info.docx asdasfasfsawqrdqwfqwfqwfqedublogs info.docx asdasfasfsawqrdqwfqwfqwfq
edublogs info.docx asdasfasfsawqrdqwfqwfqwfq
 
Presentación Seguridad Digital Profesional Azul Oscuro (1).pdf
Presentación Seguridad Digital Profesional Azul Oscuro (1).pdfPresentación Seguridad Digital Profesional Azul Oscuro (1).pdf
Presentación Seguridad Digital Profesional Azul Oscuro (1).pdf
 
Presentación de Tic en educación y sobre blogger
Presentación de Tic en educación y sobre bloggerPresentación de Tic en educación y sobre blogger
Presentación de Tic en educación y sobre blogger
 
Slideshare: definiciòn, registrarse, presentaciones, ventajas y desventajas
Slideshare: definiciòn, registrarse, presentaciones, ventajas y desventajasSlideshare: definiciòn, registrarse, presentaciones, ventajas y desventajas
Slideshare: definiciòn, registrarse, presentaciones, ventajas y desventajas
 
TIC en educacion.rtf.docxlolololololololo
TIC en educacion.rtf.docxlolololololololoTIC en educacion.rtf.docxlolololololololo
TIC en educacion.rtf.docxlolololololololo
 
CURSO CAMARAS DE SEGURIDAD 2023 FINAL .pdf
CURSO CAMARAS DE SEGURIDAD 2023 FINAL .pdfCURSO CAMARAS DE SEGURIDAD 2023 FINAL .pdf
CURSO CAMARAS DE SEGURIDAD 2023 FINAL .pdf
 
El uso de las TIC en la vida cotidiana.pptx
El uso de las TIC en la vida cotidiana.pptxEl uso de las TIC en la vida cotidiana.pptx
El uso de las TIC en la vida cotidiana.pptx
 
Second Life, informe de actividad del maestro Tapia
Second Life, informe de actividad del maestro TapiaSecond Life, informe de actividad del maestro Tapia
Second Life, informe de actividad del maestro Tapia
 
El uso de las TIC por Cecilia Pozos S..pptx
El uso de las TIC  por Cecilia Pozos S..pptxEl uso de las TIC  por Cecilia Pozos S..pptx
El uso de las TIC por Cecilia Pozos S..pptx
 
Inteligencia Artificial
Inteligencia ArtificialInteligencia Artificial
Inteligencia Artificial
 
LA GLOBALIZACIÓN RELACIONADA CON EL USO DE HERRAMIENTAS.pptx
LA GLOBALIZACIÓN RELACIONADA CON EL USO DE HERRAMIENTAS.pptxLA GLOBALIZACIÓN RELACIONADA CON EL USO DE HERRAMIENTAS.pptx
LA GLOBALIZACIÓN RELACIONADA CON EL USO DE HERRAMIENTAS.pptx
 
El uso de las TIC's en la vida cotidiana
El uso de las TIC's en la vida cotidianaEl uso de las TIC's en la vida cotidiana
El uso de las TIC's en la vida cotidiana
 
Flows: Mejores Prácticas y Nuevos Features
Flows: Mejores Prácticas y Nuevos FeaturesFlows: Mejores Prácticas y Nuevos Features
Flows: Mejores Prácticas y Nuevos Features
 
Todo sobre la tarjeta de video (Bienvenidos a mi blog personal)
Todo sobre la tarjeta de video (Bienvenidos a mi blog personal)Todo sobre la tarjeta de video (Bienvenidos a mi blog personal)
Todo sobre la tarjeta de video (Bienvenidos a mi blog personal)
 

Emilio sanchez caracteristicas de articulos no publicados

  • 1. Escribir es re-escribir. Un análisis de contenidos de los informes realizados a los artículos no publicados en Infancia y Aprendizaje EMILIO SÁNCHEZ*, JESÚS NICASIO GARCÍA** Y PABLO DEL RÍO* *Universidad de Salamanca;**Universidad de León Resumen En este artículo nos hemos propuesto analizar las razones que motivan la no aceptación de los artículos enviados a la revista y, al mismo tiempo, la labor que, al respecto, llevan a cabo los revisores. Para ello hemos creado un sistema de análisis capaz de desentrañar todos los contenidos de los informes de evaluación que aluden a cuatro tareas diferentesque hemos identificadoen la labor de los revisores: evaluar, apoyar, sugerir y clarificar. Con ese sistema se han analizado 50 informes de evaluación que corresponden a los 25 primeros artículos que fueron no aceptados para publicación en el presente periodo de la revista. Respecto del análisis de las objeciones, presentamos las frecuenciasde 95 objeciones diferentes organizadas en 24 categorías y en 6 apartados. Y respecto del análisis de la labor de los revisores, se presenta un análisis de los recursos retóricos empleados, los diferentes estilos que hemos identificado y un análisis de las tareas no evaluativas que también están presentes en los informes. Entendemos que este análisis puede propiciar una doble toma de conciencia que motive una reflexión en la comunidad académica sobre el proceso de evaluación en sí y sobre el modo de acometerlo. Palabras clave: Artículos no aceptados, tareas, recursos retóricos y estilos de los revisores. Writing as rewriting: A content analysis of peer reviews of non-accepted papers submitted to Infancia y Aprendizaje Abstract The paper analyses the reasons that motivate the non-acceptance of articles sent to the journal and, in this respect, also the work carried out by referees. To do so, we have designed a system of analysis capable of explaining the content of peer reviews. We have thus identified four different tasks in the work of referees: To assess, support, suggest, and clarify. 50 reports have been analysed using this system, corresponding to the first 25 papers rejected for publication in the journal’s current period. First, we analysed the reasons for not accepting articles: the frequencies of 95 different objections, organised into 24 categories, and grouped under 6 headings are provided. Second, we analyse the rhetoric resources employed by referees, and describe the different styles identified. Finally, we analyse non evaluative tasks also present in peer reviews. We feel that this analysis could favour a double awareness in the academic community, promoting a reflection on: 1) the assessment process itself, and 2) the way it is undertaken. Keywords: Non-accepted papers, referees’ tasks, rhetoric resources, referees’ evaluation style. Agradecimientos: Agradecemos los comentarios críticos y sugerencias diversas que nos ofrecieron los tres revisores de este artículo y también los efectuados por nuestros colegas Javier Rosales, Ricardo García y Gerardo Prieto. Correspondencia con los autores: Emilio Sánchez. Facultad de Psicología. Departamento de Psicología Evolutiva y de la Educación. Avda. de la Merced, 109-131; 37005-Salamanca. e-mail: esanchez@gugu.usal.es. Jesús Nicasio García. Facultad de Educación. Departamento de Filosofía y Ciencias de la Educación. Campus de Vegazana, s/n. 24071-León. e-mail: dfcjgs@unileon.es. Pablo del Río. Facultad de Ciencias Sociales. Departamento de Comunicación Audiovisual. Campus Unamuno, s/n. 37071-Salamanca. e-mail: prio@gugu.usal.es Original Recibido: Septiembre, 2001. Aceptado: Noviembre, 2001. © 2002 by Fundación Infancia y Aprendizaje,ISSN: 0210-3702 Infancia y Aprendizaje, 2002, 25 (1), 5-35
  • 2. 6 A lo largo de los últimos años venimos apreciando un notable incremento de originales que llegan a la revista (superan los sesenta cada año) que, como ocurre en todas las revistas con criterios de calidad homologados, son sometidos a un exigente proceso de revisión a cargo de dos expertos seleccionados por uno de los editores asociados de la revista. El hecho que motiva estas páginas es que una buena parte de esos trabajos no son aceptados para publicación (véanse las cifras que se ofrecen en la editorial de este mismo número), y el resto sufre en el trans- curso del proceso una considerable transformación. De hecho ni uno sólo —en el período que hemos analizado— ha llegado a publicarse sin introducir algún tipo de cambio en la versión inicial. De ahí que, como reza el título de este trabajo, escribir sea en realidad un proceso de revisión, crítica, optimización y mejora progresivas; un proceso, en suma, de reescritura. El sentido de este artículo es hacer público lo que suele quedar en la trastien- da de este complejo proceso. Esto es, tanto las razones que motivan la no acepta- ción como el tipo de labor que llevan a cabo los revisores. La toma de conciencia sobre esa doble actividad —de autoría y de revisión— que aquí intentamos pro- piciar puede ser a nuestro modo de ver positiva, aunque conlleva, también, algu- nos riesgos. Por lo que a los beneficios se refiere, merece la pena reseñar, en primer lugar, el más obvio de todos: el que se deriva de ofrecer de forma ordenada las razones que motivan la no aceptación o el cuestionamiento de los trabajos. Es bien cierto que contamos con el precedente de las normas APA (1994) y de las normas espe- cíficas que la propia revista ofrece a los autores. No obstante, y sin negar el valor de esas fuentes, cabe la posibilidad de que resulten poco operativas para los auto- res, especialmente en el caso de aquéllos que cuenten con poca experiencia, pues tales normas pueden ofrecer a los interesados un “ideal” demasiado abstracto y lejano. Abstracto, en el sentido de que constituyen recomendaciones (especialmente las que ofrece la revista) que quizás no proporcionen claves suficientemente poderosas y precisas para los procesos de elaboración y revisión de los trabajos. Lejano, en el sentido de que pueden reclamar competencias excesivas para las posibilidades inmediatas de algunos autores o autores noveles. En ese sentido, el proceso de evaluación puede y, a nuestro juicio, debe, tener un valor formativo, que ayude a extender a toda la comunidad académica criterios de calidad cada vez más elevados. En segundo lugar, creemos que el análisis de la actividad de los revisores nos permitirá ofrecer una descripción que motive una toma de conciencia colectiva en la que cada cual pueda objetivar sus preferencias y, al hacerlo, explorar la posibili- dad de enriquecer su modo de obrar. ¿Qué tareas se acometen en la revisión? ¿Qué marcos de referencia se emplean? ¿Cuáles son los estilos más comunes de revi- sión? ¿Qué recursos específicos pueden facilitar la comunicación con los autores? Estas son algunas de las preguntas que intentaremos contestar en lo que sigue. En tercer lugar, podríamos ayudar a extender una convicción muy importan- te: que necesitamos evaluación externa y que la necesitamos todos. Ahora bien, y aun cuando escribir es, como ya se ha comentado, reescribir (un proceso recursivo y progresivo de mejora —Elbow, 1988; 2000; Kellogg, 1994; Sorenson, 1997— , de toma de conciencia y de re-pensamiento —Wong, 1999; Wray, 1998—) no hay razón para que esa labor, de por sí exigente, sea más incómoda de lo necesario. En una palabra, el rigor con el que hay que emprender el proceso de evaluación no está reñido con el reconocimiento del otro (del autor), y de esa dualidad de funciones (control y reconocimiento) habremos también de hablar en estas páginas.
  • 3. 7 Debemos, finalmente, resaltar que somos conscientes de alguno de los riesgos del trabajo que aquí presentamos. El más notorio es que el hecho de describir un comportamiento (el de los autores y revisores en este caso) suele interpretarse como una prescripción del mismo. Intentaremos, para evitarlo, emprender dos acciones diferentes. Por un lado, reiterar a lo largo de sus páginas que ésta no es nuestra intención (aunque seguramente el riesgo no podrá ser conjurado por esas insistentes advertencias). Por otro, indicar con claridad cuando, a la luz de los datos recogidos, cabe ofrecer una sugerencia concreta; algo que haremos en contadas ocasiones. Quisiéramos, en todo caso, subrayar que las descripciones que nos proponemos realizar deben tomarse como espejos desde los que reflexionar, y no como un conjunto de normas que hubiera que adoptar (salvo en los casos en los que nos pronuncia- mos expresamente a favor de alguna medida concreta y que son recogidos en el decálogo que ofrecemos en la discusión). Un segundo riesgo del que somos igualmente conscientes es que los autores interpreten de un modo muy lineal y tajante las razones de la no aceptación que iremos identifican - do. Sobrará advertir que la no aceptación se produce por una acumulación de objecion es (¡la media por revisión es de casi 16!), pero es que, además, muchas de ellas, tomadas en sí mismas, podrían no serlo si no tuviéramos en cuenta el resto del trabajo. Dado que esta información complementaria sobre cada uno de los trabajos no puede trasladarse a estas páginas, hemos de aceptar que muy probablemente se malinterpreten algunas de las evidencias reunidas, al menos si se toman una por una. Confiamos, no obstante, en que estos riesgos se vean compensados por los beneficios a los que también hemos aludido. En definitiva, en lo que sigue ofreceremos dos análisis diferentes. El primero, centrado en los motivos que conducen a la no aceptación de los artículos; el segundo, respecto del modo empleado por los revisores para llevar a cabo la tarea de evaluación encomendada. En los dos ámbitos, intentaremos ofrecer ejemplos ilustrativos de las cuestiones más relevantes. Antes, dedicaremos un apartado a clarificar la metodología que se ha utilizado. METODOLOGÍA Para alcanzar estos objetivos, hemos empleado el Análisis de Contenidos (AC), un método procedente de campos tan lejanos como la arqueología (Gar- din, 1980) y la comunicación de masas (Bardin, 1977; Wimmer y Dominick, 1994). El AC permite levantar un inventario de repertorios culturales y comuni- cativos, estableciendo, en primer lugar, taxonomías y tipicidades, desde las que proceder a la identificación de concurrencias, covariaciones y pautas estructurales con las que categorizar los fenómenos, calcular factores, e inferir procesos y siste- mas de causalidad. El AC combina habitualmente los acercamientos etic (categorías del investi- gador) y emic (categorías presentes en el corpus cultural). Es más frecuente basar- se en las primeras en la tradición sociológica de los análisis (Krippendorf, 1990; López-Aranguren, 1994) y más en las segundas en las tradiciones etnográficas y semiológicas. Aquí adoptamos una perspectiva integradora (del Río, 1996), rea- lizando primero un pre-análisis emic, (de abajo a arriba, guiado por el corpus cultural) y también en la etapa del pre-análisis una construcción teórica de cate- gorías etic. La combinación de ambas se aplica sobre el corpus completo de casos en el análisis propiamente dicho.
  • 4. 8 Muestra de informes de revisión de artículos Para poder identificar las regularidades que presentan tanto el modo de traba- jar de los revisores como las objeciones por ellos formuladas, hemos tomado como base los primeros 25 informes negativos efectuados durante este periodo, lo que supone, dado que cada artículo es evaluado por dos revisores anónimos, el análisis de 50 revisiones diferentes. Un número, a nuestro modo de ver, acepta- ble y, en todo caso, sumamente representativo del periodo actual. De manera más concreta, hemos analizado toda la documentación relativa a los trabajos que han sido considerados como no publicables, lo que incluye dos categorías: los trabajos no aceptados para publicación en su versión actual y los que son rechazados sin dar la posibilidad de una nueva versión. Los revisores son 50 expertos en los temas respectivos, y son autores de publi- caciones, por lo que poseen la experiencia de la autoría, aunque su grado de expe- riencia en tareas de evaluación de artículos es variable. Procedimiento del análisis de contenido y categorías El análisis se ha realizado en dos fases que corresponden a los dos objetivos del artículo. En la primera examinamos las causas que justifican la no aceptación. Y en la segunda, los contenidos de los informes que nos permiten analizar la labor de los revisores. Codificación de las causas de “no aceptación” (tarea evaluadora) Etapa 1. Pre-análisis 1. En primer lugar, se realizó un pre-análisis para establecer las categorías del análisis propiamente dicho, para ello se descompuso una parte de los casos (8 de las 50 revisiones) en proposiciones; la mayor parte de ellas (véase más adelante) expresaban, como cabía esperar, objeciones al trabajo. El resto de los contenidos, esto es, los que no contienen objeciones, fueron igualmente analizados pero han servido, como hemos venido insistiendo, para el segundo de nuestros objetivos: caracterizar el trabajo de los revisores (véase su tratamiento en el apartado reservado al respecto). 2. En segundo lugar, se agruparon aquellas proposiciones-objeciones que tenían un significado equivalente, creando para cada agrupación de proposiciones-obje- ciones una formulación más inclusiva a la que denominamos indicadores. Esos indicadores se crearon por consenso entre los tres autores. Etapa 2. Análisis 3. En tercer lugar, y una vez establecidos esos indicadores, se analizaron los demás informes de evaluación. En los casos en los que aparecían objeciones que no encajaban en los indicadores primitivos, se añadían literalmente al sistema. Estas “nuevas” proposiciones-objeciones fueron ulteriormente reconvertidas en indicadores siguiendo lo establecido en el punto anterior, esto es, por consenso. El número total de indicadores encontrados ha sido de 95 (cfr., Figura 1). 4. Los indicadores se agruparon en apartados que responden a la lógica de ela- boración de los trabajos: introducción, metodología, resultados, y conclusiones. A estos cuatro apartados se añadieron otros dos. Uno en el que agrupamos todos
  • 5. 9 los indicadores que cuestionan globalmente el trabajo y otro reservado a cuestio- nes formales. 5. Finalmente, se procedió a identificar dentro de cada apartado ciertas regularidades entre sus numerosos indicadores. De esta manera, se agrupa- ron los indicadores en un limitado y manejable número de categorías que res- pondían a algún criterio racional y trataban de hallar grandes líneas estruc- turales de los procesos de autoría y revisión (cfr., Figura 1). Así, en el primer apartado que afecta a la visión general de los artículos se construyeron cuatro categorías que tienen que ver con el formato, la relevancia, la legibilidad y la consistencia. En el segundo apartado, de la introducción, diferenciamos cuatro categorías: problemas en la precisión de los objetivos, en la claridad teórica, en la documentación y en la coherencia. En el tercer apartado, metodología se estable- cieron seis categorías, identificadas como problemas con la muestra, las hipó- tesis, las variables, el diseño, los instrumentos/programas y el procedimiento. En el cuarto apartado, dedicado al análisis y resultados, se agruparon los indicadores en dos categorías: visibilidad de los datos y tratamiento estadístico. El quinto apartado es el de discusión y conclusiones, e incluye cinco categorías que agru- pan a los indicadores, relativas a problemas en la coherencia (en la discusión), por inferencias injustificadas, por incompletud (no completo), en la profundidad o en las consecuencias. Y por último, los problemas en los aspectos formales se clasifican en tres categorías, en que los indicadores se agrupan en citas y referencias, en títulos y anexos y en redundancia y valoraciones. En las tablas I a VI respectivas por apartados se incluyen los 95 indicadores precisos de las causas de no aceptación de artículos, agrupados en las categorías respectivas. Es importante subrayar que al analizar un informe de evaluación con este sis- tema lo que se computa es la presencia o ausencia de cada indicador. Por tanto, si una objeción se expresa reiteradamente, sólo se contabiliza una vez. Obviamente, una vez sabido cuáles son los indicadores mencionados en cada revisor, es posible establecer el número de menciones que recibe cada categoría o cada apartado. Ofrecemos a continuación un ejemplo del procedimiento seguido. En primer lugar, presentamos el listado de las proposiciones de una de las revisiones que en este caso es el siguiente. Listado de proposiciones que revelan objeciones: P1: No sigue la estructurade ninguno de los tipos de artículos que admite la revista. P2: El artículo carece de indicacionesde su organización. P3: La revisión no sigue las pautas habituales (distinguir entre distintos modelos o perspecti- vas, compararlasentre sí, defenderalguna de ellas). P4: La revisión de los conceptos centrales es superficial (no se adentra en los modelos y única- mente se citan su existencia). p5: No se documenta con referenciaslas afirmacionessobre autorese ideas. P6: No hay conexión entre la revisión y las propuestasque se desarrollan. p7: Se afirma haber realizado (una síntesis entre distintas alternativas), sin haberlas realmente efectuado. p8: No se clarifica cuál es el procedimientoseguido (se mencionan los principios pero estos no se desarrollan). P9: No se clarifica cómo se llevó a cabo el procedimiento(por ejemplo, el papel de cada uno de los participantesni cómo los participantesadquirieronlas competenciasnecesariaspara serlo). p10: Referenciasbibliográficas. desajustesreferenciasy citas no se siguen las normas para las referencias. Es fácil apreciar, en primer lugar, que algunas de estas objeciones-propo- siciones aparecen reiteradamente y se repiten, a veces, con otras palabras en la misma revisión (por ejemplo p8 y p9) o en otras revisiones. Esta fue la razón para agrupar las distintas objeciones en expresiones más abstractas que
  • 6. 10 las originales, los denominados indicadores. Así, la proposición p8 y p9 pue- den reflejar un mismo significado que es recogido en una formulación más inclusiva, en este caso: “Procedimiento: falta información precisa”; de la misma manera, p1 da lugar al indicador “Género impreciso”, que puede ser- virnos para computar cualquier objeción que aluda a que un determinado artículo no se ajusta a los tipos de artículos aceptables para la revista. Estos indicadores figurarán en las distintas tablas (cfr., Tablas I a VI) que acompa- ñan el análisis de las objeciones de cada uno de los apartados y constituyen las categorías terminales del sistema y la base de todos los cómputos que serán realizados. Además, es evidente que los indicadores se relacionan con distintos apartados. Algunos tienen que ver con la introducción, por ejemplo, p4 y p5; otros, afectan a la metodología (p8 y p9) y otros, por poner un último ejemplo, a las cuestiones formales (p10). Y hay, además, objeciones que tienen un carácter global, en el sen- tido de que cuestionan el trabajo como un todo, es el caso de los indicadores que se derivan de p6 o p1. Finalmente, esos indicadores de cada apartado se incluyen en alguna de las categorías del mismo. De esta manera, el sistema de análisis que se empleó para analizar las cincuen- ta revisiones de los 25 artículos (dos revisores por artículo) se sintetiza en la figu- ra 1 y se detalla en las tablas I a VI ya referidas. Tal y como puede verse en la figura 1 se han identificado seis apartados, 24 categorías y 95 indicadores posibles, con una aparición efectiva de 783 causas que señalan en total entre los 50 revisores. La coincidencia media entre cada par de revisores, en torno al artículo evaluado, es relativamente grande. Por ejemplo, la probabilidad de que los dos revisores coincidan en los seis apartados generales es del 81% (véase Anexo). De manera más con- creta, si un revisor hace una objeción correspondiente al apartado introduc- ción, hay una probabilidad de un 81% de que el otro revisor también lo haga en ese mismo apartado. Este grado de coincidencia disminuye, como cabe esperar, cuando se consideran las categorías de cada apartado. Así, en el caso de las correspondientes a la visión general se alcanza un 66%; en las cua- tro categorías de introducció n se observa un 58%; en las seis categorías de metodología , un 69%; las dos categorías de análisis y resultados , un 64%; las cinco categorías de discusión y conclusiones , un 57%; y por último, en las tres categorías de aspectos formales: el 83 %. Es importante subrayar que el sistema permite codificar todas las ideas conte- nidas en las 50 revisiones que expresan objeciones, y que tienen que ver con la tarea evaluadora. Es decir, permiten identificar las causas de no aceptación orga- nizadas en indicadores, las categorías que incluyen a los indicadores y los aparta- dos más generales en donde se incluyen las categorías. Codificación de los contenidos que no contienen objeciones Además de las objeciones, los informes contienen otras muchas ideas que también fueron analizadas por el mismo procedimiento que el resto de los conte- nidos y agrupadas, finalmente, en torno a cuatro aspectos. Por una parte, respec- to de los marcos que utilizan los revisores para hacer el análisis de los artículos. Por otra, el análisis de los recursos retóricos que utilizan los revisores en sus infor- mes. Además, analizamos la actitud de los revisores cuando emiten sus escritos. Y, por último, hemos hecho un estudio de las tareas adicionales a las de poner de relieve las limitaciones del trabajo.
  • 7. FIGURA 1 Tarea evaluadora de los 50 revisores (25 artículos): razones de “no aceptación de artículos” (cómputo de 783 indicadores agrupados en apartados y subapartados-categorías) Causas no aceptación (ip:95; air: 783; 100%) Visión Introducción Metodología Análisis y Discusión y Aspectos General (ip: 18; (ip: 22; resultados Conclusiones formales (ip: 17; air: 204; air: 180; (ip: 12; (ip: 19; (ip: 7; air: 144; 26%) 23%) air: 89; air: 146; air: 20; 18%) 11%) 19%) 2,5%) Formato C secu cias on en (ip: 6; (ip: 4; air: 51; air: 19; 6,5%) 2,5%) Consistencia Muestra Diseño Visibilidad Tratamiento C eren oh ciaen Redundancia (ip: 3; (ip: 5; (ip: 2; de los datos estadístico laD sión iscu y air: 30; air: 45; air: 17; (ip: 9; (ip: 3; (ip: 3; Valoraciones 4%) 6%) 2%) air: 61; air: 28; air: 28; (ip: 2; air: 7; 8%) 3,5%) 3,5%) 1%) 11 Profundidad Citas y (ip: 7; referencias air: 38; (ip: 3; 5%) air: 8; 1%) Relevancia Precisión en Documentación Inferencias (ip: 6; los Objetivos completa injustificadas air: 29 (ip: 4; (ip: 6; (ip: 3; 4%) air: 34; air: 62; air: 43; 4%) 8%) Instrumentos 5,5%) (ip: 4; air: 55; Claridad 7%) Legibilidad Teórica Hipótesis Completivo Título y anexos (ip: 3; (ip: 5; (ip: 5; (ip: 2; (ip: 2; air: 34; air: 67; air: 10; air: 18; air: 5; 4%) 8,5%) 1%) 2%) 0,5%) Coherencia Variables Procedimiento Esquema con los apartados y categorías de cada apartado. Tras la denominación de cada (ip: 3; (ip: 4; (ip: 2; air: 41; air: 30; air: 23; categoría, agrupadas en los seis apartados, se incluyen el número total de indicadores posi- 5%) 4%) 3%) bles (ip), las apariciones de indicadores efectivamente referidos por los evaluadores (air) y el porcentaje respecto del total aparecidos (redondeados) (%).
  • 8. 12 ANÁLISIS Y COMENTARIOS Con el propósito de no distanciar la presentación de los datos (que son volu- minosos) de los comentarios que suscitan, se ha procedido a la presentación con- junta, combinando en un único apartado lo que, en un artículo de investigación habitual, suele organizarse en dos: el dedicado a la presentación de los resultados y el correspondiente a la discusión. Dejaremos los comentarios más globales para las conclusiones. En todo caso, seguiremos el orden ya anunciado. Primero, procederemos en relación con las “razones de no aceptación de artículos” —relevantes especial- mente para los autores—, para después centrarnos en el análisis de los revisores. 1. Razones de la no aceptación de artículos: Diálogo con los autores Tal y como se muestra en la figura 1, las objeciones se reparten de forma rela- tivamente equitativa en los distintos apartados. En todo caso, destaca el número de objeciones que aluden a problemas en la introducción, que es el apartado que recibe más comentarios críticos (el 26% del total). También merece la pena subrayar el número total de objeciones realizadas, exactamente, 783, lo que supone una media de casi 16 objeciones semánticamente diferentes en cada revi- sión, con una amplitud que va desde 6 causas que un revisor apunta, hasta 31 causas de otros dos (cfr. Tabla IX). Una cifra que consideramos elevada y que indica que las revisiones tienden a ser concienzudas. Igualmente, da la impresión de que el número de causas que cada revisor incluye tiene mucho que ver con la forma de organizar el informe, así los informes que centran la evaluación en torno a los problemas nucleares suelen contener menos causas, pero no por ello menos importantes. Las objeciones, según apartados, son, por orden de importancia tras las relati- vas a la introducción, las de la metodología (23% del total), discusión y conclusio- nes (19 % del total), visión general (18% del total), análisis y resultados (11% del total) y aspectos formales (2,5% del total). Razones globales Un buen número de objeciones, exactamente el 18% del total, o 144 indica- dores (cfr., Tabla I), cuestionan aspectos globales del trabajo y suelen conducir a la no aceptación del mismo (cfr., Figura 1). El análisis de todos los indicadores que tienen este rasgo de globalidad lleva a diferenciar cuatro categorías de pro- blemas: en el formato (6,5% del total), en la consistencia (4% del total), en la relevancia (4% del total) y en la legibilidad (4% del total). La mayor parte de ellos se explican por sí solos, pero merece la pena detenerse en alguno de ellos. Formato Así, respecto del formato, cabe resaltar una objeción muy común a los artículos encuadrables en la categoría informe de investigación: que no se ajuste al forma- to estándar, esto es, una introducción que plantee y justifique el problema que ha de tratarse, la metodología desarrollada para abordarlo, los resultados alcanzados y la discusión de los mismos según el marco de interpretación expuesto en la introducción y las hipótesis derivadas del mismo. Naturalmente, el problema es
  • 9. 13 TABLA I Tarea evaluadora de los revisores: causas escritas de ‘no aceptación de artículos’: Indicadores que afectan a la visión general del artículo PR O B LEM A S EN V IS IÓ N G EN ER A L (V G ): N R eviso res % (sobre los5 0 reviso res) FO R M A T O 1. Género impreciso: no se encuadra en ninguno de los tipos de artículos previstos: 10 20 informe de investigación, intervención, revisión, etc 2.Organización(sumade2.1a2.4) 36 72 2.1. Organización confusa. Falta articulación del informe. 23 46 2.2. No se siguen los apartados de informe de investigación 6 12 2.3. Necesidad de ajustar títulos de subapartados para que reflejen mejor de lo que 6 12 tratan. Mejorar la estructuración y claridad 2.4. Sobran apartados no esenciales o no relacionados con el núcleo del objetivo 1 2 3. Falta hilo argumental: mera colección de ideas 5 10 Total formato 51 6,5%(de783) R ELEV A N CIA 1. El objetivo no es relevante porque no se justifica teóricamente su relevancia. 10 20 2. Resultados previsibles, se aportan pocos conocimientos nuevos 4 8 3. Falta una perspectiva psicológica (se opta por una perspectiva lingüística, o 4 8 matemática, o física) o basada en el desarrollo psicológico 4. Reflexión teórica poco actual. Enfoque teórico no relevante en la actualidad 9 18 5. No es posible valorar el método, al no concretarse los objetivos 2 4 Total relevancia 29 4%(de 783) LEG IB ILID A D 1. Redacción y estilo confuso; tablas inexistentes; poner resultados en apartados; difícil 3 6 leer gráficos, etc. Necesidad de mejorar la comunicabilidad del informe. 2. Necesidad de mayor esfuerzo de redacción y composición del artículo 17 34 3. Necesidad de precisión terminológica. 14 28 Total legibilidad 34 4%(de 783) C O N S IS T EN C IA 1. No hay conexión entre lo Revisado y lo Realizado. No se desarrolla el objetivo 7 14 2. En la Discusión o en los resultados se apela a nociones y trabajos no presentados 18 36 en la Introducción . En los resultados aparecen variables no informadas en la metodología. En la introducción se explica el programa en vez de su fundamentación teórica, que debiera figurar en Metodología. 3. No se justifica desde el marco teórico la selección de instrumentos o categorías que 5 10 luego adoptan. Total consistencia 30 4%(de 783) T otales v isión general (V G ) 14 4 18% (de 783 ) que toda esa información puede estar en el trabajo, pero distribuida de una manera que no se ajusta a lo “esperado”. Otra objeción, algo diferente, es la falta de articulación global del trabajo y la confusión resultante. La manifestación más clara de todo ello es la presencia de un estilo enumerativo, en el que se tiende a acumular mucha información sin que se introduzca expresamente un orden o esquema previo. Una posible sugerencia para paliar esta objeción es que los autores anticipen el esquema organizativo que van a seguir. Por ejemplo: “El artículo está organizado de la siguiente manera...”.
  • 10. 14 Una tercera objeción es que el artículo se quede a medio camino entre una revisión y un informe de investigación, o que no constituya realmente una revi- sión de un campo de estudio ni una reflexión crítica sobre el mismo, sino, por ejemplo, comentarios más o menos ordenados sobre un tema. Pensemos en el caso de un revisor que aduce que un determinado artículo “...no se puede encua- drar en ninguno de los tratamientos propios de la revista; ni es un informe de investigación, ni es un informe de intervención, ni es un artículo de revisión pro- piamente dicho” Relevancia Una segunda categoría de problemas globales que conducen frecuentemente a la no aceptación es la de no encontrar suficiente relevancia al trabajo. En general, los revisores reconocen la relevancia potencial de los trabajos (esto es, el problema planteado es visto como social o educativamente relevante), y su ajuste con la línea editorial de la revista; lo que quiere decir que Infancia y Aprendizaje tiene una imagen nítida al menos para los autores (y los revisores). La queja tiene que ver con la ausencia de relevancia teórica. Obviamente, esto depende de que se apele a modelos solventes que justifiquen tanto la definición del problema como las variables o los indicadores elegidos. Por tanto, parece que no basta con selec- cionar un contenido relevante, sea, por ejemplo, el caso de la escritura argumen- tativa, pues también deben serlo los indicadores seleccionados y, si estos no lo son (valga, como ejemplo, que se tomen únicamente indicadores del tipo “número de palabras utilizadas”), los revisores interpretan que el trabajo no es relevante. Una cuestión más espinosa es el problema de la actualidad del marco empleado, otra de las razones frecuentemente aducidas para no aceptar un traba- jo. Hemos de entender que el criterio de la actualidad está al servicio del de la relevancia (no siempre son relevantes referencias de “última hora” y no siempre pierden actualidad las referencias históricas). Es decir, se entiende que la actuali- dad es un modo —¡no el único!— de conseguir dar relevancia al trabajo y no un atributo que proporciona ese valor por sí mismo. Legibilidad Además, los problemas de legibilidad tienen que ver con una redacción des- cuidada, con confusiones en la terminología utilizada (uso de varias expresiones para un mismo concepto, por ejemplo) o con un tratamiento de tablas y figuras confuso. Consistencia Por último, un grupo de problemas se relacionan con la falta de consistencia entre las distintas partes del trabajo. En este caso, el trabajo puede adoptar el for- mato estándar pero los revisores hacen ver que se aprecia una desconexión entre el marco teórico y las tareas desarrolladas o, como parece más común (un 32% - cfr., Tabla I), entre los sistemas de interpretación que se emplean en la discusión y los presentados en la introducción. La labor de los revisores es en este caso espe- cialmente relevante para hacer ver a los autores esa falta de continuidad que puede pasar desapercibida a estos últimos. Hay que entender al respecto que en el apartado de la Discusión los autores pueden centrarse en encontrar un sentido a los resultados, lo que les puede llevar a nuevas conexiones que, por ser las últi- mas, pueden ser la más valoradas pero, quizás, con el riesgo de que puedan per-
  • 11. 15 der su relación con lo planteado inicialmente. Por supuesto, se sobreentiende que la discusión puede invocar cuestiones no previstas en la introducción pero esto debe tener una dimensión limitada y, cuando se haga, conviene advertirlo expresamente. Menos justificado es que no aparezca una conexión clara entre las categorías de análisis empleados, las tareas afrontadas o los procedimientos desa- rrollados y el marco teórico, una cuestión que a juicio de los revisores ocurre con alguna frecuencia. Más notorio es el caso de los trabajos en los que apenas si se constata un hilo entre las teorías y evidencias que se revisan y las investigaciones que se realizan. Aquí puede ocurrir que los autores den la impresión de que invocan un marco teórico muy general que inspira pero no dirige el trabajo. En todo caso, resulta muy evidente que en las revisiones analizadas de Infancia y Aprendizaje se espera que haya una adecuada documentación de los precedentes teóricos y empíricos del trabajo que justifique los pasos dados para definir el problema y para acome- terlo (véase más adelante lo referido a Objetivos). En resumen, las razones globales afectan tanto a la forma (legibilidad, formato) como al fondo (consistencia y relevancia). Los problemas de consistencia y forma suelen dar lugar a rechazar únicamente la versión actual del trabajo, en la espera de que las mejoras solicitadas permitan valorarlo contando con evidencias más firmes, mientras que la ausencia de relevancia teórica suele dar lugar a no acepta- ción definitiva. Esto quizás ayude a los autores a conocer las categorías valora- tivas que guían a los revisores de la revista. En cualquier caso, es importante reseñar que los revisores se ven en la necesi- dad de asumir una decisión que en muchos casos es realmente muy difícil: saber cuándo en un artículo no “está todo lo que debe estar”, pero se vislumbre “en potencia” lo que se echa de menos, y cuándo, por el contrario, no parecen existir esos elementos y reclamarlos en los informes llevaría a una prolongación agónica del proceso. Es imposible garantizar que ese juicio sea siempre correcto, pero al menos podría considerarse una virtud el hacer más transparente la racionalidad que guía la elaboración del informe. Razones ligadas al Apartado Introducción Respecto de la Introducción, hay un buen número de objeciones (204, lo que constituye un 26 % del total). Se han agrupado estas objeciones en algunas cate- gorías específicas (cfr., Tabla II). Como en el caso anterior, nos limitaremos a glo- sar las más relevantes una vez hemos dejado expuesto el porcentaje de menciones de cada uno de los indicadores. Objetivos En primer lugar, los revisores se quejan de un conjunto de problemas que tienen que ver con la precisión del objetivo que se persigue. En muchos casos, ese objetivo sólo se llega a percibir con nitidez al finalizar la lectura del artículo. En otros casos, hay una formulación del objetivo por acumulación, esto es, se presenta un conjunto amplio de posibles objetivos sin que se pueda llegar a apreciar cuál es la diferencia entre ellos ni, por tanto, lo que realmente se persigue. Por supuesto, el objetivo puede estar en el texto pero no tan visible como sería necesario. Quizás, los autores desean subrayar todas las implicaciones del trabajo, lo que les lleva a una introduc- ción excesivamente amplia e imprecisa. Una buena idea es que los autores se hagan esta pregunta que se recomienda en el manual de la APA (1994): ¿cómo hacer ver desde el principio al lector lo que se quiere resolver en el trabajo? Probablemente,
  • 12. 16 TABLA II Tarea evaluadora de los revisores: causas escritas de ‘no aceptación de artículos’: Indicadores que afectan a la introducción del artículo PR O B LEM A S EN IN T R O D U C C IÓ N (I): Enfoque y planteam iento N R ev isores % (sobre los 50 revisores) P R ECIS IÓ N EN LO S O B JET IV O S 1. No se define cuál es el problema específico que se persigue –Problema inespecífico 12 24 2. Objetivoinespecífico(sumade2.1a2.3) 22 44 2.1. No se define cuál es el objetivo específico que se persigue 17 34 2.2. Objetivo no enunciado 1 1 2.3. Falta explicitar el propósito antes de la revisión 4 8 Total objetivos 34 4%(de783) C LA R ID A D T EÓ R IC A 1. No se desarrollan en profundidad los conceptos clave 21 42 2. Marco teórico confuso. Poca elaboración del marco teórico. 16 32 3. No se ilustran los modelos con aplicaciones concretas 2 4 4. No se selecciona adecuadamente la información revisada. Se habla de lo que no se 25 50 debe y no se habla de lo que se debe 5. Se abordan demasiados temas 3 6 Total claridad teórica 67 8,5% (de 783) C O H ER EN CIA 1. Los autores no exponen cuál es el punto de vista adoptado. El trabajo carece de un 17 34 marco teórico preciso. No se revisan los argumentos en contra. 2. Falta justificar enfoque y lo que se espera de él 7 14 3. No se organiza la introducción (según perspectivas, modelos, polémicas), estilo 17 34 enumerativo, telegráfico Total coherencia 41 5%(de783) D O C U M EN T A C IÓ N CO M P LET A 1. Revisiónyreferencias(suma1.1y1.2) 35 70 1.1. No se revisan los trabajos específicamente vinculados con el objetivo específico, 31 62 pero sí los de carácter general 1. 2. Referencias inapropiadas. Referencias excesivamente generales 4 8 2. Diferenciar las ideas originales de la exposición de las ideas de otros 1 2 3. No se documentan con referencias las afirmaciones sostenidas en el trabajo 14 28 4. Referencias muy poco actuales. Faltan referencias claves. 10 20 5. No se justifica la ausencia de precedentes. 2 4 Total documentación 62 8%(de783) T otal introducción (I) 204 2 6% (de 783) el acierto de muchos artículos reside en que consiguen hacer visible lo que persi- guen apenas se ha avanzado unos pocos párrafos. Por supuesto, ese objetivo especí- fico sólo encuentra su sentido en un marco más general, pero el objetivo del artícu- lo no puede ser resolver, valga el ejemplo, el problema de la didáctica de las mate- máticas, sino entender la incidencia de una determinada variable educativa en la adquisición de un determinado concepto. Otra ilustración podría ser plantear el problema global de la relación entre clima social y familiar y la adaptación personal y social, cuando el estudio se centra de hecho en cuestiones específicas de la resolu- ción de conflictos familiares en la etapa de la adolescencia. Sería de esto último, si los ejemplos valen, de lo que habría que hablar cuanto antes.
  • 13. 17 En ese mismo sentido, un amplísimo número de revisores señalan que no se consideran los precedentes inmediatos de lo que se quiere hacer y que de esta manera resulta muy difícil comparar los resultados obtenidos o la metodología empleada con otros estudios. Una consecuencia de esta reflexión es que el encon- trar un objetivo específico puede conseguirse remitiéndose a los precedentes que de forma más concreta se relacionan con el trabajo. La ausencia de los mismos, salvo que se advierta y que se justifique adecuadamente su probable inexistencia, es interpretado como una señal de inmadurez. Por ejemplo, los revisores advierten de que los autores de un trabajo en el que se proponen, valga como ejemplo, estudiar el papel de la conciencia fonológica en la lectura de niños con síndrome de Down, emprenden una revisión general del campo de estudio (por ejemplo la lectura), sin hacer una revisión de los trabajos que han abordado el mismo problema específico que se intenta acometer en el trabajo (la conciencia fonológica en niños con síndrome de Down). Consecuentemente, se quejan los revisores, los datos no pueden compararse con los de ningún otro estu- dio y es difícil valorar el interés o relevancia del trabajo (lo que nos remite al pro- blema de relevancia tratado en el apartado anterior). Parece absurdo exigir a los autores que citen siempre, los haya o no, preceden- tes inmediatos, pero parece ser útil al lector aclarar cuándo no los hay y subrayar la necesidad de correr el riesgo (relativo, por supuesto) que supone la ausencia de precedentes. Claridad teórica Este primer grupo de objeciones suele llevar acompañadas otras ligadas a la falta de claridad. Los indicadores de esta categoría se explican por sí mismos, pero de entre ellos destaca uno que no sería muy difícil de resolver: la introducción considera muchas cuestiones sin detenerse con el suficiente detalle en los concep- tos que articularían el trabajo. Consecuencia: falta de claridad en el marco teórico. Algunos evaluadores hablan, por ejemplo, de una revisión tipo Manual, cuando lo que se necesita es una revisión que tome en consideración el eje creado por un pro- blema específico que se quiere resolver y que lleva a ciertas hipótesis (si el trabajo las requiere) u objetivos específicos que guían el trabajo. Una ilustración de esto último, es el alto grado de coincidencia en cada evaluador entre las categorías de objetivos y de claridad teórica, un 56%. Un tercer problema que despierta la atención de los revisores es que no se desarrollen con suficiente profundidad y claridad los conceptos claves. Se habla de ellos, dice algún revisor, pero sin desarrollarlos. En parte esto es consecuencia de no partir de un objetivo preciso. Otros revisores se quejan de que se habla de demasiadas cosas y urgen a los autores a seleccionar las que sean relevantes res- pecto del objetivo específico que se persiga. Coherencia en la introducción Un tercer tipo de problemas tiene más bien que ver con la articulación o coheren- cia de lo que se dice. En este caso, los revisores suelen apuntar que no hay un esque- ma claro de la revisión. Entre otros: revisar los distintos enfoques, ordenar en el tiempo las distintas propuestas, partir de un cierto número de dimensiones para identificar los puntos de continuidad o discontinuidad entre las distintas alternati- vas. Algo así como: “hay tres grandes cuestiones que han suscitado discusiones en los últimos años: a... b... c... Por lo que se refiere a a... Por lo que se refiere a b... “.
  • 14. 18 Además, se espera que los autores se pronuncien respecto del marco que se va a utilizar o al menos sobre el modo como se va a utilizar el marco revisado. Documentación completa Finalmente, y aunque es a todas luces una cuestión menor, los evaluadores de Infancia y Aprendizaje suelen esperar que los autores documenten sus afirmaciones apelando a las fuentes adecuadas. De esta manera no suele aceptarse que se atri- buya una idea a un autor y no se advierta la fuente. Es interesante destacar que la mayor parte de las objeciones consignadas en este apartado tienden a ser resolubles, salvo de nuevo las más ligadas a la relevan- cia teórica (esto es, la precisión de los objetivos). De esta manera, y dada la fre- cuencia de menciones a lo considerado en este apartado sería de sumo interés que los autores leyeran lo expuesto en este apartado. Muy probablemente, como con- clusión, podríamos centrar la atención en estas tres cuestiones: 1) la introducción debe centrarse en clarificar a los lectores el problema que se va a intentar resolver (es lo que muchas veces aparece con más claridad en la dis- cusión, pues “el problema” es justamente lo que los autores necesitan clarificar en ese apartado final). Pero claro, en muchas ocasiones los autores han de con- cluir el artículo para saberlo, de ahí que escribir sea reescribir; 2) los autores deben contextualizar ese problema clarificando especialmente los conceptos de los que depende la comprensión y el sentido de ese problema, el resto de las cuestiones, por interesantes que puedan resultar, podrían quedar en un segundo plano; 3) esa exploración de los conceptos clave puede verse facilitada si se hace una revisión ordenada de los marcos o perspectivas empleadas. Por supuesto, en mayor o menor grado, todos los autores podrían mejorar la introducción a sus artículos (de hecho hay obras magníficas que ilustran de forma precisa cómo hacerlo, cfr., por ejemplo, Sorenson, 1997). Ahora bien, ¿cómo renunciar a exponer cuestiones que, en sí mismas, son tan importantes? ¿cómo saber cuál es el punto justo de clarificación que se necesita? La respuesta, quizás, la pueda encontrar mejor el otro que uno mismo. Y es, justamente, por ello por lo que la evaluación es tan necesaria, puesto que juega un papel regulador que, cuando el que escribe va asumiendo esta función, se transforma en autorreguladora (cfr., para esta cuestión por ejemplo Graham y Harris, 2000 a y b). Una recomendación muy evidente a la luz de lo expuesto es reservar siempre un tiempo suficiente para remi- tir el original a otros colaboradores y colegas antes de darlo por terminado. Razones del apartado Metodología Un tercer grupo de objeciones tiene que ver, como ya vimos en su momento, con la metodología (180 indicadores o el 23% de todas las causas de no aceptación de artículos —cfr., Tabla III—). En este caso, las objeciones son igualmente pre- visibles y en algún caso, como las ligadas a los problemas de diseño, muy difícil- mente comentables en el limitado espacio de estas páginas. Muestra Los problemas ligados a la muestra son de tres tipos. El más común es que no se ofrecen todos los datos que serían necesarios; los autores no informan con sufi-
  • 15. 19 TABLA III Tarea evaluadora de los revisores: causas escritas de ‘no aceptación de artículos’: Indicadores que afectan a la metodología del artículo P R O B LEM A S EN M ET O D O LO G ÍA (M ): N R eviso res % (sobre los 50 revisores) M U EST R A 1.Nosedefinenapropiadamente lascaracterísticasdelas muestras(sumade1.1y1.2) 27 54 1.1. Participantes-Criterios de configuración de las muestras poco claros 16 32 1.2. Participantes-Se desconocen datos importantes o relevantes de las muestras (curso 11 22 x conglomerados, etc) 2. La muestra no es apropiada para obtener los datos relativos a los objetivos del 15 30 trabajo [Participantes-Errores en la configuración. Falta una muestra esencial (ej., de zurdos).] 3. Tamaño apropiado para los análisis de datos (potencia, análisis factorial, etc.) 0 0 4. Representatividad de la muestra (procedimiento apropiado de muestreo, 15 30 características de la muestra que avalan la representatividad, etc.). No representatividad de la muestra Total muestra 45 6%(de 783) H IPÓ T ES IS 1. No reflejan los problemas derivados de la revisión teórica. No están bien articuladas con la introducción, y por tanto no están adecuadamente justificadas 1 2 2. No están bien definidas operacionalmente, de forma que es difícil su contrastación. Se plantean como preguntas abiertas sin que se vislumbre el compromiso de ponerlas a prueba 0 0 3.Losobjetivosdeuntrabajonosecircunscribennecesariamentealacontrastaciónd 9 18 hipótesis. Lafinalidadpuede serlameradescripcióndeunfenómeno,nola puestaapruebade unos supuestos(sumade 3.1y3.2) 3.1. No aparecen con suficiente claridad. No aparecen. (cuando debieran aparece 9 18 porque no es una mera descripción) 3.2. Las hipótesis se adivinan en la discusión 0 0 4. Un criterio importante ha de ser la relevancia teórica, práctica o social de los objetivos y/o hipótesis (falta) 0 0 Total hipótesis 10 1%(de 783) V A R IA B LES 1. No están bien definidas operacionalmente 16 32 2. Su número es excesivo. No se presentan de forma ordenada 4 8 3. Carecen de relevancia teórica. No se justifican psicológicamente. 10 20 4. No son adecuadas para contrastar las hipótesis 0 0 Total variables 30 4%(de 783) D ISEÑ O 1. No aparece clara la modalidad metodológica del trabajo (experimental, selectiva 6 12 observacional). Las limitaciones nucleares del artículo tienen que ver con el diseño metodológico 2. El diseño no es apropiado. Validez: Ausencia de grupo de control. Orden de 11 22 aplicación de instrumentos inadecuado o no controlado. No medidas previas. Diseño no especificado Total diseño 17 2%(de 783) IN ST R U M EN T O S 1.Losinstrumentos(materialesoprogramas)seleccionados nosedescribenconrigor 41 82 (sumade1.1y1.2)
  • 16. 20 1.1. Instrumentos y materiales y programas: Indicadores de las variables mal definidos. 15 30 Diferenciar medidas más sensibles. Desequilibrio entre la evaluación y lo codificado y utilizado en la investigación. 1.2. Instrumentos y materiales y programas: No se describen con claridad las tareas y/o 26 52 instrumentos. No se hace una descripción concreta de un programa. No se describen con claridad las categorías utilizadas. 2. Losinstrumentos (materialesoprogramas)nosonlosmás apropiados(insuficiente 14 28 validezyfiabilidad,adaptacióninadecuadaalapoblaciónde interés)(sumade2.1y2.2) 2.1 Faltan medidas relevantes o importantes para el estudio. Sesgos en cuanto 7 14 selección de tareas (insuficientes) 2.2. Los instrumentos son poco adecuados según la definición de las variables. 7 14 Total instrumentos 55 7%(de783) P R O CED IM IEN T O 1. No se describe con precisión. Falta información precisa (participantes, contextos 22 44 roles instruccionales, horas de evaluación) 2. No es adecuado (sensible a variables extrañas). Tratamiento experimental 1 2 intervención muy reducido (excesivamente breve o muy limitado) Total procedimiento 23 3%(de783) T otal m etodología (M ) 180 2 3% (de 783) ciente claridad de los criterios, de las características (procedencia, sexo, edad, ori- gen), lo que lleva a los revisores a hacer sugerencias frecuentes de clarificació n. En segundo lugar, que la muestra es insuficiente para alcanzar los objetivos. Y, en tercer lugar, que hay problemas en la configuración (cómo se ha seleccionado, cómo se han asignado a grupos, etc). Hipótesis De igual manera, las hipótesis pueden no ser expuestas con suficiente detalle. Más relevante es que estén desconectadas con el marco teórico de la introducción (un ejemplo más de falta de consistencia comentada en el primer apartado). En ese sentido, los revisores suelen recomendar que los autores revisen la introduc- ción atendiendo a la naturaleza de las hipótesis. Es justamente esa relación que en ellas se precisa lo que debe ser justificado, clarificado conceptualmente y revi- sado en la introducción. Lo cierto es que en ocasiones el lector puede apreciar cuál es la hipótesis cuando el autor se adentra en interpretar que los datos no cua- dran con ellas. Variables Cualquier investigación requiere una definición operativa y precisa de las variables, seleccionando el número adecuado a los objetivos del estudio, que pre- senten relevancia teórica o que sean adecuadas para contrastar las hipótesis. Los revisores refieren (32%) casos en los que no están bien definidas o que carecen de relevancia teórica (20%). Diseño Son varias las causas de modificación o no aceptación de artículos que identi- fican los revisores en relación con el diseño metodológico, desde la no aparición clara de la modalidad metodológica del trabajo (12%) a no ser apropiados (22%). La planificación previa de cualquier investigación obliga a definir el diseño más
  • 17. 21 adecuado para los objetivos que se persiguen. Los autores han de ser conscientes de que la publicación del artículo también tiene que ver con una explicación del diseño que permita valorar los datos y las posibles interpretaciones. Instrumentos Es una categoría, la de instrumentos (programas, materiales, sistemas de cate- gorías), de cierta importancia, pues es referida por el 82% de los revisores que señalan que no se describen con rigor, o que no son apropiados, un 28%. Cuando se utilizan sistemas de categorías esta objeción es especialmente importante, puesto que al tratarse de instrumentos ad hoc para la investigación no suele exis- tir conocimiento previo de ellas (distribución comercial). Procedimiento El apartado dedicado al procedimiento suele merecer un buen número de comentarios críticos. Muchos de ellos hacen ver que la información es insuficien- te para entender lo que realmente se ha hecho, esto es, los pasos dados para confi- gurar la muestra, para diseñar o desarrollar la tarea, para recoger los datos. Los autores pueden pensar que eso se deduce fácilmente de los datos y de los distin- tos comentarios realizados, pero en muchas ocasiones resulta vital entender el proceso seguido para comprender el modo de operar con los datos y las conclu- siones extraídas de ellos. Eso es lo que suele ocurrir con el apartado dedicado al procedimiento de intervención, en el que apenas si se comentan únicamente los principios rectores de lo que se hace pero no lo que realmente se hace. Quizás simplemente lo que ocurre es que no es fácil describir verbalmente un procedi- miento y resulta más sencillo apelar a los principios que los organizan, pero los lectores necesitan saber en qué consistió exactamente el procedimiento para poder valorar los resultados obtenidos, y si cabe para poder hacer una replicación de la investigación. Una vez más debemos destacar la necesidad de una lectura ajena al grupo de investigación para evitar esos errores de interpretación, y tomar conciencia del lector, es decir, de la audiencia (Wong, 1999; Wray, 1998). De igual manera, la presentación de las tareas o de los sistemas empleados para extraer los datos pertinentes no siempre son suficientemente clarificados lo que despierta la necesidad de pedir aclaraciones y modificaciones. Razones del apartado de análisis y resultados Hay dos categorías en este apartado, que representa el 11% del total u 89 razones de no aceptación (cfr., Tabla IV). Los indicadores que se agrupan en la categoría visibilidad de los datos, que incluye básicamente razones de no presentación de forma exhaustiva de los datos requeridos por los objetivos o las hipótesis y de que no se presentan de forma ordenada y clara —no se resumen parsimoniosamente los datos en tablas y gráficos, o las tablas y los gráficos no están bien identificados de acuerdo a las normas APA— (con 61 indicadores referidos o el 8% del total). Y la otra categoría se refiere al trata- miento estadístico de los datos, que agrupa los indicadores, básicamente, relati- vos al hecho de que los análisis estadísticos no son apropiados para los datos obtenidos (nivel de medida, incumplimiento de supuestos, tamaño de las muestras), con una presencia de 28 indicadores referidos que representan el 3,5% del total.
  • 18. 22 Los revisores alegan que un artículo ha de revirsarse, en lo que atañe a este apartado, cuando hay problemas de análisis de datos (insuficiente o inapropiado) o cuando hay problemas en la presentación de los mismos. TABLA IV Tarea evaluadora de los revisores: causas escritas de ‘no aceptación de artículos’: Indicadores que afectan al análisis y resultados del artículo PR O B LEM A S EN A N Á LISIS Y R ES U LT A D O S (A R ) N R ev isores % (sobre los 50 revisores) V ISIB ILID A D D E LO S D A T O S 1. Nose presentandeformaexhaustivalos datosrequeridosporlos objetivosolas 39 78 hipótesis(faltandatosrelevantes)(sumade1.1a1.6) 1.1. No hay ajuste entre los datos y los objetivos (o no hay presentación sistemática 11 22 de todos ellos) 1.2. No se presentan datos de todas las variables. No hay datos de conjunto 11 22 1.3. No se proporcionan los materiales de los que se obtienen los datos 4 8 1.4. No se ofrecen las puntuaciones directas cuando son relevantes 0 0 1.5. Se presentan datos sin clarificar su origen ni su relación con el texto 6 12 1.6. Apenas si se presentan resultados. No se presentan los resultados 7 14 2. Nose presentandeformaordenadayclara(resumirparsimoniosamente losdatosen 22 44 tablasygráficos, lastablasygráficosnoestánbienidentificadosdeacuerdo alas normasAPA)(suma2.1a2.3) 2.1. Necesidad de presentar de forma ordenada y clara los resultados 6 12 2.2. No se explican en el texto los datos de las tablas. 6 12 2.3. Incluir gráficos o tablas ilustrativos de los datos. Incluir contrastes estadísticos 10 20 en gráficos o tablas. Total visibilidad 61 8%(de783) T R A T A M IEN T O EST A D ÍS T ICO 1. Losanálisisestadísticosnosonapropiados paralosdatos obtenidos (niveldemedida 28 56 incumplimientode supuestos,tamañodelas muestras).(sumade1.1a1.3) 1.1. Sistema de análisis estadístico Inadecuado. Confuso. Carece de rigor. Necesidad 21 42 de análisis adicionales. Sólo se hace análisis intragrupos. Se dice que se hacen análisis pero no se presentan. 1.2. No se especifica el tratamiento dado a los datos 6 12 1.3. Se comparan puntuaciones directas y no estandarizadas. 1 2 Total tratamientoestadístico 28 3,5%(de783) T otal análisis y resultado s (A R ) 89 1 1% (de 783) Razones del apartado de Discusión En la discusión hemos encontrado varias categorías de problemas (con 146 indicadores referidos o el 19% del total —cfr., Tabla V—). El primero de ellos insiste en la cuestión de la coherencia. Coherencia En este caso, los problemas se evidencian en el momento en el que los reviso- res no ven una relación precisa entre las hipótesis-resultados-interpretaciones (el 52% de los revisores lo refieren, cfr., tabla V). Dicho en otras palabras, lo que se espera es que se parta de un recordatorio de las hipótesis para adentrarse en los resultados y de ahí a las interpretaciones que se juzguen necesarias. Un artículo
  • 19. 23 inmaduro suele mostrar alguna fisura en este eje básico. Algunos ejemplos pue- den hacer ver la importancia que conceden los revisores a este apartado. Ejemplo 2 A: “... tal vez debería de existir una mayor relación entre estas con- clusiones y el marco teórico inicial del artículo y, entre estas conclusiones y los resultados reales que se han obtenido en la investigación. En definitiva señalar que la información que en el artículo se nos ofrece no nos permite compartir las conclusiones que los autores exponen, no por incorrectas sino por falta de infor- mación más precisa” Ejemplo 24 B: “... en la discusión no se atiende apenas al segundo objetivo, pues no se abordan los resultados obtenidos en el grupo experimental en relación a los obtenidos en los grupos de control, antes y después del tratamiento”. Un aspecto más específico es que se mezcle la presentación de los resultados con su interpretación, cuando justamente la división del artículo en los dos apar- tados de resultados y discusión conlleva el evitar cualquier mezcla de ambos. Es el caso extremo de un artículo en dos apartados (introducción y desarrollo) en que se ‘mezclan’ todos los apartados, y es el caso de un informe con un apartado único para resultados y discusión pero sin justificar la razón del mismo (por ejemplo, tratarse de un estudio cualitativo o exploratorio donde no hay contras- tes de hipótesis, como el caso del presente trabajo). Inferencias injustificadas Un segundo apartado tiene que ver con la impresión de que se hacen inferen- cias a partir de datos que no las justifican. En ese sentido, conclusiones demasiado tajantes son comúnmente destacadas (32% de los revisores) También es relativa- mente común advertir de que los autores ofrecen recomendaciones que, aunque sean en sí mismas razonables, no están justificadas por el estudio presentado. No completo Hemos agrupado aquí un conjunto de indicadores que tienen como elemento común el de que no se lleguen a examinar todos los datos y por tanto todas las implicaciones de los mismos. Profundidad Otra queja relacionada tiene que ver con la profundidad de la reflexión. Se trata de una queja difícil de definir sin apelar a ejemplos concretos. Esencialmente, se trata de pedir algo más que una constatación de los resultados alcanzados. Esos resultados deben ser interpretados desde las teorías de partida y debe hacerse apelando a las cuestiones más específicas desarrolladas en el trabajo. Por ejemplo, si en un experimento de corte instruccional se entrena a los participantes en una capacidad dándoles dos o más dietas o tratamientos instruccionales diferentes, se trata de no limitarse a constatar que uno ha sido mejor que otro, y aventurarse en una interpretación de las implicaciones psicológicas que tienen las diferentes dietas. En otras palabras, no bastará con decir o constatar que hubo un mayor efecto en el tratamiento A respecto del B, sino intentar interpretar o explicar de qué aspecto concreto del tratamiento A pueden depender las ventajas en él constatadas. Naturalmente, la existencia de varias argumentaciones que no se ponen en relación entre sí es otro motivo de cuestionamiento que revela falta de profun- didad.
  • 20. 24 TABLAV Tareaevaluadoradelos revisores: causasescritas de ‘noaceptacióndeartículos’: Indicadores queafectanaladiscusiónyconclusionesdel artículo PR O B LEM A S EN D ISC U S IÓ N Y C O N C LU SIÓ N ES (D C) N R ev isores % (sobre los 50 revisores) C O H ER EN CIA EN LA D ISC U SIÓ N 1. Se mezcla la presentación de los resultados con su interpretación y discusión 2 4 2. Falta de coherencia entre el marco expuesto en la introducción y el empleado en l 16 32 discusión. Por ejemplo, no se alude a las hipótesis ni a los objetivos en la discusión. Como consecuencia no se pueden valorar los razonamientos 3. Falta de relación entre los resultados y las conclusiones. Las conclusiones no se 10 20 remiten a los resultados Total coherencia 28 3,5%(de783) IN FER EN C IA S IN JU S T IFICA D A S 1. Se asumen como diferencias significativas lo que son simplemente tendencias o 8 16 diferencias entre puntuaciones. Se asumen resultados positivos (apoyo cuando son negativos. 2. Se da por bueno conclusiones no avaladas por los datos ( los sujetos tenían igual nivel 16 32 de conocimientos previos, sin haber presentado los datos correspondientes ni el modo de obtenerlos) En la revisión no se apoyan las afirmaciones con investigaciones empíricas 3. Inferencias demasiado rotundas o generalizaciones excesivas 19 38 Total inferencias injustificadas 43 5,5% (de 783) IN CO M P LET U D 1. No se comparan los resultados y conclusiones obtenidos con los de otros trabajos. 11 22 No se hace referencia a los argumentos en contra. 2. No utilizan datos en la reflexión que pudieran explicar los resultados. 7 14 Total incompletud 18 2%(de783) P R O FU N D ID A D 1. Poca relevancia de las reflexiones. No se profundiza en las cuestiones nucleares. 8 16 2. Quedan sin resaltar datos importantes. Falta profundizar en reflexiones esenciales 17 34 3. Ausencia de reflexiones originales en un artículos de revisión 1 2 4. No dan una explicación psicológica de las diferencias obtenidas 3 6 5. Falta reflexión entre los resultados y las pruebas realizadas. 4 8 6. No se hace una valoración cualitativa ante datos cualitativos o cuantitativa ante 1 2 datos cuantitativos 7. Argumentaciones contradictorias. Se utilizan argumentos a favor, que en realidad 4 8 lo son en contra Total profundidad 38 5%(de783) C O N SEC U EN CIA S 1. Falta un apartado de conclusiones. No pueden considerarse como tales. Necesidad 6 12 de mejorar este apartado 2. No se hacen ver las aplicaciones de lo desarrollado en el trabajo. 8 16 3. No se reconocen las limitaciones de la investigación. 4 8 4. No se dan sugerencias para investigaciones futuras 1 2 Total consecuencias 19 2,5%(de783) Total discusiónyconclusiones(DC) 146 19%(de 783)
  • 21. 25 Consecuencias Es otra categoría de objeciones que puede ser alegada por los revisores, si bien no es demasiado común (19 indicadores o un 2,5% del total). Así, cuando advierten de la ausencia de ese apartado o cuando comentan que el que aparece en el texto no es tal. Hemos de entender que ese apartado puede ser especialmen- te indicado en el caso de que la discusión haya sido muy extensa o cuando se quiera hacer ver las posibles aplicaciones o consecuencias de lo tratado. TABLA VI Tarea evaluadora de los revisores: causas escritas de ‘no aceptación de artículos’: Indicadores que afectan a los aspectos formales del artículo P R O B LEM A S EN LO S A SP EC T O S FO R M A LES (A F) N R eviso res % (sobre los 50 revisores) C IT A S Y R EFER EN C IA S 1. No sigue las normas de la APA en las referencias 4 8 2. Citar originales y no traducción 2 4 3. Excesiva inclusión de citas literales 2 4 Total citas yreferencias 8 1%(de 783) T ÍT U LO Y A N EX O S 1. El título es más ambicioso que el contenido, o no se ajusta bien al contenido 4 8 2. Los materiales podrían adjuntarse en un anexo 1 2 Total títuloyanexos 5 0,5%(de783) R ED U N D A N CIA Y V A LO R A C IO N ES 1. Reiteración de las mismas ideas. 4 8 2. Suprimir las propias valoraciones, reducir metáforas 3 6 Total redundanciayvaloraciones 7 1%(de 783) Total aspectos formales (AF) 20 2,5%(de783) Razones en el apartado de aspectos formales Si bien no constituyen causas de no aceptación de artículos, es claro que las cuestiones referidas tienen cierta importancia y facilitan la comunicabilidad y la lectura comprensiva del mismo. Tiene que ver con la conciencia de los procesos mecánicos, que diría Wray (1998) o Wong (1999), pero que afectan a los procesos sustantivos de los artículos, y es en este sentido en el que hay que entender las objeciones de los revisores (20 indicadores o el 2,5% del total —cfr., Tabla VI—). Hemos agrupado todo este grupo de objeciones en tres categorías de problemas: en relación con citas y referencias, con el título y anexos o con la redundancia o reitera- ción de las mismas ideas 2. Sobre la labor de los revisores: Diálogo con los revisores Como ya hemos advertido en distintos momentos, al mismo tiempo que intentamos desentrañar las razones contenidas en los informes de evaluación elaborados por los revisores, encontramos un buen número de proposiciones y comentarios que tienen que ver más, aunque no siempre, como enseguida
  • 22. 26 veremos, con el propio revisor que con el artículo revisado. Al analizar todas esas proposiciones que no suponían objeciones, entendimos que una buena parte de ellas tenían que ver con otras tareas no evaluativas que los revisores asumían, es lo que denominaremos en lo sucesivo tareas espontáneas de los revi- sores. Además, otro buen número de elementos tenían una función retórica, esto es, parecían dedicados a clarificar lo que se quería decir y no tanto a decir o exponer nuevas ideas. También, en muchos otros casos se trataba más que de juicios sobre el trabajo, de argumentos que sostenían esos juicios o, en muy pocos casos, diálogos o conversaciones encubiertas con el autor o autores. Esto nos llevó a diferenciar estilos o actitudes diferentes en los distintos eva- luadores. Finalmente, otro buen número de elementos tenían que ver con el modo de organizar la propia revisión. De esta manera, agrupamos todos los comentarios que no suponían objecio- nes en estos cuatro apartados: 1. Las tareas no-cuestionadoras asumidas por los revisores 2. Las actitudes adoptadas. 3. Los sistemas empleados para dar orden y organizar la revisión. 4. Los recursos usados para esclarecer la intención de la revisión El análisis de este material puede ayudarnos a estudiar la labor del revisor y suscitar, como señalábamos anteriormente, una toma de conciencia colectiva en la que cada cual pueda objetivar sus preferencias y, al hacerlo, si llega el caso, explorar la posibilidad de enriquecer su modo de hacer las revisiones. Tareas no-cuestionadoras Hemos visto que los revisores pueden asumir tres diferentes tareas además de la de exponer sus objeciones: apoyar al autor, destacando aspectos que son de interés o que son valorados como relevantes, prometedores o interesantes, clarifi- car conceptos que parecen relevantes o sugerir alternativas precisas y viables a las objeciones realizadas. Es de destacar que estamos hablando de revisiones en las que se rechaza el artículo, de ahí que se asuma que deberán predominar los jui- cios frente a las felicitaciones, pero es que, como mencionábamos más arriba, la cuestión es si es posible conseguir que sin perder el rigor podamos hacer nuestra vida más agradable. En la tabla VII adjunta presentamos el porcentaje de las pro- posiciones o argumentos dedicados a cada una de esas tareas. Como puede apreciarse, la totalidad de los revisores advierte elementos posi- tivos en el trabajo. Es muy común que esto ocurra en el inicio de la revisión, en la que se destaca la relevancia social o potencial del trabajo, el esfuerzo reali- zado. También, y en contra de nuestra apreciación inicial, ocurre lo mismo en un 50% de los casos durante el desarrollo de la evaluación. Sin duda algo en principio más difícil de hacer, puesto que el énfasis se está poniendo en justificar un juicio adverso. Como editores no tenemos ninguna duda de que los revisores actúan con un indudable compromiso con la tarea, por eso, y desde esa seguridad, quizás sea el momento de hacer ver la necesidad de subrayar esa otra dimensión de la evaluación: el reconocimiento del otro. Hemos tenido la paciencia de contar cada una de las menciones en las que se destaca el valor del trabajo y el total es de 129, lo que supone una media de 2, 58 comentarios positivos por revisión ¿Es esta cifra razonable? ¿Cabe alguna reflexión al respecto?. Por supuesto, hablamos de reconocer al otro, y no de actos de mera cortesía (aun cuando ésta no debería ser despreciada).
  • 23. 27 TABLA VII Tareas asumidas espontáneamente por los revisores: apoyar, sugerir, clarificar TA R EA S N R evisores % (sobre los 50 revisores) APOYAR f % (f)a 1. Recoger Méritos AL PRINCIPIO DEL INFORME: ANTES 35 70 54 41,86 2. Recoger Méritos durante la argumentación.: DURANTE 26 52 58 44,96 3. Recoger Méritos AL FINAL DEL INFORME: FINAL 11 22 17 13,17 T otal reco ger m éritos (Relevancia, interés, novedoso) 43 86 129 100 S U G ER IR 1. Se proporcionan sugerencias precisas. Ejemplificar las sugerencias 22 44 2. Sugerir ampliar el equilibrio entre apartados 3 6 Sugerencias: alternativas terminológicas más precisas 18 36 3. Sugerencias de mejora metodológica 13 26 4. Sugerencias de clarificación de conceptos. No se justifica la pertinencia psicológica 4 8 5. Sugerencias de estructuración según apartados y subapartados. 3 6 T otal sugerir 63 C LA R IFICA R 1. Se clarifican conceptos 14 28 2. Se clarifica el enfoque actual (frente al “arcaico”) 3 6 T otal clarificar 17 a Se trata de los129 argumentos de apoyooreconocimientode méritos identificadosen los informes escritos de losrevisores. Además, los revisores asumen otras dos tareas muy importantes. Clarificar conceptos (algo poco frecuente) que a su juicio lo requieren y sugerir medidas fac- tibles que podrían mejorar el trabajo. Dejamos a los lectores que valoren las cifras encontradas (cfr., Tabla VII). Actitudes o estilos de los revisores Una buena parte de los contenidos de muchos revisores puede interpretarse como si reflejaran una actitud ante la evaluación. Es el caso de las argumentacio- nes que en sí mismas no encajan dentro de las categorías hasta ahora identifica- das o de las apelaciones a los autores (“entiendo que los autores pueden pen- sar:..”). En este caso más que realizar cómputos hemos optado por utilizar su pre- sencia como indicadores de actitudes o estilos, lo que nos ha permitido diferenciar tres muy diferentes. El primero, que denominamos evaluativo, consiste en exponer el juicio crítico que merecen las distintas dimensiones del artículo. Con esa actitud, el revisor asume esencialmente la necesidad de hacer ver al autor los aspectos que se obje- tan o que parecen discutibles o revisables. Hemos entendido que un 70% de los revisores tienden a adoptar este estilo. Un ejemplo de este tipo de revisión podría adoptar el siguiente tono: “No se clarifica el marco teórico adoptado...... Se echa en falta una revisión actualizada.... El artículo no está bien estructurado..... El método es adecuadoa los objetivosque se persiguen........”
  • 24. 28 El segundo estilo lo hemos denominado argumentativo, pues en él los revisores desplazan el acento de los juicios a los argumentos que el propio revisor sigue en el proceso de valoración. Es muy difícil trasladar a estas páginas un ejemplo real, por lo que ofrecemos un modo característico de proceder que corresponde a este estilo. “Si he comprendido bien, el objetivo del trabajo consiste en…Entiendo por ello, que la divi- sión que se hace en la introducción podría no reflejar con claridad el cometido perseguido.Al leer la primera parte se tiene la impresión (o al menos esa es la que he tenido) de que se nos va a hablar de… (referencia breve al texto..) Mientras que al leer el segundo apartado (de nuevo referencia al texto..), la impresión es más bien que únicamente se va a tratar de... Entiendo por ello que el lector puede quedar confundidodesde el principio y que podría ser más eficaz admi- tir de entrada…” Por supuesto, los argumentos conducen a ciertos juicios, pero éstos, como quizás quede claro en el ejemplo, parecen supeditados a la validez de aquéllos. A veces da la impresión de que el revisor entiende que los autores podrían contra- argumentar y que el juicio o valoración específica que él revisor hubiera hecho quedaría condicionada a esa hipotética contra-argumentación de los autores. A nuestro juicio, un 26% de los revisores se sitúan en esta categoría. El tercer estilo es claramente minoritario, únicamente parece definir la labor de dos revisores. Lo hemos denominado dialógico, pues lo que en el estilo argu- mentativo se vislumbra (esto es, la posibilidad de una contra-argumentación), en éste otro se manifiesta de forma expresa. De esta manera, el autor es convocado al texto, bien asumiendo lo que aquél puede llegar a pensar en torno a lo que se le dice o bien invitándole expresamente a ofrecer su visión una vez conocida la repercusión que han tenido sus palabras. “Quizás los autores puedan razonar que esta objeción (que se acaba de exponer y argumentar)no es tan decisiva, pues lo importante es…(se expone el posible pensamiento atribuido a los auto- res). No obstante, la cuestión a considerar es si, con la información presentada,es posible enten- der o no la diferenciaentre las dos categorías expuestas(..). En todo caso, cabe admitir que …” Por supuesto, los juicios son sugeridos como hipótesis y quedan en suspenso con la expectativa de que sea el propio autor quien los elabore de forma definitiva. Es inevitable que se entienda que un estilo es mejor que otro. Pero de nuevo y aunque algunos son más elaborados, de ello no se desprende que sean mejores, pues, en parte, la actitud adoptada depende del artículo evaluado. Poco cuesta pensar, en este sentido, que algunos trabajos requieren que el revisor precise sus objeciones, asegurándose de que no haya duda alguna al respecto. Otros pueden suscitar interrogantes al propio revisor, ante los cuales, sólo pueda exponer sus argumentos. Finalmente, es posible que los problemas objeto de análisis admi- tan varias perspectivas y el revisor, asumiendo este hecho, se adentre en conside- rar simultáneamente la suya y la que atribuye expresamente a los autores, susci- tando una conversación encubierta con ellos (Sánchez, 1996). Mijail Bajtin (1930 y Bakhtin, 1986) y James Wertsch (1991) dentro de su modelo dialógico de análisis de las producciones textuales, nos enseña a tratar de desvelar las “voces” que habitan en todo texto. Un revisor puede adoptar un papel y una voz de “la ciencia” y dirigir su escrito a “la Revista”. Ambas voces se agigantan y el autor que recibe el informe percibe su papel de objeto evaluado y juzgado, pero no de interlocutor. En otros casos, sin embargo, se aprecia que el revisor, sin cambiar en absoluto el contenido objetivo del análisis —e incluso sin alterar las críticas recogidas— redacta su texto dirigiéndose ostensiblemente al autor como interlocutor “de pleno derecho”.
  • 25. 29 Finalmente, hemos identificado algunos recursos que emplean los revisores para dar orden a la revisión y los hemos agrupado en categorías. En una de ellas, nos limitamos a considerar el modo como se organiza la propia revisión, en la otra, un relatorio de algunos recursos más específicos. Organización de la revisión Las revisiones pueden estar organizadas de diferentes modos. El más sencillo de todos es, obviamente, seguir las pautas que ofrece la propia revista (este es cla- ramente minoritario, sólo un revisor lo sigue —cfr., Tabla VIII—), pero hemos encontrado otros muchos sistemas. Algunos autores siguen, con mayor o menor rigor, la lógica de la investigación científica: justificación, metodología, análisis de los resultados y de la discusión (el 16%). Otros emplean sistemas menos preci- sos: cuestiones de contenido y formales (32%), etc. En la tabla VIII adjunta figuran los sistemas que hemos identificado y la presencia de cada uno de ellos en el total de las cincuenta revisiones. TABLA VIII Marcos que utilizan los revisores para hacer el análisis de los artículos MARCOS ¿Desde dónde hacen el análisis los evaluadores? N Revisores % (sobre los 50 revisores) M arco Externo: Pautas sugeridas por la revista I&A 1 2 Lógica de investigación 8 16 Asuntos mayores vs., menores 1 2 Formal vs., contenido 16 32 Total marcoexterno 26a 52 M arco Interno : Lógica del artículo (Contraejemplo: no es “lógica investigación”) 9 18 Marco Ad hoc 20 40 Listado de limitaciones 5 10 Total marcointerno 34a 68 a: La presencia de más de 50 (los revisores) se debe a que en algún caso cabía la adscripción a más de una categoría, por lo que se computó presente en ambas (en aras de mayor información sobre los marcos utilizados por los revisores). Se ilustra esto en el anexo 1, en el que se recogen numerosos ejemplos indicando el revisor respectivo. Como puede observarse, el orden más habitual es emplear un sistema que se adapta a las peculiaridades de cada trabajo (68%), bien sea a su lógica interna (18%), bien sea a lo que hemos denominado, marco ad hoc (40%). Ilustraremos esto con dos ejemplos. Ejemplo 1 (revisor 16 B): El revisor (16 B) inicia el informe con un reconoci- miento de méritos, seguido de un breve resumen del artículo objeto de comenta- rio. A continuación se focaliza en el núcleo del artículo y con los propios argu- mentos del autor los va contraponiendo y evidenciando las limitaciones y contra- dicciones (de gran interés y con un estilo dialógico). Tras lo cual hace una serie de sugerencias de re-escritura del artículo y de revisión en profundidad. Ejemplo 2 (revisor 8 A): El revisor estructura el informe en dos grandes aparta- dos. El primero en torno al siguiente enunciado “Con objeto de mejorar la comunicabilidad del informe... modificarse” en donde queda claro el propósito