Este documento presenta una propuesta de evaluación para el programa de inglés "Objective KET" utilizado en el Instituto Andani de Morelia para estudiantes de sexto grado. La evaluación busca determinar la viabilidad y efectividad del programa bajo la modalidad bilingüe. El programa Objective KET, creado por la Universidad de Cambridge, enseña las cuatro habilidades del idioma inglés a lo largo de 20 unidades y evalúa a los estudiantes a través de exámenes de lectura, escritura, comprensión auditiva y convers
1. Lorenzo Antonio Aguilar Magaña – Matrícula: 121285
Licenciatura:“Planeación yEvaluación Educativa” UNIVIM
Cuatrimestre :Teorías y Modelos de Planeación;Unidad 3
Tutor: Federico Pérez Rangel
Actividad 1.2 – DISEÑO DE EVALUACIÓN
EVALAUCIÓN: PROGRAMA DE INGLÉS PARA 6° GRADO
INSTITUTO ANDANI DE MORELIA
Antecedentes
El Instituto Andani de Morelia es una institución de educación básica ubicada en la calle Mozart #646,
Col. La Loma en la ciudad de Morelia, Michoacán. Como institución educativa, el Instituto Andani de
Moreliaofrece unaeducaciónbasadaenel diálogoyla participaciónde cadamiembrode su comunidad,
maestros,padresyalumnosloque da como resultadounaconvivencia de respeto, tolerancia, diálogo y
valores universales. Como Misión, el Instituto Andani de Morelia se propone ofrecer un servicio
educativode calidadque asegure laformaciónde personascompetentes, favoreciendo el desarrollo de
sus habilidadesque le permitanacceder a mejores condiciones de vida, generando hombres y mujeres
íntegros con alto sentido humano. Por otro lado, la Visión que tiene es la firme convicción de que los
alumnos egresados serán capaces de hacer uso de sus habilidades, conocimientos, actitudes, valores,
emocionesymotivacionesparahacerfrente acada situaciónde suvida. Comotal,el Instituto Andani de
Moreliareconoce que esuna gran tareaeducativalaformaciónintegral ypersonalizadade cada alumno,
tarea de todoslosmaestrospor loque entendemosque esfundamental el trabajoenequipo para lograr
un trabajo coherente, fundamentado en unos criterios de educación común.
Puestoque laeducaciónenel InstitutoAndani de Moreliaestá basadaenel diálogo y la participación de
cada miembrode sucomunidadpretende lograrque dicho diálogo sea competente no solamente en el
idiomamaternode susestudiantes(Español)sinotambiénpretende que sea competenteen los idiomas
Inglés y con introducción al Francés a través de la formación académica en modalidad bilingüe de
maneraque la mitaddel día escolar las clases son impartidas en haciendo uso del idioma Inglés bajo el
métodode la“InmersiónTotal”(La inmersión de la lengua es un método de enseñar un segundo idioma.
Difiere de un curso de idiomas tradicional. La inmersión de la lengua utiliza la propia lengua como
herramientadeenseñanza,rodeando o "sumergiendo"a losestudiantesen el idioma) llevandouna carga
de materias propias de la enseñanza del idioma Inglés como lo son Grammar, Speelling, Vocabulary,
Science,Reading,WrittenExpressionyOral Expressionque ensuconjuntopermitenel ampliouso de las
cuatro habilidadescomunicativas:Escritura,Lectura,AudiciónyExpresiónOral. La segunda parte del día
escolar las clases son impartidas en Español siguiendo la carga curricular aprobada por la Secretaria de
Educación en el Estado como lo son las Matemáticas, Ciencias Naturales, Educación Cívica y Ética,
Historia, Geografía, Conocimiento del Medio, entre otras.
Para tales motivos, el Instituto Andani de Morelia se apoya de material bibliográfico diseñado para
complementar el material bibliográfico propuesto por la SEE, para el área de Español se apoya del
programa “Me Divierto y Aprendo” de Editorial Montenegro que consta de un cuaderno de trabajo
elaborado con la finalidad de reforzar los conocimientos, habilidades y actitudes (competencias)
necesarios para el cumplimiento de los propósitos establecidos en el programa oficial para los seis
grados de educación primaria, y complementa el libro de texto gratuito. Por otro lado, para el área de
Inglésel InstitutoAndani de Morelia se apoya desde hace tres años en el material “Objective KET” que
2. ofrece a susestudiantesunapreparacióncompletaparael Examende laUniversidadde Cambridge,KET.
Este curso combinaun desarrollolingüísticosólidoyuna preparación sistemática y práctica a lo largo de
su curso,lo cual complementa el programa de Inglés llevado dentro de la institución en particular para
para losalumnosque cursan el SextoGradode su educaciónbásica,ya que losdemásgruposde primero
a quinto se apoyan de otro material publicado por la Universidad de Oxford.
El objetivo central de la presente evaluación es determinar la viabilidad y efectividad del programa
“Objective KET” de la Universidad de Cambridge bajo la modalidad de educación bilingüe con los
alumnos que cursan el sexto año de educación básica hacia el interior del Instituto Andani de Morelia.
Para llevara cabo tal objetivo,me basaré enunapropuestametodológicade evaluación para programas
de orientación educativa basada en 5 etapas que consisten en:
1. Supuestos previos
2. Viabilidad de la evaluación
3. Validación de la evaluación
4. Evaluación del proceso
5. Evaluación de la eficacia
Iniciaré entonces por responder una serie de cuestionamientos sugeridos que guiarán el proceso de
evaluación del programa en cuestión.
¿Por qué y para quién evaluamos?
La presente evaluaciónse hace conel objetivode comprobar la efectividad del programa de Inglés para
losalumnos que cursanel 6° grado enmodalidadbilingüe enel InstitutoAndanide Morelia apetición de
la Dirección y Consejo Técnico del Instituto Andani de Morelia.
¿Qué programa vamos a evaluar?
El programa que se evaluará será el propuesto por la Coordinación de Idiomas del Instituto Andani de
Moreliaque se apoya enel material “ObjectiveKet” Student’sBook de CAPEL,Annette ySHARP, Wendy,
Ed. Cambridge University Press. Segunda Edición, 2013.
¿Se puede evaluar ese programa?
Si.Este programase puede evaluar entérminosde suefectividadyalcancesparapoderutilizarel tiempo
de manera efectivaenpotencializarlashabilidadesdel lenguaje (Escritura,lectura,comprensiónauditiva
y comprensión oral)
¿Se ha llevado a cabo el programa tal y como se diseñó?; ¿Cómo ha sido esa puesta en marcha y por
qué funciona el programa?
A lo largo del presente ciclo escolar se puede decir que el programa no se ha llevado tal y como fue
diseñado. No ha sido posible llevarlo a cabo en su totalidad debido a que la carga de actividades
extracurriculares de la institución ha llegado a interferir con el desarrollo y desenvolvimiento del
programa ya que se han tenidoque omitir,truncary acortar “extensionactivities” propuestastanto por
el material bibliográfico como por el docente.
¿Se ha logrado lo que nos proponíamos y por qué?
A final de cuentassi se han logradolosobjetivosacadémicosdebidoaque se distribuyen los contenidos
de los materiales en los días y/o semanas efectivas que se tienen para ello de manera más rápida para
alcanzar a terminarlosmaterialesbibliográficosevitandoasílasinconformidadesporparte de lospadres
de familia por el alto costo de estos materiales.
3. Fase 1: Supuestos previos o Preliminares
Antes de iniciar el diseño de la evaluación de cualquier programa de Orientación (y por tanto en el
momento de iniciar la propia planificación y diseño del mismo) hay que fijar los supuestos teóricos-
previos en los que se va a basar dicha evaluación. En ellos se debe especificar, entre otros aspectos:
a) Finalidad: La presente evaluación se hace con el objetivo de comprobar la efectividad del
programa de Inglés para los alumnos que cursan el 6° grado en modalidad bilingüe en el
InstitutoAndani de Moreliaapeticiónde laDirecciónyConsejoTécnico del Instituto Andani
de Morelia.
b) Papel del evaluador: El evaluadorrealizaráunanálisisinternoenvirtudde que él es además
maestro de idioma Inglés por lo que conoce de primera mano las necesidades tanto de los
maestros en términos de tiempo para lograr llevar a término los materiales y conoce
también las necesidades de los estudiantes quienes al término del 6° grado son todos
posibles candidatos a certificar su nivel de Inglés bajo los estándares internacionales de la
Universidad de Cambridge.
c) Destinatarios, receptores de la evaluación: Los destinatarios o receptores de la evaluación
ademásde ser el programacomo tal se recurrirá en su momento a hacer una evaluación del
cuerpo docente así como de los alumnos como variables dentro de este programa.
d) Tipo de información que se va a dar: La información que se recopilará será del tipo
cuantitativa para apoyarse en el manejo de la misma a través de la estadística y otras
ciencias exactas para llevar un conteo de promedios. De la misma manera se recopilará
información de valor cualitativo referente al desempeño docente, estudiantil así como de
carga de horas y actividades extracurriculares que intervienen tanto de manera positiva
como negativa en el programa de Inglés.
e) Utilidad, adecuación de la evaluación en el contexto a que va dirigido: La utilidad de esta
evaluacióngiraráentornoa obtenerlecturasconfiables,veracesy de alerta como fuente de
apoyo para la toma de decisiones tanto de la Dirección y del Consejo Técnico Escolar del
InstitutoAndani de Moreliacon el fin de mantener o corregir algunas prácticas que hasta el
momento se han venido haciendo dentro de la institución.
Estos aspectos,juntocon las características del programa y las del contexto en que se va a llevar a cabo
el mismo,nosserviránparadeterminarel modeloytipode evaluaciónenel diseñode ésta, una vez que
se valide el programa y podamos pasar a precisar la metodología de evaluación.
En resumen, en esta primera pretendemos contestar a la cuestión; ¿por qué y para quién evaluamos?
“La presenteevaluación se hacecon el objetivo de comprobarla viabilidad y efectividad del programa de
Ingléspara los alumnosquecursan el 6° grado de educación básica en modalidad bilingüe en el Instituto
Andani de Morelia a petición de la Dirección y Consejo Técnico del Instituto Andani de Morelia.”
Fase 2: Viabilidad de la evaluación
Para esta segunda fase se hará la evaluación del diseño del programa:
¿Es un programa y un buen programa para este contexto?
4. SI, este programa de Inglés que cursan los niños del sexto grado en el Instituto Andani de
Morelia es un buen programa puesto que ha probado ser efectivo en todo el mundo bajo el
contexto de haber sido creado por la Universidad de Cambridge en Inglaterra en su programa
ESOL (English for Speakers of Other Languages) puesto que sus contenidos y actividades están
debidamente alineados para los requisitos de habilidades necesarias para los exámenes de
certificaciónque dictanlosestándarescomunesdel marco Europeo de referencia para idiomas.
¿Es un programa evaluable?
Sí, esun programa evaluable.Como tal el programa es efectivo, lo que convendría evaluar es si
el programa es adecuado para una u otra institución en virtud de las necesidades de la
institución.
Esta segundafase se divide en tres aspectos o dimensiones fundamentalmente: a) características de la
calidad formal/intrínseca del programa, que hace referencia al conocimiento de las características
técnicas del programa, es decir, trata de responder a las siguientes cuestiones:
a) ¿De qué programa se trata?
Se trata de un programa basado en la certificación de nivel básico que demuestra que el
alumnopuede usar el idioma Inglés para comunicarse en situaciones sencillas certificando
que el estudiante ha iniciado correctamente el aprendizaje del idioma Inglés.
b) ¿Cuáles son sus metas?
Sus metasresidenenrespaldarpormediode unexamende certificacióninternacional el
nivel de dominiodelidiomaInglés.
c) ¿Quiénes son los destinatarios?
KET está diseñadoparaestudiantesconunnivel básicode Inglés,aquel necesarioparaviajar
a un país extranjero.Loscandidatosdebenestarencapacidadde entenderlospuntos
principalesde textossimple,comunicarse enlassituacionesmásfamiliaresyentendernotas
cortas y estándaresydireccionesoralessimplesyestomadopor más de 40,000 personas
cada año enmás de 60 países.
d) ¿Cuál es la estructura y contenido del programa?
El programa KET tiene trespartes:Lecturay Escritura,ComprensiónAuditivayConversación
divididasalolargode 20 unidades.
Cada parte se envíaa Cambridge para sercalificadaexceptolaparte de Conversaciónlacual
esrealizadapordos examinadoreslocales.Todoslosexaminadoresestánacreditadospor
Cambridge ESOL.
Lectura y Escritura(Parte 1) 1 hora 10 minutos
La parte de Lectura y Escritura evalúalahabilidadde leeryentendertextosfactuales
tomadosde señalizaciones,folletos,periódicosyrevistas.Loscandidatosnecesitanentender
5. losmensajesprincipalesytenerestrategiasparamanejarpalabrasyestructuras
desconocidas.
Se evalúaa loscandidatoscon base ensu habilidadparallenarespaciosenblancoentextos
simples,transferirinformaciónaformulariosycompletarunatareade escrituracotidiana
como escribirunanotao mensaje cortode alrededorde 10-15 palabras,para demostrar
control de estructuras,vocabulario,ortografíaypuntuación.
Comprensiónauditiva(Parte 2) 25 minutos
La parte de comprensiónauditivaevalúalahabilidadde entendermaterial grabadocomo
anunciosymonólogosloscualesestángrabadosa unavelocidadmoderada.Tambiéndeben
entenderinformaciónfactual enlasgrabaciones.
Conversación (Parte 3) 8-10 minutos
La pruebade conversaciónevalúalahabilidadde interactuará enInglésconversacional con
un examinadoryconotro candidato.Loscandidatosdebenestarencapacidadde responder
y hacer preguntassobre ellosmismosyhablarlibremente sobresusgustosydisgustos.
Usualmente loscandidatostomanlapruebade conversaciónenparejas.
e) ¿Qué agentes son los responsables de llevarlo a cabo?
Los agentes responsables de llevarlo a cabo son examinadores mayores de 23 años con
grado de maestros, licenciados en idiomas o grado con nivel C1 (Advanced). Experiencia
mínimade 3 años como docente ante grupodel rango de las edades a examinar, cualidades
para conectar con los alumnos y preferentemente nativos de países angloparlantes. Estos
sinodalesoexaminadoressonsometidosycapacitadosa lasdinámicaspropias que requiere
el examende certificaciónsiendoasuvezavaladospor la mismaUniversidadde Cambridge.
f) ¿Cuál es la temporalización del mismo?
La preparación de los candidatos a presentar la certificación KET de la Universidad de
Cambridge es de 1 año escolar (200 días de clases efectivas que comprenden un ciclo
escolar) bajo la modalidad de formación bilingüe) a lo largo del 6° año de primaria.
g) ¿Qué tipo de recursos requiere?
Para que este programa sea efectivo para cada uno de los alumnos, es necesario que los
candidatos hayan tenido una formación bilingüe a lo largo de sus cinco años previos de
educación primaria ya que desde el primer año se les involucra a los alumnos en las
dinámicas,actividadesyhabilidadesnecesariasparapodertomarel examen de certificación
aunado al apoyo bibliográfico del que comprende este programa así como flashcards y
materiales propios de los docentes que están a cargo de los grupos.
h) ¿De qué tipo de actividades, estrategias o habilidades se trata?
Se trata de actividades que involucran el uso eficiente de las cuatro habilidades
comunicativas para los cuales tanto el programa como el docente se apoyan de estrategias
didácticas como:
T.T.T. (Test – Teach – Test) Evaluar – Enseñar – Evaluar
6. P.P.P. (Presentation – Practice – Production) Presentación – práctica - producción
T.B.L. (Task-based Learning) Aprendizaje basado en tareas
P.B.L. (Problem-based Learning) Aprendizaje basado en Resolución de problemas.
C.L.I.L. (Content Language Integrated Learning) Aprendizaje a través de la Integración de
Contenido de Lenguaje.
Entre otros…
i) ¿Qué metodología requiere?
Este Programa requiere de una metodología basada en la Teoría Constructivista para que el
alumnopuedairconstruyendosuaprendizaje así como una metodología de inmersión total
en el lenguaje.
Esta subfase odimensiónde laviabilidad nos ofrece un conocimiento técnico del programa que se va a
evaluarytrata de responderala cuestión general ¿qué programa vamos a evaluar?, fijando la atención
básicamente en la calidad de su estructura formal, pero pudiendo comprender también aspectos tales
como su congruencia con el marco teórico de referencia y con el diagnóstico previo. En definitiva,
permite al evaluadorinternoexaminar(ymodificaren su caso) la adecuación del diseño del programa a
los requisitos mínimos de programación, a lo que se añade en el caso del evaluador externo, la
posibilidad de familiarizarse con el programa a evaluar
En resumen, esta subfase de la viabilidad del proceso evaluador comprenderá el conocimiento y
familiarizacióncontodoslosaspectosyfactoresque configuranel diseño de planificación del programa
de Orientación.De ahí que seanecesarioque el programaa evaluaresté escritoconespecificaciónde los
aspectos citados
La metodología de trabajo en esta subfase de evaluación será el análisis crítico del contenido del
documento escrito en el que se refleja el programa, así como el análisis comparativo con otros
programas emanados del mismo marco teórico y de reconocido prestigio y/o eficacia.
Un segundo aspecto o dimensión de esta fase es la adecuación y adaptación al contexto, es decir, se
trata de responderalapregunta¿es adecuado y adaptable el programa al contexto donde va dirigido?;
para ello nos planteamos una serie de cuestiones que se derivan de la general:
j) ¿El programa a evaluar parte de un Análisis del Contexto?
Si, el programa a evaluar parte de un contexto global de comunicación y competencias
académicasy actitudinalesque formanparte de larealidadactual enla que vivimos. De esta
manera se apega también a los estándares de calidad que exige el marco de referencia
común europeo para el dominio de un idioma.
k) ¿Surge de un Análisis de Necesidades?; ¿cuál es la/s necesidad/es de partida?
Si,surge de lanecesidad de preparar a los candidatos a enfrentar el mundo competitivo en
el que vivimos de manera exitosa a través de la formación continua de su educación básica
bajo la modalidad bilingüe para así certificar su nivel de Inglés como herramienta para
7. alcanzar mayoresymejoresoportunidades en el ámbito académico, social, cultural y en un
futuro laboral.
l) ¿Dispone el centro de los recursos precisos o está dispuesto a facilitarlos?
No.Desgraciadamente el Instituto Andani de Morelia es una institución educativa de nivel
básico de reciente fundación (2010) por lo que no cuenta con todos los recursos precisos
como proyectores, pantallas, reproductores de DVD y de VHS, grabadoras suficientes o
bocinas suficientes para los casos en los que los mismos docentes tienen que ser
facilitadoresde estos recursos a través de sus computadoras portátiles. Se han encontrado
algunasdificultadesenel caminoenel sentidode que en ocasiones para las presentaciones
o talleres que se han tenido que impartir se han hecho las debidas requisiciones de
materialesporlasvías adecuadasperoporfalta de presupuesto no se han podido concretar
o lograr en su totalidad lo que se está pidiendo para la plena y fluida realización de los
talleres, capacitaciones o incluso clases multimedia.
m) ¿Permite la estructura organizativa del centro (horarios, tutoría...) la realización del
programa?
Sí. Aunque no al 100%, el Instituto Andani de Morelia ha encontrado la manera de poder
equilibrarensuhorariomatutino la impartición de las materias relacionadas con el área de
Español así como las del área de Inglés, lo ideal sería que basados en el principio de
“InmersiónTotal”losalumnospudierantomarlasclasestanto del área de Español (Ciencias
Naturales, Historia, Geografía, Conocimiento del Medio, Matemáticas, etc) en Inglés, pero
desafortunadamente los docentes calificados (carrera magisterial) no están debidamente
preparadosenel idiomaInglés,loque dificultaque este principiode puedallevaracabo. Por
otro lado los docentes de idioma Inglés, con pleno dominio del idioma no cuentan con la
certificaciónnecesariaparapoderimpartirclasesante grupode tiempo completo. Aunado a
esto tenemos que en el caso de darse estos dos casos en una sola persona. Licenciado en
Educación certificado para la Enseñanza de Idioma Inglés, no hay a la fecha un programa
académico que pueda reunir ambas cualidades, por lo mismo no existe la bibliografía de
apoyo para este propósito y finalmente al no haber todo esto no hay nada debidamente
registradoni aprobadoanteslaSecretaría de Educación en el Estado ni ante la Secretaría de
Educación Pública.
La metodologíaparalaevaluaciónde estasubfase serábásicamenteel examende losdatosextraídosdel
Análisis de Contexto y del análisis de necesidades, completado con alguna técnica de recogida de
informacióndirigidaaaspectosque noaparezcansuficientemente explicitados enel análisisde contexto
(actitudante el programa de losagentesimplicados, expectativas, grado de implicación en el diseño...)
El tercer aspecto de esta fase es c) la aceptación, que trata de responder a la cuestión ¿es aceptable el
programa en el contexto donde se dirige?; para responder, también nos planteamos una serie de
cuestiones, entre otras destacamos las que siguen:
n) ¿Es aceptado por todos los agentes o subsistemas de la comunidad educativa?
Sí. Aunque nodel todoaceptadoo respaldadoporlosentesreguladoresde educaciónbásica
enel estadoy en el país se puede llevar a cabo y correr este programa de manera “interna”
de tal formaque al no haber los docentes debidamente calificados para llevarlo a cabo son
8. otros docenteslosque aparecenenlaplantilladocente de conformaciónante la SEE pero de
manera interna se maneja el organigrama conforme a las necesidades propias de la
Institución así como la carga horaria para la puesta en marcha del programa.
o) Está integrado en el Proyecto Educativo de Centro (P.E.C.)?
Si, el programa se encuentra integrado al PEC.
p) ¿Está contemplado en la programación general del departamento de orientación?
Si. Dado que el idioma Inglés es elemental dentro de la educación por competencias que
actualmente se lleva a cabo en nuestro país, se contempla la enseñanza de este idioma
como segundoidiomaenlasinstitucionesde educaciónque tienencomo calidad obligatoria
la imparticióndel mismomásnocomoparte medular de la conformación del currículo. Esto
como lo mencionaba anteriormente, se lleva a cabo de manera interna de forma que
mientrasse respete laconformacióndel currículo básico dentro de un tiempo determinado
es posible dedicarle más tiempo del ya establecido a otro material o programa.
La metodologíabásicamente laformarálaconsultaal Proyecto Educativo de Centro (PEC), entrevistas o
reunionesconlosagentesde lacomunidadeducativa,dinámicasde grupos, constatación con el Análisis
de Contexto...
En cuanto a la temporalizaciónde lafase,esdecir,el momentode realizarla y tomar decisiones sobre la
viabilidaddeldiseñodel programa,variará,obviamente, según la situación o tipo de evaluación de que
se trate. En el caso de que el evaluador(orientador) seael propio diseñador de programa, el control del
mismobajoestoscriteriosdeberátenerse encuentatantoenlaelaboracióndel programa como una vez
terminadaysiempre antesde suimplementaciónytendráuncarácter de informaciónretroactivapara la
mejora del diseño. Lo mismo cabe decir en el caso en el que el programa haya sido diseñado por otros
(tutores,programaspublicados...)seacual seael grado de compromiso del orientador (evaluador) en la
implementación, siempre y cuando el programa no se haya llevado a la práctica, por lo que a las
propuestasde mejorasobre el diseñose puedeañadirlatomade decisiónsobre laimplementación o no
del programa.En el caso de que el programase hayaimplementado,lógicamente, la evaluación de esta
fase del modelose realizarácuando el programa esté disponible para el evaluador y tendrá un carácter
sumativo, sancionador y de información para una futura mejora del diseño del programa.
Fase 3: Evaluabilidad o Validación de la evaluación
En estatercera fase de validaciónde laevaluaciónespecíficamente se pretende responder a la cuestión
básicade si el programa reúne lascondicionesparapoder ser evaluado. Si con la superación del control
de la fase anterior podemos afirmar que lo que tenemos entre las manos es realmente un programa
porque responde a la estructura formal de lo que se considera como tal -y no es una mera serie de
actividadesmásomenossecuenciadasouncúmulode buenasintencionesounapequeñaintervención-
y esadecuadoy aceptable al contexto, necesidades y subsistemas a los que se dirige e implica. En esta
fase se pretende comprobarque los elementos formales están diseñados de tal forma que pueden ser
evaluados, que reúnen los requisitos mínimos para que puedan «pasar» aceptablemente los criterios,
valoraciones, diseños y análisis propios de la evaluación de programas, si merece la pena los costes y
esfuerzos de la misma, e incluso los aspectos en que se debe centrar la evaluación.
9. Las dimensiones propias de esta fase no quedan determinadas ni concretadas si no se establecen una
serie de criterios de validación de evaluación; así, Berk y Rossi (1990) estiman que un programa no es
evaluable si:
1. Sus objetivosno estánclaramente especificados.
Si lo están
2. No estádefinidalaestructuray componentesde formaadecuada.
Si lo están
3. No se puedenpredecirconunmínimode rigorlas consecuenciasde suno
aplicación. Si se puede
4. No se conocenlosrecursosrealesdisponiblesparaimplantarlo.
Si se conocen
5. Sus objetivosnoestánformuladosde formaoperativa/conductual (si noson
mediblesyobservables) Si lo están
6. Las actividadesplanificadasnosonsuficientesparalaconsecuciónde los
objetivosplanteados. Si lo son
7. No tiene delimitadaslasaccioneso actividadesarealizarenunas
coordenadasespacio/temporales. Si las tiene
8. No se conocenlosrecursosmaterialesyhumanosdisponiblespara
implantarel programa. Si se conocen
9. Existengravesobstáculosy/ocontingenciasprevisiblesque imposibiliten la
ejecuciónde laevaluación. Si existen
10. No existenenel programaprocedimientosparalarecogidade información
de losdatos de evaluaciónosonde muybaja calidad. Si existen
11. Los datosprevistossonde muybaja calidad.
No lo son
12. El coste previsto(esfuerzo,tiempo,recursosmateriales) essuperiorala
utilidady/oventajasde lamisma. Si lo es
Para que un programa sea evaluable ha de cumplir la mayoría de estos criterios (aunque no
necesariamente todos) yenunnivel aceptablede cumplimiento. Ante la inexistencia de una normativa
específicaeneste sentido,esel propioevaluador como experto, y a la luz de los supuestos previos que
dirigenlaevaluación(objetivos,destinatarios,utilidad...),el que debe fijarambosaspectos:qué aspectos
consideraprioritariosenlavalidacióndel programayqué nivel debe exigirse enel cumplimiento (logro)
de los mismos.
Lo ideal seríaque para cada criterioantesreferidose fijaraal menosunindicadoracerca de la validez de
la evaluación. De acuerdo con Hernández y Rubio (1992), el peso de cada criterio depende de dos
10. factores: las concepciones y técnicas del evaluador, y las peculiaridades específicas del contexto y
personas implicadas en la implementación del programa.
A su vez,losdatosobtenidosademásde darrespuestaalacuestiónbásicade la fase, ¿es evaluable o no
el programa? y por tanto servirnos, según sea la situación en que se realice la validación, para:
a) Proseguir o no con la evaluación del programa o
b) Tomar decisionesparalamejorade aquellosaspectos que resulten deficitarios en este control.
Nos servirá para fijar aquellos aspectos a los que se deberá prestar más atención en la evaluación y/o
cuáles son aquellos que se deben obviar por no estar suficientemente validados y ser imposible su
mejora en el diseño.
La metodología de esta fase será fundamentalmente, como en la anterior, el análisis de la
documentacióndel programa,de losdatosdel análisisde contextoyde las fases previas al diseño, en el
que primarála valoracióncualitativade lamismaapoyadaenel juicio experto del evaluador, aunque es
aconsejable, en la medida de lo posible, que se pueda cuantificar y objetivar, o al menos justificar
ampliamente con los datos del propio programa.
En lo referente a la temporalización cabe decir lo mismo que para la fase anterior. La fase concluye
cuando se definen estos criterios e indicadores y se comprueba que el programa a evaluar cumple con
los criterios de evaluación mínimos, que se pueden se resumir en que el contexto es favorable para
realizar la evaluación, el programa de orientación en sí mismo es evaluable y el evaluador (externo,
interno o mixto) es capaz de realizar dicha función.
Fase 4: Evaluación del Proceso
En estafase de evaluaciónde proceso el análisisde losdatosypodertomar decisiones. El análisis girará
entorno a la marcha del programatanto ensu adecuacióna la programaciónpreviacomo a los aspectos
dinámicos y de relación del mismo. Tiene por tanto un carácter formativo e implica la realización de
evaluaciones intermedias que permitan la retroalimentación del programa. En cada una de ellas se
puede distinguircomofasessucesivas,laevaluaciónde laimplementaciónylaevaluacióndeldesarrollo.
a) Evaluación de la implementación
Consiste enevaluar«qué» estáfuncionandodel programa una vez que se ha puesto en marcha,
esdecir,la instrumentalizacióndel programade intervención,supuestaenprácticasiguiendolas
etapasy esquemasteóricospreviamente concretados. El fin último de esta fase de evaluación,
escontrastar si hayo no discrepanciasentre el diseñoylarealidad;yencaso afirmativo, realizar
la adaptación pertinente, redefinir el programa para lograr su óptima y adecuada puesta en
marcha. En esta fase nos fijamos o centramos en cinco dimensiones o aspectos que no buscan
otra cosa que la adecuación e identificación de las actividades diseñadas. A partir de estas
dimensiones, especificaremos los criterios e indicadores de evaluación. Las dimensiones a las
que nos referimos son:
Coberturadel programa:El programa se ha dirigidoalossujetosque previamente se
había previsto.
11. Realizaciónde actividades:Se hanllevadoalapráctica todas y cada una de las
actividadesplanificadas.
Ejecuciónde latemporalización:Muy relacionadaconlaanterior,hace referenciaque
se han llevadoacabo lasactividadesprevistasenlosperíodosde tiempoprefijado,es
decirhay unajuste entre latemporalizaciónreal (ejecuciónreal)ylaplanificación
(temporalizacióndiseñada).
Funcionesde losagentesimplicados:Cadaagente implicadoenel programahallevado
a la práctica lasactividadesde lasque eraresponsable,tal ycomose diseñó.
Utilizaciónde losrecursosdisponibles:Se hanempleadolosrecursosmaterialesy
humanos que se habían previsto.
b) La evaluación de desarrollo
Si la evaluaciónde laimplementaciónse refiere a «qué» se hace en un programa, la evaluación
de desarrollo explica el cómo; es decir, qué requisitos debe cumplir el proceso de puesta en
marcha para que se considere adecuado, correcto, acorde con un buen desarrollo del mismo.
Es la fase en la que resulta más difícil definir los criterios e indicadores porque es donde más
claramente entra en juego la visión subjetiva del evaluador, o si se quiere, los aspectos más
cualitativosdel marcoteóricodel evaluador,porloque esfrecuente que,mientras en las demás
etapas o tipos de evaluación se logra definir los criterios de cumplimiento con mayor o menor
dificultad guiándose por la propia finalidad y objetivos de la fase, la de desarrollo se presta a
pretender un visión comprensiva del programa, por lo que se intenta embutir en esta fase los
aspectosque noquedancontempladosenotrasfases,oque supuestamente quedan“limitados”
por un enfoque muy cuantitivista, lo que facilita la traducción de los deseos del orientador en
criterios e indicadores prácticamente inaprensibles y/o en listados amplísimos, con lo que la
confusión puede estar servida.
Comoen lasfasesanterioresbrindamos,amodoindicativo,algunosde loscriteriose indicadores
en que se pueden especificar las tres dimensiones antes dichas.
FASE 5: EVALUACIÓN DE LA EFICACIA
La evaluación de la eficacia trata de realizar una evaluación de resultados y efectos del programa, es
decir, consiste como expresa Aguilar y Ander-Egg (1992) en comprobar en qué medida se están
alcanzando los resultados previstos y también los efectos y resultados no previstos. En ella se trata de
recoger suficiente información para saber si el programa está o no consiguiendo los resultados
esperados, a través de dos preguntas principalmente:
¿Se estánconsiguiendolosresultadosesperados?
¿Estos resultados guardan relación y concordancia con el programa diseñado
Para contestar«eficazmente» a ellas, los objetivos y resultados esperados deben estar perfectamente
identificados y tener una atribución unívoca, de modo que se pueda establecer fácilmente el nivel de
logroalcanzado en la consecución de los objetivos, si el mismo es debido al diseño, implementación y
proceso del programa y si se han obtenido otros efectos además de los previstos.
12. ¿Se están consiguiendo los resultados esperados?
Si, en definitiva los resultados son los esperados. El Instituto Andani de Morelia se encuentra
en la recta correcta para levar a sus alumnos sobre el camino de la certificación del idioma
Inglés al término de su sexto año de primaria bajo un modelo de educación bilingüe.
¿Estos resultados guardan relación y concordancia con el programa diseñado?
Si, losresultados guardan estrecha relación y concordancia con el programa diseñado ya que la
última prueba que evalúa de manera fehaciente este programa es que dentro del 100% de los
alumnos del sexto grado del Instituto Andani de Morelia, el 100% de ellos que presentan el
examen de certificación KET de la Universidad de Cambridge lo han aprobado de manera
satisfactoria, siendo que el 50% del total de los alumnos por cuestiones de costo y que la
certificación no tiene un carácter obligatorio no lo presentan. Por lo tanto el otro 50% que se
certifica y que se convierte en este nuevo 100%, tenemos que un 16.6% de los candidatos han
sido aprobados con mérito por su alto nivel de Inglés, 33.33% de los candidatos lo han
aprobado con resultado PASS y el otro 33.33% con nivel A2 del Marco Común de Referencia
Europeo.
Gráfica: Alumnos en el sexto grado de educación básica.
En definitiva, lo que estamos proponiendo en esta última fase es no sólo el análisis del logro de
objetivos, sino una evaluación global/final del programa a partir de establecer la relación entre la
consecuenciade resultadosylasposiblescausasde losmismos,yaque en ocasiones la mera evaluación
de la eficacia puede resultar un dato pobre para la toma de decisiones sobre el programa.
0
2
4
6
8
10
12
14
Categoría
1
Categoría
2
Categoría
3
Categoría
4
Categoría
5
Categoría
6
Alumnos de 6° grado
Aumnos que no toman certificación
Candidatos a Certificación
Pass With Merit (Aprobados con
mérito)
Pass (Aprobados)
Nivel A2 (Aprobados bajo Marco
Común de Ref. Europeo)
13. Trabajos citados
Ander-Egg,E.y. (Juniode 1989). Uned.es.Recuperadoel Viernes22 de Noviembre de 2013, de Cómo
elaborarunproyecto:Guía para diseñarproyectossocialesyculturales: http://www.uned.es/ca-
tortosa/Curso%20Verano/Curs2012/Ponents/Araceli_Lazaro/Elaboracion_de_Proyectos.pdf
Andrew,L.y. (s.f.). Inmersion Idiomas.Recuperadoel Viernes22de Noviembre de 2013, de Nuestros
Métodos:http://www.immersionidiomas.es/metodos.html
Casa del Libro. (2013). Recuperadoel Viernes22de Noviembre de 2013, de Objective KETStudent's
Book:http://www.casadellibro.com/libro-objective-ket-student-s-
book/9780521541497/1018168
Díaz Jiménez,L.F.(2003). Metaevaluación Evaluación dela Evaluación de Políticas,ProgramasY
ProyectosSociales.Recuperadoel Viernes22de Noviembre de 2013, de
http://books.google.com.mx/books?id=EZBv7ye-
U_wC&dq=Berk+y+Rossi+Evaluaci%C3%B3n&hl=es&source=gbs_navlinks_s
Díaz Muñoz,E. (3 de Octubre de 2013). EC Servicios Educativos.Recuperadoel Miércoles20de
Noviembre de 2013, de http://www.ecmurcia.es/DocumentosFormacion/ECM.DPP.007.pdf
Educación Inclusiva.(s.f.).Recuperadoel Viernes22de Noviembre de 2013, de El ProyectoEducativode
Centro(PEC):
http://www.ite.educacion.es/formacion/materiales/72/cd/curso/unidad2/u2.I.1.htm
ExámenesInternacionalesdeInglés:Tipsy Consejos.(2013).Recuperadoel Jueves21de Noviembre de
2013, de BristishCollege:http://www.britishcollege.com.co/examenes-internacionales.htm
HernándezFernández,J.y.(1996). Propuesta metodológica para evaluarprogramasdeorientación
educativa.Recuperadoel Miércoles20de Noviembrede 2013, de RevistaElectrónicade
InvestigaciónyEvaluaciónEducativa:http://www.uv.es/RELIEVE/v2n2/RELIEVEv2n2_1.htm
Manzanares,M. A.(2000). Google.docs.Recuperadoel Viernes22de Noviembre de 2013, de La
FormaciónAcciónde la Empresa:Evaluaciónde lacalidaddel modeloformación-acciónenla
empresa:
http://books.google.com.mx/books?id=LW4tsuFEYI0C&pg=PA362&lpg=PA362&dq=Berk+y+Rossi
+%281990%29+Evaluaci%C3%B3n&source=bl&ots=AKeivoSCP4&sig=HtAdGuv55ccPIyB6mThbaF
qO_q4&hl=es&sa=X&ei=FP-
PUvTHMOqE2QXP64HwDA&ved=0CDMQ6AEwAQ#v=onepage&q=Berk%20y%20Rossi%20%28
Montenegro,E.(s.f.). Montenegro,Tecnología en Educación.Recuperadoel 22 de Noviembre de 2013,
de Me DiviertoyAprendo:http://www.montenegroeditores.com.mx/Paginas/librero/72
Morelia,I.A. (15 de Agostode 2010). Facebook.Recuperadoel Viernes22de Noviembre de 2013, de
InstitutoAndani de Morelia:https://www.facebook.com/instituto.andanidemorelia/info
Press,C.U. (2013). CambridgeUniversity.Recuperadoel Jueves21de Noviembre de 2013, de
http://www.cambridgeenglish.org/latinamerica/exams-and-qualifications/key/
14. Revistade Currículumy Formación del Profesorado.(Enero-Abril de 2012).Recuperadoel Viernes22 de
Noviembre de 2012, de Estudiosobre prácticasdocentesenevaluaciónde lalenguainglesaenla
ESO: http://www.ugr.es/~recfpro/rev161COL5.pdf
Wikipedia.(17 de Noviembre de 2013). Recuperadoel Miércoles20de Noviembre de 2013, de
PreliminaryEnglishTest:http://es.wikipedia.org/wiki/Preliminary_English_Test
Wikipedia.(12 de Noviembre de 2013). Recuperadoel Viernes22de Noviembre de 2013, de Inmersión
Lingüística:http://es.wikipedia.org/wiki/Inmersi%C3%B3n_ling%C3%BC%C3%ADstica