Taller de técnicos 2011 09 UNC

3er Taller de Técnicos de

Consorcio SIU – 14 de Septiembre 2011 – Córdoba

1

Agenda
1) Relevamiento del estado de avance del proyecto en las
UUNN
2) Relevamiento de necesidades de información
3) Análisis conceptual de las soluciones actuales
1) Cubos SIU-Guaraní
2) Cubo SIU-Pilagá
3) Cubos SIU-Mapuche
4) Personalizaciones de las soluciones brindadas por el SIU
5) Forma de trabajo colaborativa y estandarizada
6) Caso de éxito: Cubos de SIU-Guaraní en producción en
UNC
7) Explotación de datos con O3, más allá de los cubos
2

Puesta en común
Problemas técnicos y funcionales en las
UUNN y necesidades

1) Relevamiento del estado de avance del
proyecto en las UUNN
2) Relevamiento de necesidades de información

(VER Y COMENTAR RESULTADOS
DE LA ENCUESTA REALIZADA) 3

Análisis conceptual de las
soluciones actuales

– Cubos SIU-Guaraní

– Cubo SIU-Pilagá

– Cubos SIU-Mapuche

4

Cubo SIU-Guaraní – Procedencia
Presentación del cubo, dimensiones y medidas

5

Significado de los datos :
03_Procedencia - Ficha.doc - I. PARTE FUNCIONAL

6

Criterios para la extracción de los datos :
03_Procedencia - Ficha.doc - II. PARTE TÉCNICA

Procedencia se
toma a partir del
colegio
secundario, no de
lo que ingresa
como localidad de
procedencia

Si no está en la
tabla no lo cuenta
(ojo con
migraciones).
Si se inscribió a
muchas carreras,
o muchas veces a
la misma lo
cuenta muchas
veces 7

Modelo Multidimensional: 03_Procedencia - Ficha.doc
III. ESTRUCTURAS DE LAS TABLAS

8

Generación de datos (txt) en SIU-Guaraní
03_Procedencia - Ficha.doc - II. PARTE TÉCNICA
• Opción del Sistema (para generar los datos): Módulo de Interfaces,
Submodulo Guaraní – Datawarehouse, operación cub_0003 -
Genera archivos cubo 03 - Procedencia

• Procesos SIU-Guarani involucrados:
Los objetos Power Builder que hacen
referencia se encuentran el la librería
“siu_dw_cubos.pbl”
No existen procesos de base de
datos adicionales.
9

Generación de datos (txt)
Consulta que genera la tabla de hechos

10

Algunas consulta que generan las
tablas de dimensiones

11

Cubo SIU-Guaraní
por fuera de la interfaz de SIU-Guaraní
• Generación directa desde la base. (Script Ejecución
Automatica.doc)

• Programación nocturna.
Agregar al programador de
tareas EjecutaScript.bat (o al
cron el equivalente
EjecutaScript.sh)
12

Esquema ETL en Pentaho

Área de Limpieza y
transformación de
datos
t
tx
t x
x tt
t
BD SIU- E t E´ SIU_DSA L SIU_DW
Guaraní t guarani_tmp
t
t t xx guarani
t xx xt t guarani
xt t t
t
(1)
(3)
(2)

13

Cubo SIU-Guaraní – procedencia
Orden de ejecución de los JOB´s de Kettle
(documentacion/guarani/instrucciones_cargar_siu_dsa_guarani.txt)

(1) etl/guarani/carga_siu_dsa/guarani_tmp/procedencia/
cargar_datos_dsa_guarani_tmp_procedencia.kjb

(2) etl/guarani/carga_siu_dsa/guarani/procedencia/
cargar_datos_dsa_guarani_procedencia.kjb

(3) etl/guarani/carga_siu_dw/procedencia/
cargar_datos_siu_dw_procedencia.kjb

14

(1) cargar_datos_dsa_guarani_tmp_procedencia.kjb (Extracción)

se carga el txt en guarani_tmp
(siu_dsa)
15

(2) cargar_datos_dsa_guarani_procedencia.kjb (Transformación)

se carga la FT en (siu_dsa)

16

(3) cargar_datos_siu_dw_procedencia.kjb (Carga - Load)

se carga la FT en (siu_dw)

17

Esquema SIU-Guarani.xml (pentaho-solutions/siu/guarani/)

18

Cubo SIU-Guaraní – Alumnos

19

Significado de los datos y criterios para la extracción

• Particularidades:
– Criterios de Nuevo Inscripto, Reinscripto y Egresado
tomados de la definición de la SPU para SIU-Araucano
– Requiere la generación de información para SIU-Araucano.

• Referencias generales:
– 05_Alumnos_ni_r_e_v1.0.2 - Ficha.doc
– Criterios Guarani-Araucano v18 v2.6.0.pdf (versiones
viejas: Criterios Guarani v201-Araucano v5.pdf)

20

Modelo Multidimensional: 05_Alumnos_ni_r_e_v1.0.2 - Ficha.doc

21

Generación de datos (txt) desde Guaraní
1 – Generar datos para araucano

Procesan los datos y completan
las tablas.
-int_arau_nuinscrip,
-int_arau_reinscrip,
-int_arau_egres y
-int_arau_log_alu,
que se usan como fuente para
el cubo
2 – Generar datos para DataWarehouse (visto en
diapositiva nro 11)
Tener en cuenta en caso de generar los txt por fuera del
Guaraní de ejecutar también los procesos del paso 1
22

Generación de datos (txt) - spdw_cubo_alumnos.sql

… Las tablas
usadas se llenan
con otros
procesos, de la
interfaz para
araucano, que
también se
pueden ver

…
… el sp sigue
considera las
otras medidas y
recupera los
casos del log
23

Cubo SIU-Guaraní – alumnos

(1) etl/guarani/carga_siu_dsa/guarani_tmp/alumnos/
cargar_datos_dsa_guarani_tmp_alumnos.kjb

(2) etl/guarani/carga_siu_dsa/guarani/alumnos/
cargar_datos_dsa_guarani_alumnos.kjb

(3) etl/guarani/carga_siu_dw/alumnos/
cargar_datos_siu_dw_alumnos.kjb

24

(1) cargar_datos_dsa_guarani_tmp_alumnos.kjb (Extracción)

se carga el txt en guarani_tmp
(siu_dsa)

25

(2) cargar_datos_dsa_guarani_alumnos.kjb (Transformación)

26


Vista dimensión
cubo Alumnos

27


Vista dimensión
cubo Alumnos

28


29

(3) cargar_datos_siu_dw_alumnos.kjb (Carga - Load)

30

Cubo SIU-Guaraní – Rend.Académico

¿Por qué 3 cubos y no
directamente uno?

31

Presentación de los cubos, dimensiones y medidas

32

Modelo Multidimensional: 02_Rend_Academico_v2.0.2_Ficha.doc

33


– Dimensiones compartidas entre hechos diferentes (FT):
Períodos del AA, Condición, Intentos.
– “Resultados” como dimensión o como parte de las
medidas?
– Actas de cursado, actas de finales, actas de promoción,
estados y rectificaciones
– Materias comunes entre carreras
– Etc.
– 02_Rend_Academico_v2.0.2_Ficha.doc
34

Significado de los datos . Algunas dimensiones

35

Significado de los datos . Medidas

36

Criterios utilizados para la extracción. Medidas

37

Criterios utilizados para la extracción.
Ejemplo dimensión Año Académico

38

02_Rend_Academico_v2.0.2_Ficha.doc - II. PARTE TÉCNICA

Las tablas
int_dw_persona_red e
int_dw_alumnos_red
resumen información de
la persona y el alumno, y
se generan con la
operación cub_0006

39

Generación de datos (txt) - spdw_02v2_cursado.sql

Esta consulta genera
parte de una de las
tablas de hechos.
En el ejemplo se ve la
porción correspondiente
a las promociones
(luego se agregan las
promociones
equivalentes)

40

Cubo SIU-Guaraní – rend. académico

(1) etl/guarani/carga_siu_dsa/guarani_tmp/rendimiento_academico/
cargar_datos_dsa_guarani_tmp_rendimiento_acad.kjb

(2) etl/guarani/carga_siu_dsa/guarani/rendimiento_academico/
cargar_datos_dsa_guarani_rendacademico.kjb

(3) etl/guarani/carga_siu_dw/rendimiento_academico/
cargar_datos_siu_dw_rendacademico.kjb

41

(1) cargar_datos_dsa_guarani_tmp_rendimiento_acad.kjb (Extracción)

42

(2) cargar_datos_dsa_guarani_rendacademico.kjb (Transformación)

43

(3) cargar_datos_siu_dw_rendacademico.kjb (Carga - Load)

44

Esquema SIU-Guarani.xml (pentaho-solutions/siu/guarani/)

45

Documentación de los cubos
(Ej: Guaraní )
Dentro del Repositorio de archivos se encuentra por
sistema . En la documentación de los cubos están las
fichas. “Comparación Dimensiones-Medidas-
Cubos.doc” sirve para ver las similitudes y diferencias
entre los criterios de los cubos.

46

Tomamos un cafecito?

47

Cubo SIU-Pilagá – Presupuesto
Presentación de los cubos, dimensiones y medidas

ingresos

gastos
presupuesto 48

Modelo Multidimensional: Ficha_Pilaga_Presupuesto_v1.0.4.doc

49

Significado de los datos:
Ficha_Pilaga_Presupuesto_v1.0.4.doc - II. PARTE TÉCNICA

50

Mejoras y modificaciones por versión

Documentación de referencia:
Ficha_Pilaga_Presupuesto_v1.0.4.doc
51

• Generación desde la interfaz web

• Generación por línea de comando. Programación nocturna.
../SIU-Pilaga/proyectos/pilaga/bin/
sh pilaga.sh cubos generar
52


clase
cubos.php

53

Cubo SIU-Pilagá
(documentacion/pilaga/ instrucciones_cargar_siu_dsa_pilaga.txt)

(1) etl/pilaga/carga_siu_dsa/pilaga_tmp/
cargar_datos_dsa_pilaga_tmp.kjb

(2) etl/pilaga/carga_siu_dsa/pilaga/
cargar_datos_dsa_pilaga.kjb

(3) etl/pilaga/carga_siu_dw/
cargar_datos_siu_dw.kjb

54

Cubo SIU-Pilagá
(1) cargar_datos_dsa_pilaga_tmp.kjb (Extracción)

55

Cubo SIU-Pilagá
(2) cargar_datos_dsa_pilaga.kjb (Transformación)

56

Cubo SIU-Pilagá

57

Cubo SIU-Pilagá
(3) cargar_datos_siu_dw.kjb (Carga - Load)

58

Cubo SIU-Pilagá
Esquema SIU-Pilaga.xml (pentaho-solutions/siu/pilaga/)

59

Cubos SIU-Mapuche/SIU-Pampa
Presentación de los cubos,
dimensiones y medidas
legajos

cargos

liquidaciones

60


– Cantidad de Cargos (Activos, Liquidados, Distintos).Por
mes. Renovaciones de cargos.
– Medidas definidas a nivel de mes, que no están definidas a
nivel de año.
– Dimensiones asociadas a los cargos
– Dependencias: de designación, de desempeño,
presupuestaria
– Fuente de financiamiento (de lo liquidado)
– Etc.
– Pampa_v1.1.1_Ficha.doc 61

Significado de los datos:
Cubo Pampa_v1.1.1_Ficha.doc - I. PARTE FUNCIONAL

Ver las demás en: Cubo Pampa_v1.1.1_Ficha.doc
Y los criterios para la extracción de los datos en la sección 62

Modelo Multidimensional -III. ESTRUCTURAS DE LAS TABLAS

63

Mejoras a incorporar

• Imputaciones presupuestarias del cargo. Nueva tabla
(ft_cargosXimputaciones) que refleja la relación de un cargo
con múltiples imputaciones presupuestarias y el porcentaje
correspondiente a cada una.
• Medida Total de Cargos, cuenta todos los cargos incluidos
en el cubo. Representa la unión de cargos liquidados y
cargos activos.
• Código de Unidad Académica, dependiente de las
dependencias de designación.
• Estado del cargo (concursado o no).
64

Mejoras a incorporar (cont)

• Nivel de enseñanza, dependiente de la categoría del cargo.
• Porcentajes de dedicación (docencia, investigación, gestión
y extensión) de cada cargo.
• Año y mes del período correspondiente a las liquidaciones
retroactivas.
• Porcentaje que representa cada línea de liquidación
(importe liquidado por cargo, concepto e imputación
presupuestaria) sobre el total liquidado del cargo.
• Revisión del cálculo de Antigüedad liquidada.
• Quitar el filtro de legajo no pasivo en la extracción de datos.
65

Nueva estructura de las tablas

66

Nueva estructura de las tablas (cont)

Nueva estructura de las tablas (cont)

68

Nuevos modelos de análisis
Dimensiones y Medidas por Cubo
LIQUIDACIONES PLANTA

Objetivo: analizar las liquidaciones Objetivo: analizar cantidad cargos
de sueldos, importes y cargos y legajos existentes en la
liquidados, por dependencia, universidad. Comparar la evolución
escalafón, categoría, conceptos, de los rrhh. Consultar según datos
retroactivos, etc. de los cargos y las personas
Permite analizar la evolución (categoría, antigüedad, estado
comparando diferentes períodos. civil, nivel de estudios, etc.)

Referencias
* : medidas y dimensiones nuevas
Naranja: exclusivas de cubo de liquidaciones
Violeta: exclusivas de cubo de planta
Negro: en ambos cubos.
69

Medidas utilizadas en los cubos
Importes Liquidados 1 Importes Liquidados por concepto y cargo en cada liquidación

Cargos X Conceptos 2 Cantidad correspondiente a los registros de liquidación. Significa
X Imputaciones que se cuenta 1 por cada concepto liquidado en cada cargo en
(liquidaciones) cada liquidación considerada por cada imputación que
corresponda.
Es la medida que antes se veía equivocadamente como “Cargos X
Conceptos (liquidaciones)”
Porcentaje del 3 Corresponde al porcentaje que representa el importe liquidado para
importe liquidado cada imputación de cada concepto en cada cargo sobre el total
sobre total del cargo liquidado del cargo.
* Agrupa por suma.
Cargos X Conceptos 4 Cuenta 1 por cada concepto liquidado en cada cargo. Sirve para
(liquidaciones) * poder consultar la cantidad de cargos a las que se les liquida cada
concepto
Legajos (con cargo 5 Cuenta 1 por cada legajo que en el período considerado tiene al
activos) menos un cargo activo (debajo se detalla cuando un cargo se
considera activo). Personas diferentes con cargos activos en el
período. Esta medida está definida solo a nivel de mes. 70

Medidas utilizadas en los cubos (cont)

Legajos 6 Cuenta 1 por cada legajo que tiene al menos un cargo en el que se le liquidó
Liquidad algún concepto en el período. Representa el total de legajos que figuran en la
os tabla de liquidaciones para el periodo. Personas diferentes con cargos
liquidados. Esta medida está definida solo a nivel de mes.
Total de 7 Contaría 1 por cada legajo considerado en los datos exportados. Representa la
Legajos unión de Legajos con cargos activos y Legajos Liquidados.
* Quedaría definida sólo a nivel de mes también?. ¿???
Cargos 8 Es 1 para todos los cargos de planta activos al menos un día en el periodo,
Activos incluye licencias y ad-honorem. Para los otros casos es 0.
Para saber si el cargo está o no activo se ve la fecha de vigencia del mismo y se
controla que al menos un día esté dentro del período informado. Esta medida
está definida solo a nivel de mes.
Cargos 9 Cuenta 1 por cada cargo al que se le liquidó al menos un concepto, esté o no
Liquidad activo el cargo, y cualquiera sea el concepto
os Representa el total de cargos que figuran en la tabla de liquidaciones para el
período. (No figurarán cargos sin liquidación - licencias sin goce y ad-honorem -
e incluirá cargos no activos a los q se les liquida algo -retroactivo-). Esta medida
está definida solo a nivel de mes.
71

Medidas utilizadas en los cubos (cont)
Total de Cargos * 10 Cuenta 1 por cada cargo considerado en los datos exportados.
Representa la unión de Cargos Activos y Cargos Liquidados.
Quedaría definida solo a nivel de mes también???
Cant Cargos X 11 Cuenta 1 por cada imputación de cada cargo.
Imputaciones *
Porcentaje Imputación 12 Es el porcentaje correspondiente cada imputación
del cargo * presupuestaria dentro del cargo.
Importe Neto 13 Importe Neto que recibe el agente (por cargo o por legajo
según corresponda). (*1)
Importe Bruto 14 Importe Bruto del agente (por cargo o por legajo según
corresponda) (*1)
Importe de Gasto 15 Gasto total que significa el agente para la Institución (por cargo
Total o por legajo según corresponda) (*1)

(*1) Estas medidas en principio están calculadas a nivel de cargo, y no puede consultarse
por las dimensiones que comienzan con (Liq). Habría que evaluar de bajarlas a nivel de
concepto y entonces incluirlo en el cubo de liquidaciones.
72

Cubo Liquidaciones
Dimensiones Medidas 1 2 3 4 9 10 13 14 15

Período (Año  Mes) X X X X X X X X X
(C) Unidad Académica *  Depend. Designación X X X X X X X X X
(C) Depend. Desempeño X X X X X X X X X
(C) Escalafón y Categoría (Escalafón  Categoría del X X X X X X X X X
cargo)
(C) Dedicación X X X X X X X X X
(C) Sede X X X X X X X X X
(C) Estado Laboral X X X X X X X X X
(C) Tipo de Planta y Carácter desig. X X X X X X X X X
(Tipo de Planta  Carácter de la designación)
(C) Estado del Cargo (Licencias) X X X X X X X X X
(Activo vs. Baja  Con o Sin Licencia  Con o sin goce
de haberes)
(C) Antigüedad Liq. (Antigüedad liq. por rangos  X X X X X X X X X
Antigüedad liquidada)

Cubo Liquidaciones (cont.)
Dimensiones Medidas 1 2 3 4 9 10 13 14 15
(C) % Trabajado X X X X X X X X X
(Liq) Liquidaciones X X X X X? X? X?

(Liq) Conceptos X X X X X? X? X?
(Tipo de Concepto  Concepto)
(Liq) Dep. Presupuestaria (Dependencia Presupuestaria X X X X? X? X?
 SubDependencia Presupuestaria)
(Liq) Fuente Financiamiento X X X X? X? X?

(Liq) Objeto del gasto X X X X X? X? X?
(Inciso  Partida Principal  Partida Parcial)
(Liq) Red Programática (Programa  Subprograma  X X X X X? X? X?
Proyecto  Actividad  Obra)
Legajos X X X X X X X X X
(Liq) Retroactivos X X X X X? X? X?
(Años Retroactivos  Períodos Retroactivos) *

Cubo Planta
Dimensiones Medidas 5 6 7 8 9 1 1 1 1 1 1
0 1 2 3 4 5
Período (Año  Mes) X X X X X X X X X X X
(C) Unidad Académica *  Depend. Designación X X X X X X X X
(C) Depend. Desempeño X X X X X X X X
(C) Escalafón y Categoría (Escalafón  Categoría del X X X X X X X X
cargo)
(C) Dedicación X X X X X X X X
(C) Sede X X X X X X X X
(C) Estado Laboral X X X X X X X X
(C) Tipo de Planta y Carácter desig. X X X X X X X X
(Tipo de Planta  Carácter de la designación)
(C) Estado del Cargo (Licencias) X X X X X X X X
(Activo vs. Baja  Con o Sin Licencia  Con o sin goce
de haberes)
(C) Agrupamiento X X X X X X X X
(C) Subrrogancia X X X X X X X X

Cubo Planta (cont.)
0 1 2 3 4 5
(C) Asociado X X X X X X X X
(C) Antigüedad Liq. (Antigüedad liq. por rangos  X X X X X X X X
Antigüedad liquidada)
(C) Antigüedad en escalafón (Antig. en escalafón por X X X X X X X X
rangos  Antigüedad en escalafón)
(C) Hs. Dedicación X X X X X X X X
(C) % Trabajado X X X X X X X X
(C) % Reducción Horaria X X X X X X X X
(L) Activo/Jubilado/Pasivo X X X X X X X X X X X
(L) Sexo X X X X X X X X X X X
(L) Estado Civil X X X X X X X X X X X
(L) Edad (Edad por rangos  Edad) X X X X X X X X X X X
(L) Sistema Previsional X X X X X X X X X X X
(L) Nivel de Estudio X X X X X X X X X X X

Cubo Planta (cont.)
0 1 2 3 4 5
(L) Discapacidad X X X X X X X X X X X
(L) Total Carga Horaria X X X X X X X X X X X
Legajos X X X X X X X X X X X
(CxI) Fuente financiamiento del cargo * X X
(CxI) Dep. Presupuestaria (Dependencia Presupuestaria X X
 SubDependencia Presupuestaria) *
(CxI) Red Programática (Programa  Subprograma  X X
Proyecto  Actividad  Obra) *
(C) Estado del cargo (concursado) * X X X X X X X X
(C) Nivel de enseñanza * X X X X X X X X
(C) Porcentaje Dedicación Docencia * X X X X X X X X
(C) Porcentaje Dedicación Investigación * X X X X X X X X
(C) Porcentaje Dedicación Gestión * X X X X X X X X
(C) Porcentaje Dedicación Extensión * X X X X X X X X


78

(documentacion/pilaga/ instrucciones_cargar_siu_dsa_mapuche.txt)

(1) etl/mapuche/carga_siu_dsa/mapuche_tmp/
cargar_datos_dsa_mapuche_tmp.kjb

(2) etl/mapuche/carga_siu_dsa/mapuche/
cargar_datos_dsa_mapuche.kjb

(3) etl/mapuche/carga_siu_dw/
cargar_datos_siu_dw.kjb

79

Cubo SIU-Mapuche/Pampa
(1) cargar_datos_dsa_mapuche_tmp.kjb (Extracción)

80

(2) cargar_datos_dsa_mapuche.kjb (Transformación)

81


Vista dimensión cubo Mapuche

82

(3) cargar_datos_siu_dw.kjb (Carga - Load)

83


84

Esquema SIU-Mapuche.xml (pentaho-solutions/siu/mapuche/)

85

Esquema SIU-Mapuche.xml (pentaho-solutions/siu/mapuche/)

86

Generación de los cubos
¿Generación FULL o Incremental?
• FULL para primera vez, para cubo nuevo, reemplaza
el existente (En O3 reemplaza el .cube. En Pentaho borra el
contenido de la/s FT/s en el DW)
• INCREMENTAL
– Guaraní  por facultad
(el cubo contiene “fotos acumuladas” a la fecha)
– Mapuche/Pampa  por mes
(el cubo contiene “fotos” mensuales)
– Pilagá  por ejercicio
(el cubo contiene “fotos” anuales)
87

Personalizaciones de las
soluciones brindadas por el SIU
Preguntas ante una personalización:
• Qué se necesita cambiar?
• Dónde debe realizarse la modificación?
• Requiere la incorporación de algún dato no
existente?
• Dónde y cuál es la mejor manera de agregarlo?
(diseño multidimensional)
Ante la mínima duda: CONSULTAR CON EL SIU
para evaluar alternativas en forma conjunta
88

Personalizaciones – Ejemplo 1
Eliminar una dimensión

• Editar el xml del cubo (Schema Workbench) y
eliminarla
• Ejemplos:
– Quitar la dimensión Sede de los cubos de
Mapuche o de los de Guaraní (Rend Académico)
– Eliminar dimensión “% Trabajado en el mes” de
los cubos de Mapuche
– Eliminar la dimensión Legajo en los cubos de
Mapuche o Guaraní
– Etc.
89

Abrir la jerarquía de una dimensión en dos dimensiones

• Para que sea posible ambos niveles deben existir en
la tabla de hechos. (Si no existieran habría que
incorporarlo)
• Editar el xml del cubo y realizar las modificaciones.
• Ejemplo:
– Unidad académica y carrera en cubo de procedencia de
Guaraní
– Categoría y Escalafón en cubo de Mapuche ¿?
– Sueldos/Otros gastos en cubo de Pilagá ¿?
• Siempre preguntarse si tiene sentido.
90

Considerar otros criterios de extracción
Eliminar registros
• Podría ser en la E, en la E’, o en la T (ppt #14)
• Ejemplos en Guaraní Rend Academico
– Considerar solo actas cerradas  opción 1-E: Modificar el
where del sp correspondiente en Guaraní
– Eliminar las materias comunes.  opción 1-E: Quitar esa parte
de las consultas en los sp (spdw_02v2_cursado.sql,
spdw_02v2_equiv.sql y spdw_02v2_examen.sql)
 opción 2-E’/T: filtrar los registros como parte de la
transformación (ojo solo para pentaho).
 opción 3: no hacer nada, dejarlos en el cubo y guardar una vista
con el filtro.
• Otros ejemplos?
91

Considerar otros criterios de extracción
Agregar registros (filas, se mantiene la estructura)
• Puede ser en la E o en E’.
– En el primer caso (E) se modifica el sp o consulta de extracción
en el sistema de gestión
– En el segundo caso (E’) se agrega como otra fuente de datos y se
realiza la unión con el PDI de Pentaho. Por ejemplo si hubiese
datos en otro sistema no SIU u otra fuente de datos (alumnos de
carreras a distancia? Sistemas previos a la migración a sistemas
SIU) que quieren incorporar al cubo.
• Considerar que estas modificaciones pueden requerir también
de la incorporación de un nuevo campo que se refleje como
dimensión y permita distinguir los datos

92

Modificar descripciones y agrupamientos en rangos
• En la T
• Ejemplos:
1- Rangos de edades (ej: /etl/mapuche/carga_siu_dsa/mapuche/dsa_mapuche_lt_rangoedades_load.ktr)
2- Descripción por defecto para nulos
(ej: /etl/guarani/carga_siu_dsa/guarani/alumnos/dsa_guarani_cargar_nulos_en_dimensiones.kjb)

1
2

93

Solucionar los problemas de calidad de datos
• En la T
• Casos: Datos nulos. Mismo dato con diferentes descripciones,
con diferentes codificaciones. Datos inconsistentes.
Ejemplos: Colegios Secundarios (Guaraní), Red Programática
(Pilagá/Mapuche), Dependencias (todos), etc

• Importante: los problemas de calidad de datos deben ser
corregidos en la fuente, origen del dato. Luego de detectarlos
y corregirlos para cargarlos al DW deben ser informados a los
responsables de los sistemas de gestión.
94

Agregar niveles en la jerarquía de una dimensión

• Si el nivel es superior (agrupa los datos existentes) y existe en
la LT: solo se requiere modificar el xml
• Si el nivel es superior y no existe en la LT: hay que incorporarlo
((E), E’, T, L) y luego modificar el xml
• Si se trata de un nivel inferior, debe existir (o incorporarse –
(E), E´, T, L) en la FT, y también luego modificar el xml
• Ejemplos:
– Agrupar las carreras por unidad académica
– Agregar la versión del plan (de la carrera)
– Incorporar partido/departamento dentro de la dimensión procedencia
– Agrupar Legajos por inicial del apellido (para mejorar performance del
cubo)
– Etc. 95

Agregar nuevas dimensiones a los cubos

• Si el dato existe en la FT: solo se requiere editar el xml

• Si el dato existe en alguna LT: seguramente se necesitará
hacer un join (T) para incorporarlo a la FT

• Si el dato no existe, hay que agregarlo al DSA, (E y/o E’
dependiendo si está en el sistema de gestión o es
externo y si conviene modificar la consulta o sp que
genera los txt actuales o extraer los datos directamente
con el PDI de Pentaho)
96

Agregar nuevas dimensiones a los cubos

• Ejemplos:
– Mapuche/Pampa. Incorporar datos de liquidaciones
retroactivas, mes y año al cubo de liquidaciones  en FT,
E’ (porque la E está programada en Clarion)
– Guaraní. Agregar Tipo de Colegio Secundario  en LT y
pasar a FT. Realizar en E: agregar sga_coleg_sec.sector a la
consulta de extracción de colegios actual, y agregar
descripción (P: privado, E: estatal) en T

97

Agregar una nueva medida derivada a un cubo
• Ejemplo - Pilagá: Se agrega una nueva medida “Compromiso no pagado” que se
calcula como la diferencia de las medidas “compromiso” y “pagado”.

1- Click derecho sobre el cubo pilaga-gastos
y luego “Add Calculated Member”
2- Definir los atributos de la medida.
3- Publicar el cubo nuevamente en el
biserver mediante “File -> Publish…”

2

1
98

Diferentes formas de
presentar la información
A veces el requerimiento tiene que ver con la presentación
de la información no solo con el contenido…
• Cubos/Vistas
• Reportes
• Dashboards

99

Diferentes visualizaciones
de la misma información
• Ejemplo alumnos por carrera (vista, reporte, dashboard)

Llegó el momento de almorzar!

101

Arquitectura técnica
de las soluciones SIU

102

Arquitectura actual del DSS
con cubos de O3
BD SIU-
Guaraní
BD SIU- t
Guaraní t
t x
x
x t
t
O3 Builder
t
t
BD SIU- E.T. t t
t x
Análisis (cubos)
t x
Pilagá t x x t
x
x t t Modelos de Escritorio (O3 Browser)
t t
t cubos (.mdl)
Web (O3 Portal)
META DATA
O3 Server

Explotación
…
Enterprise Portal
O3 Designer (Dashboards)

Idealmente sería un Reportes
DW
O3 Query O3 Adm
Server Reglas (Alertas)
DW
Scorecard
(Indicadores)

Área de diseño, construcción y Área de usuario
administración
103

Arquitectura actual del DSS
con SIU-Wichi
d
d
d b
BD SIU- b
b f
E.T. f
Comechin f
gones

CARGA - Importador SIU-Wichi
c s
c s
c v s q
v q
v s q l
E.T. s l
s l

Explotación
BD SIU-
Pilagá
Reportes
BD SIU-
c s
E.T.
c
c v
v
s
s q
q
Wichi
BD SIU- v s
s
q l
l
Pampa s l Tablas y
Gráficos

cc
BD SIU- E.T. c v
v
v s
Araucano s
s

BD SIU-
BD SIU-
Guaraní
BD SIU-
Guaraní
Guaraní

104

Arquitectura futura del DSS con Pentaho
y O3 (SIU-Wichi quedaría dentro de Pentaho)

Reportes

Explotación
BD SIU- Análisis
Guaraní Área de Limpieza y (cubos Mondrian)
BD SIU- E
transformación de datos Dashboards e
Guaraní
Indicadores
C Data Mining
BD SIU- E A
Pilagá DSA R DW
G
A

Explotación
E
…
Análisis (cubos)
Escritorio (O3 Browser)
Web (O3 Portal)
Enterprise Portal
(Dashboards)

Reportes

Reglas (Alertas)

Scorecard
(Indicadores) 105

Arquitectura propuesta inicialmente
del DSS con Pentaho
BD SIU-
Guaraní t
BD SIU- t
t x
Guaraní x
x t
t
t
t
t t
t t x
BD SIU- E.T. t x x
x x t
x t t
Pilagá t
t
t Reportes

Explotación
Análisis
… C (cubos Mondrian)
A DW Dashboards e
R
Indicadores
DSA G
A
Data Mining

Área de usuario
Área de diseño, construcción y
administración *

* Observación: no se detallan todos los componentes específicos de esta área (para
diseño de cubos, dashboards, etc) ni el motor mondrian y otras cuestiones técnicas 106

Estructura de las soluciones
en Pentaho (archivos biserver)
Consolda de usuario Pentaho
<pentaho-dir>/biserver-ce/pentaho-solutions
/siu
/capacitaciones
index.xml *
SIU-Guarani-curso.xml (*)
…
/guarani
index.xml *
SIU-Guarani.xml (*)
…
/mapuche
index.xml *
SIU-Mapuche.xml (*)
…
/pilaga
index.xml *
SIU-Pilaga.xml (*)
…
index.xml *
(*) definición del cubo
* index.xml: definición de las propiedades de la carpeta 107

Estructura de las soluciones
en Pentaho (paquete SIU)
Documentación de instalación y carga de datos de las soluciones SIU.

Cómo instalar las soluciones SIU:
“Instalacion soluciones SIU en Pentaho”

Trabajos y transformaciones de PDI para cargar los datos en el DW.

Contiene los archivos con la definición de los cubos, vistas, tableros,
reportes y sus respectivas carpetas que son instalados en el biserver
de Pentaho.

Contiene arhivos extras que son útiles para las solucioines, por ej: CDE-
bundle-1.0-RC3.

108

Estándares de desarrollo

• Soluciones almacenadas como archivos  versionado en svn
• Archivos del “núcleo” de la solución comienzan con “SIU-” y
pueden modificarse de versión en versión.
• Estructura del DW: esquemas por sistema (pilaga, guarani, …,
wichi, tablas_maestras…) , estandarización de nombres (ej:
respetando nombre de txt actuales). Diccionario de datos
común.
• Tipo de datos en el DSA y en el DW iguales a los sistemas de
gestión (o máximo de ellos).
• Definición de roles comunes (para dar permiso a las
soluciones según esos roles)
• Uso de estilos para los reportes.
• …

109

Forma de trabajo
colaborativa y estandarizada

– Estándares
• Respetar los estándares de desarrollo
• Utilizar _UNNombre o UNNombre- para las
personalizaciones (en todos los archivos).

– Comunicar al SIU (dw@siu.edu.ar) para su
incorporación al versionado en el SVN (tanto de
las personalizaciones como de los errores o
nuevas funcionalidades incorporadas)
110

Documentación en la web - Wiki

http://repositorio.siu.edu.ar/trac/dw_pentaho/wiki
112

Estándares en Wiki

http://repositorio.siu.edu.ar/trac/dw_pentaho/wiki/Definiciones%20y%20est
%C3%A1ndares
113

Foro en comunidad de usuarios

114

Caso de éxito:
Cubos de SIU-Guaraní en
producción en UNC

Personalizaciones para adaptar la solución común a las
características propias de la universidad.
Implementación de cubos integrando datos de todas las
facultades. Permisos de acceso por usuario

115

Está haciendo falta cafeína?

116

Explotación de datos con O3,
más allá de los cubos

•Reportes
•Eportal
•Importar vistas, reportes, escritorios, etc.
•Definición de cuadros de control

117

O3 Report - Documentación

• https://www.ideasoft.biz/wiki/display/o3man/O3+R
eport+Studio
• Diana Peh, Nola Hague, Jane Tatchell, “BIRT: A
Field Guide to Reporting (2nd Edition)”
120

O3 Eportal
Panel de Control.
Definición de comunidades, Usuarios, etc

122

O3 Eportal - Documentación

• https://www.ideasoft.biz/wiki/display/o3man/O3+En
terprise+Portal
• http://www.liferay.com/
123

O3 Scorecard
Nuevo Tablero de Control
Ejemplo de definición de un Indicador paso a paso

124

O3 Scorecard
• Ejemplo de Indicador a definir: Rojo si
porcentaje en sueldos supera el 85%, amarillo
entre 80% y 85%, Verde para menos de 80%

125

O3 Scorecard
• Agregar grupo. Luego agregar indicador

126

O3 Scorecard
• Definir indicador, solapa Método

127

O3 Scorecard
• Agregar el cubo

128

O3 Scorecard
• Armar la vista

129

O3 Scorecard

• Capturar la vista
• y completar con los campos

130

O3 Scorecard

• Volver al indicador, solapa campos y
completar datos

131

O3 Scorecard

• Solapa Datos y completar datos

132

O3 Scorecard
• Guardar como… en servidor

133

O3 Scorecard
• Generar tablero

134

O3 Scorecard
• Visualización en Portal Web

135

O3 Scorecard
• Definición de indicadores agrupadores

136

O3 Scorecard - Documentación

• https://www.ideasoft.biz/wiki/display/o3man/O3+Sc
orecard
137

O3 - Importar vistas, reportes,
escritorios, etc
Vistas

Pasos para importar una nueva vista al servidor de O3:
1- Abrir la vista con el O3 Browser
2- Seleccionar del menú “Ventana” -> “Aplicar la vista actual en otro cubo …”
3- Seleccionar el servidor y el cubo sobre el cual aplicar la vista.

Reportes

Pasos para importar un reporte en el servidor de O3:
1- Copiar el archivo .rptdesign al directorio
<O3_server_dir>/jboss/server/default/ideasoft-o3/server/istore/reports
2- Desde el adminserver configurar los permisos de usuario para ese reporte.
3- El reporte se podrá acceder desde el O3portal en la sección “Reportes” dentro
De la ventana de “Mis Bookmarks”

138

escritorios, etc
Escritorios

Pasos para importar un escritorio en el servidor de O3:
1- Copiar el archivo .desk al directorio
<O3_server_dir>/jboss/server/default/ideasoft-o3/server/istore/jdesktops/desktops
2- Desde el adminserver configurar los permisos de usuario para ese escritorio.
3- El escritorio se podrá acceder desde el O3portal en la sección “Escritorios” dentro
De la ventana de “Mis Bookmarks”.

Reglas

Pasos para importar una regla en el servidor de O3:
1- Copiar el archivo .rule al directorio
<O3_server_dir>/jboss/server/default/ideasoft-o3/server/istore/rules
2- Desde el adminserver configurar los permisos de usuario para esa regla.
3- El reporte se podrá acceder desde el O3portal en la sección “Reglas” dentro
De la ventana de “Mis Bookmarks”.
139

escritorios, etc
Comunidades en el Eportal

Pasos para importar un escritorio en el servidor de O3:
1- Ingresar al Eportal como administrador.
2- En el “Panel de Control” ir a “Comunidades” y crear una nueva comunidad con
el nombre deseado.
3- Ingresas a la comunidad creada mediante “Acciones” -> “Administrar pàginas”
4- Ir a la solapa “Exportar/Importar “y ahí seleccionar “Importar”.
5- En el botòn “examinar” seleccionar el archivo .zip que contiene la comunidad a
Importar.
6- Presionar el botòn “Importar”.

140

O3 Server Administrator
Permisos de acceso y Restricciones

Ver: “EJEMPLO Restricciones de la dimensiones.doc”
141

O3 Server Adm - Documentación

• https://www.ideasoft.biz/wiki/display/o3man/O3+Se
rver+Administrator
142

¿Preguntas?

Muchas Gracias!!!

Más información:
www.siu.edu.ar
dw@siu.edu.ar
Lic. Cecilia Dómina
Ing. Marcos Pierri
143

Taller de técnicos 2011 09 UNC

Recomendados

Recomendados

Más contenido relacionado

Destacado

Destacado (20)

Taller de técnicos 2011 09 UNC