Este documento describe el desarrollo de un servicio de repositorios digitales basados en Rancher para instituciones científicas. El servicio ofrece repositorios digitales de prestaciones básicas basados en DSpace mediante una arquitectura de contenedores orquestada por Rancher y Kubernetes. El servicio se ha ido mejorando para proporcionar mayor disponibilidad, automatización y reducción del tiempo de despliegue mediante la implementación de pipelines CI/CD con Rancher.

1. Rancher Rodeo:
Repositorios científicos con Rancher
Joan Caparrós @joan_caparros
Miguel Ángel Flores @miguel_angelft
09-10-2019

2. Agenda
1. Repositorios digitales
1. Qué es un Repositorio de prestaciones básicas (RPB)?
1. Necesidades del servicio
1. Infraestructura del servicio
1. Evolución del servicio
1. Demo
1. Conclusiones y trabajo futuro

3. Repositorios digitales
✔Un repositorio digital es un medio para gestionar, almacenar, preservar, difundir y
facilitar el acceso a los objetos digitales que alberga
✔Tipos → Institucionales, temáticos o disciplinares, de datos, cooperativos…
✔Contenidos → Tesis doctorales, artículos, comunicaciones a congresos, pre y post-
prints, material audiovisual, documentos institucionales o patrimoniales…
✔#open-access, #open-science

4. Repositorios digitales
✔CSUC trabaja desde 1999 (siglo pasado) en la creación y mantenimiento evolutivo
de repositorios digitales. Se han realizado 20 repositorios, entre cooperativos e
institucionales.
✔Algunos ejemplos desarrollados con DSpace (https://www.slideshare.net/CSUC_info/dspace-workshop)
✔En 2018 se crea un servicio de repositorios “básicos”
TDX RECERCAT MDX
FILMOTECA MACBA
CALAIX
SCIENTIA DRAC

5. Qué es un Repositorio de prestaciones básicas (RPB)?
DSpace Software as a Service (SaaS)
https://csuc.cat/es/ciencia-abierta/repositorio-de-prestaciones-basicas-rpb-0
Dirigido a cualquier institución que desee difundir sus materiales de
investigación, docencia y/o dar visibilidad y ejecutar los mandatos de acceso
abierto para publicaciones de la Ley de la ciencia española y UE.

6. Necesidades del servicio
● Alta disponibilidad
● Monitorización
● Backups
✔Actualizaciones anuales
✔Mínimo tiempo de despliegue
✔Auto aprovisionamiento de infraestructura
✔Sistema basado en contenedores

7. Infraestructura del servicio: Evolución hacia Rancher 2
1 2 3
Docker + Jenkins Docker Swarm (nativo) +
Portainer
Kubernetes +
Rancher 2

8. Infraestructura del servicio: Rancher 2
✔Rancher es una plataforma de gestión de Kubernetes multi-cloud
✔Utiliza la Docker-Machine de OpenNebula y RKE para desplegar K8s
https://github.com/OpenNebula/docker-machine-opennebula

9. Infraestructura del servicio : Esquema de la arquitectura
✔Uso de infraestructura como código
(IaC) con Terraform
✔Providers:
• Rancher2
• OpenNebula
https://www.terraform.io/docs/providers/rancher2/index.html
https://github.com/OpenNebula/addon-terraform

10. Infraestructura del servicio: Orquestador de almacenamiento
Aprovisionamiento de almacenamiento persistente dinámico:
https://github.com/NetApp/trident
https://netapp-trident.readthedocs.io/en/stable-v19.07/

11. Infraestructura del servicio: Publicación de servicios
Usando F5 Load Balancer como un Kubernetes Ingress
https://github.com/F5Networks/k8s-bigip-ctlr
https://f5-101-lab-kubernetes.readthedocs.io/en/latest/

12. Infraestructura del servicio: Monitorización

13. En resumen...

14. Evolución del servicio
RPB-base
Instancia
1
Instancia
2
Instancia
3

15. Construcción del contenedor - Versión 1.0
Build image & publish
Build & push

16. Construcción del contenedor - Versión RANCHER
Build image & publish .rancher-pipeline.yml
stages:
- name: Build & Publish
steps:
- publishImageConfig:
dockerfilePath: ./Dockerfile
buildContext: .
tag: rpb-master:v3
pushRemote: true
registry: registry.pre.csuc.cat:443
timeout: 60
Build & push

17. Despliegue del servicio - Versión 1.0
Deployment
Deployment
Declaraciones de servicio:
● Mapeo de puertos
● DNS
● Storage
● Variables de entorno del
container

18. Despliegue del servicio - Versión RANCHER
Deployment
Deployment
.rancher-pipeline.yml
stages:
- name: Deploy
steps:
- applyYamlConfig:
path: ./deployment.yaml
timeout: 60
Declaraciones de servicio:
● Mapeo de puertos
● DNS
● Storage
● Variables de entorno del
container

19. Demo: Rancher Pipelines CI/CD

20. Demo: Rancher Pipelines

21. Conclusiones
✔Modularización de los componentes de DSpace
✔Fácil migración desde Docker
✔Orquestación automática
✔Mayor disponibilidad
✔Reducción del tiempo del paso a producción

22. Trabajo futuro
✔Orientación a microservicios
✔Service Mesh: Istio. Soportado en Rancher 2.3
✔SecDevOps: Anchore, WAF etc..

23. Gracias!
¿Preguntas?
Joan Caparrós @joan_caparros
Miguel Ángel Flores @miguel_angelft