Wikipedia, sirviendo la totalidad del conocimiento humano con software libre En la Fundación Wikimedia (organización sin ánimo de lucro que mantiene Wikipedia y muchos otros proyectos de conocimiento libre) trabajamos con un presupuesto financiado exclusivamente con donaciones. Con 280 empleados, y la inestimable ayuda de voluntarios, mantenemos algunas de las webs más visitadas del mundo, con miles de millones de usuarios al mes. En esta charla se hará un breve resumen de nuestra filosofía de trabajo (respeto a la privacidad de los usuarios, uso exclusivo de software libre, desarrollo comunitario, transparencia, independencia) y de cómo funciona por dentro nuestra infraestructura técnica; así como de invitar a desarrolladores o cualquier persona con motivaciones técnica a colaborar en nuestra comunidad y proyectos, y a conocer los recursos técnicos que ofrece.

1. WIKIPEDIA,
SIRVIENDO LA TOTALIDAD DEL CONOCIMIENTO
HUMANO CON SOFTWARE LIBRE

3. Algunos
datos:
● 949 wikis in 301 idiomas
● 15 mil millones de páginas
servidas al mes
● 7.33 millones de peticiones
HTTP por minuto
● 600-1400 ediciones por
minuto
● 42+ millones de imágenes
y otros archivos
multimedia
● 5.5 millones de artículos
en Wikipedia en inglés
● 37.8 millones de
elementos en Wikidata

4. ¿Qué nos
hace
diferentes?
● La Wikimedia
Foundation es sin
ánimo de lucro
● Financiado
exclusivamente
mediante
donaciones

5. Estos son
nuestros
principios
● Libertad y software libre
● Servir a todos los seres
humanos
● Transparencia
● Responsabilidad -
rendir cuentas
● Administración y
servicio a la comunidad
● Poder compartido
● Internacionalización
● Libertad de expresión
● Independencia

6. Software
Libre
● Todo el código desarrollado
o usado en nuestra
infraestructura es software
libre:
https://phabricator.wikimedia.org/source/me
diawiki/
● Toda la configuración y
aprovisionamiento de
servidores también está
disponible libremente:
https://phabricator.wikimedia.org/sourc
e/operations-puppet/

7. Transparencia
y rención de
cuentas
● Todos los cambios en el
software e infraestructura
se publican en tiempo real:
https://gerrit.wikimedia.org/
https://wikitech.wikimedia.org/wiki/SAL
https://phabricator.wikimedia.org/diffusion/
● El gestor de tareas es
accesible públicamente
https://phabricator.wikimedia.org/
● La monitorización es
accesible públicamente
https://grafana.wikimedia.org/

8. Privacidad
● Obligación de respetar la
privacidad de nuestros
usuarios
● TLS obligatorio en todos los
servicios
● Albergamos todo nuestro
código, datos y servicios
(dentro de nuestras
posibilidades) y no los
compartimos con terceros
● No usamos CDNs, clouds
públicas

9. No
dependencia
● Proporcionamos no sólo el
software, sino también
dumps de datos completos
y documentación para
permitir forks
https://dumps.wikipedia.org/
https://wikitech.wikimedia.org
● También facilitan la
finalidad principal de
compartir todo el
conocimiento

10. Recursos
para la
Comunidad
● Muchos voluntarios (no
empleados) con acceso a
servidores de producción
● También proporcionamos
máquinas virtuales/
containers/shared hosting
con acceso a replicas de las
bases de datos de
produción a contribuidores
https://wikitech.wikimedia.org/wiki/H
elp:Cloud_Services_Introduction

11. ¿Cómo lo hacemos?

12. Equipo ● 305 empleados/
contractors
● 88 personas en Audiences
(producto)
● 82 personas en Technology
● 18 personas en Technical
Operations
● No somos el sitio web más
visitado pero “literalmente
no hay nadie más ahí fuera
sirviendo tantas visitas por
ingeniero”

13. Hardware ● ~1300 servidores
x86_64 en 5 centros de
datos principales:
● Ashburn, Virginia, EEUU
● Amsterdam, Holanda
● San Francisco, EEUU
● Carrollton, Texas, EEUU
● Singapur

14. CDN basado en DNS

15. Software ● Debian stretch/jessie
● Algunos servidores
antiguos con Ubuntu
● 29 LVS hosts
● 96 Varnish hosts
● 316 HHVM/PHP hosts
● 54 Memcache hosts
● 156 MariaDB hosts
● 72 Elasticsearch hosts
● 58 Swift hosts
https://grafana.wikimedia.org/dashboard/d
b/prometheus-dc-overview

16. LAMP
“complicado”

17. Redundancia de red

18. Caché ● Varios niveles:
● El 90% de las peticiones
no pasan de Varnish
● Se cachea también en la
aplicación (APC),
Memcache distribuido,
en la base de datos
(tablas summario) e
incluso en disco
(parsercache)

19. Base de
datos ● Varios grupos de
replicación mysql para
proveer redundancia y
balanceo de carga y
separación de lecturas y
escrituras
● Dos datacenters
sincronizados

20. Necesitamos
tu ayuda.
Desarrollando. Enviando reportes de errores. Revisiones de
parches. Administración. Bots. Ayuda técnica a usuarios.
Documentando. Optando a trabajar con nosotros.
https://wikitech.wikimedia.org
https://www.mediawiki.org
https://wikimediafoundation.org/wiki/Work_with_us

21. GRACIAS