WIKIPEDIA,
SIRVIENDO LA TOTALIDAD DEL CONOCIMIENTO
HUMANO CON SOFTWARE LIBRE
Algunos
datos:
● 949 wikis in 301 idiomas
● 15 mil millones de páginas
servidas al mes
● 7.33 millones de peticiones
HTTP por minuto
● 600-1400 ediciones por
minuto
● 42+ millones de imágenes
y otros archivos
multimedia
● 5.5 millones de artículos
en Wikipedia en inglés
● 37.8 millones de
elementos en Wikidata
¿Qué nos
hace
diferentes?
● La Wikimedia
Foundation es sin
ánimo de lucro
● Financiado
exclusivamente
mediante
donaciones
Estos son
nuestros
principios
● Libertad y software libre
● Servir a todos los seres
humanos
● Transparencia
● Responsabilidad -
rendir cuentas
● Administración y
servicio a la comunidad
● Poder compartido
● Internacionalización
● Libertad de expresión
● Independencia
Software
Libre
● Todo el código desarrollado
o usado en nuestra
infraestructura es software
libre:
https://phabricator.wikimedia.org/source/me
diawiki/
● Toda la configuración y
aprovisionamiento de
servidores también está
disponible libremente:
https://phabricator.wikimedia.org/sourc
e/operations-puppet/
Transparencia
y rención de
cuentas
● Todos los cambios en el
software e infraestructura
se publican en tiempo real:
https://gerrit.wikimedia.org/
https://wikitech.wikimedia.org/wiki/SAL
https://phabricator.wikimedia.org/diffusion/
● El gestor de tareas es
accesible públicamente
https://phabricator.wikimedia.org/
● La monitorización es
accesible públicamente
https://grafana.wikimedia.org/
Privacidad
● Obligación de respetar la
privacidad de nuestros
usuarios
● TLS obligatorio en todos los
servicios
● Albergamos todo nuestro
código, datos y servicios
(dentro de nuestras
posibilidades) y no los
compartimos con terceros
● No usamos CDNs, clouds
públicas
No
dependencia
● Proporcionamos no sólo el
software, sino también
dumps de datos completos
y documentación para
permitir forks
https://dumps.wikipedia.org/
https://wikitech.wikimedia.org
● También facilitan la
finalidad principal de
compartir todo el
conocimiento
Recursos
para la
Comunidad
● Muchos voluntarios (no
empleados) con acceso a
servidores de producción
● También proporcionamos
máquinas virtuales/
containers/shared hosting
con acceso a replicas de las
bases de datos de
produción a contribuidores
https://wikitech.wikimedia.org/wiki/H
elp:Cloud_Services_Introduction
¿Cómo lo hacemos?
Equipo ● 305 empleados/
contractors
● 88 personas en Audiences
(producto)
● 82 personas en Technology
● 18 personas en Technical
Operations
● No somos el sitio web más
visitado pero “literalmente
no hay nadie más ahí fuera
sirviendo tantas visitas por
ingeniero”
Hardware ● ~1300 servidores
x86_64 en 5 centros de
datos principales:
● Ashburn, Virginia, EEUU
● Amsterdam, Holanda
● San Francisco, EEUU
● Carrollton, Texas, EEUU
● Singapur
CDN basado en DNS
Software ● Debian stretch/jessie
● Algunos servidores
antiguos con Ubuntu
● 29 LVS hosts
● 96 Varnish hosts
● 316 HHVM/PHP hosts
● 54 Memcache hosts
● 156 MariaDB hosts
● 72 Elasticsearch hosts
● 58 Swift hosts
https://grafana.wikimedia.org/dashboard/d
b/prometheus-dc-overview
LAMP
“complicado”
Redundancia de red
Caché ● Varios niveles:
● El 90% de las peticiones
no pasan de Varnish
● Se cachea también en la
aplicación (APC),
Memcache distribuido,
en la base de datos
(tablas summario) e
incluso en disco
(parsercache)
Base de
datos ● Varios grupos de
replicación mysql para
proveer redundancia y
balanceo de carga y
separación de lecturas y
escrituras
● Dos datacenters
sincronizados
Necesitamos
tu ayuda.
Desarrollando. Enviando reportes de errores. Revisiones de
parches. Administración. Bots. Ayuda técnica a usuarios.
Documentando. Optando a trabajar con nosotros.
https://wikitech.wikimedia.org
https://www.mediawiki.org
https://wikimediafoundation.org/wiki/Work_with_us
GRACIAS

Wikipedia Burgos devfest 2017

  • 1.
    WIKIPEDIA, SIRVIENDO LA TOTALIDADDEL CONOCIMIENTO HUMANO CON SOFTWARE LIBRE
  • 3.
    Algunos datos: ● 949 wikisin 301 idiomas ● 15 mil millones de páginas servidas al mes ● 7.33 millones de peticiones HTTP por minuto ● 600-1400 ediciones por minuto ● 42+ millones de imágenes y otros archivos multimedia ● 5.5 millones de artículos en Wikipedia en inglés ● 37.8 millones de elementos en Wikidata
  • 4.
    ¿Qué nos hace diferentes? ● LaWikimedia Foundation es sin ánimo de lucro ● Financiado exclusivamente mediante donaciones
  • 5.
    Estos son nuestros principios ● Libertady software libre ● Servir a todos los seres humanos ● Transparencia ● Responsabilidad - rendir cuentas ● Administración y servicio a la comunidad ● Poder compartido ● Internacionalización ● Libertad de expresión ● Independencia
  • 6.
    Software Libre ● Todo elcódigo desarrollado o usado en nuestra infraestructura es software libre: https://phabricator.wikimedia.org/source/me diawiki/ ● Toda la configuración y aprovisionamiento de servidores también está disponible libremente: https://phabricator.wikimedia.org/sourc e/operations-puppet/
  • 7.
    Transparencia y rención de cuentas ●Todos los cambios en el software e infraestructura se publican en tiempo real: https://gerrit.wikimedia.org/ https://wikitech.wikimedia.org/wiki/SAL https://phabricator.wikimedia.org/diffusion/ ● El gestor de tareas es accesible públicamente https://phabricator.wikimedia.org/ ● La monitorización es accesible públicamente https://grafana.wikimedia.org/
  • 8.
    Privacidad ● Obligación derespetar la privacidad de nuestros usuarios ● TLS obligatorio en todos los servicios ● Albergamos todo nuestro código, datos y servicios (dentro de nuestras posibilidades) y no los compartimos con terceros ● No usamos CDNs, clouds públicas
  • 9.
    No dependencia ● Proporcionamos nosólo el software, sino también dumps de datos completos y documentación para permitir forks https://dumps.wikipedia.org/ https://wikitech.wikimedia.org ● También facilitan la finalidad principal de compartir todo el conocimiento
  • 10.
    Recursos para la Comunidad ● Muchosvoluntarios (no empleados) con acceso a servidores de producción ● También proporcionamos máquinas virtuales/ containers/shared hosting con acceso a replicas de las bases de datos de produción a contribuidores https://wikitech.wikimedia.org/wiki/H elp:Cloud_Services_Introduction
  • 11.
  • 12.
    Equipo ● 305empleados/ contractors ● 88 personas en Audiences (producto) ● 82 personas en Technology ● 18 personas en Technical Operations ● No somos el sitio web más visitado pero “literalmente no hay nadie más ahí fuera sirviendo tantas visitas por ingeniero”
  • 13.
    Hardware ● ~1300servidores x86_64 en 5 centros de datos principales: ● Ashburn, Virginia, EEUU ● Amsterdam, Holanda ● San Francisco, EEUU ● Carrollton, Texas, EEUU ● Singapur
  • 14.
  • 15.
    Software ● Debianstretch/jessie ● Algunos servidores antiguos con Ubuntu ● 29 LVS hosts ● 96 Varnish hosts ● 316 HHVM/PHP hosts ● 54 Memcache hosts ● 156 MariaDB hosts ● 72 Elasticsearch hosts ● 58 Swift hosts https://grafana.wikimedia.org/dashboard/d b/prometheus-dc-overview
  • 16.
  • 17.
  • 18.
    Caché ● Variosniveles: ● El 90% de las peticiones no pasan de Varnish ● Se cachea también en la aplicación (APC), Memcache distribuido, en la base de datos (tablas summario) e incluso en disco (parsercache)
  • 19.
    Base de datos ●Varios grupos de replicación mysql para proveer redundancia y balanceo de carga y separación de lecturas y escrituras ● Dos datacenters sincronizados
  • 20.
    Necesitamos tu ayuda. Desarrollando. Enviandoreportes de errores. Revisiones de parches. Administración. Bots. Ayuda técnica a usuarios. Documentando. Optando a trabajar con nosotros. https://wikitech.wikimedia.org https://www.mediawiki.org https://wikimediafoundation.org/wiki/Work_with_us
  • 21.