Este documento proporciona una introducción a varias formas de mejorar el rendimiento y funcionalidad de Varnish mediante el uso de módulos (vmods). Algunos vmods descritos incluyen cURL para realizar peticiones HTTP, OpenDDR y dClass para la detección de dispositivos, y módulos para autenticación, ordenamiento de parámetros de consulta, reducción de E/S de disco, detección geográfica, firewalling y el uso de Memcached y Redis.

1. Sácale jugo a Varnish

2. ¿Quién soy?
Responsable técnico de
idealista/news
@rodricels
Curioso sin remedio

3. VARNISH

4. cURL
cURL
+
vmod
https://github.com/varnish/libvmod-curl

5. cURL
• Petición
curl.get(url)
curl.post(url, data)
curl.header_add()
curl.header_remove()
curl.set_connect_timeout()
curl.set_timeout()
• Devolución
curl.header("foo")
curl.status()
curl.body()
curl.error()

7. cURL: Calentar caché tras banear
if (req.request == "BAN" && client.ip ~ purge_ban) {
ban("obj.http.x-host == " + req.http.host +
"&& obj.http.x-url == " + req.url);
// ¡¡¡ AQUÍ VA LA MAGIA !!!
curl.get(req.http.host + req.url);
error 200 "Ban added";
}
Spoiler: se puede hacer sin cURL

8. cURL: autentificación
curl.fetch("http://authserver/validate?key=" +
regsub(req.url, ".*key=([a-z0-9]+), "1"));
if (curl.status() != 200) {
error 403 "Go away";
}
http://err.no/personal/blog/2011/Aug/03

9. cURL: actualizar contenido relacionado
if (req.url ~ foo && obj.hits > 10000) {
curl.get(req.http.host + bar);
}

11. Calentar caché
Otras formas
• Varnishreplay –r log.txt
• Curl/wget sitemap.xml
#!/bin/bash
URL='www.example.com'
wget --quiet http://$URL/sitemap.xml --no-cache --no-cookies
--output-document - | egrep -o "http://$URL/foo/bar" |
while read line; do
curl --user-agent 'Cache Warmer' --silent --location
--max-time 10 $line > /dev/null 2>&1
sleep 5
done

12. Calentar caché
• Purge + Restart
sub vcl_hit { # y vcl_miss()
if (req.request == "PURGE") {
purge;
set req.request = "GET";
set req.http.X-purger = "Purged";
error 800 "restart";
# set req-backend = SuperServer;
# return(restart);
}
}
https://www.varnish-software.com/static/book/Saving_a_request.html#solution-combinepurge-and-restart

13. Detección de dispositivos
OpenDDR
+
dClass
Open Device
Description
Repository
Dtree Pattern
Classification
Engine
https://www.varnish-cache.org/vmod/dclass-apache-devicemap
https://github.com/OpenDDRdotORG/OpenDDR-Resources

14. Detección de dispositivos
set req.http.dclass_openddr =
dclass.classify(req.http.user-agent);
if (dclass.get_field("is_tablet") == "true"){
set req.http.dclass_type = "tablet";
}
else if (
dclass.get_field("is_wireless_device") == "true" &&
dclass.get_field("inputDevices") == "touchscreen"){
set req.http.dclass_type = "smartphone";
}

15. Detección de dispositivos
sub vcl_recv() {
if (req.http.Cookie ~ "^X-device=") {
# do the magic
}
}
sub vcl_fetch() {
set obj.http.Set-Cookie = "X-device=" +
req.http.dclass_type; domain=.example.com;
path=/";
}

16. Detección de dispositivos
Fabricante
Modelo
Ancho y alto de pantalla
Inputs (táctil, teclado, etc)
Soporte de Javascript
Si es wireless / tablet / crawler / desktop
Navegador, nombre y versión
Sistema operativo

17. Geo IP
Fijar conexión a servidores locales
Estúpida ley de cookies europea
Restricciones copyright por países
Tres implementaciones
La de Cosimo (Opera) permite nivel de
ciudad
https://github.com/leed25d/geoip-vmod
https://github.com/lampeh/libvmod-geoip
https://github.com/cosimo/varnish-geoip

18. Firewall varnish
Usa otros vmods
ParseReq
Shield
Throttle
UrlEncode
Basado en mod_security
Backend-less: mejor no
mezclar con la lógica de caché
https://github.com/comotion/VSF

19. Firewall varnish
•
•
•
•
•
•
Mitigación de DDoS
Ataques SQL
XSS
URL malformadas
Robots y arañas
Vulnerabilidades
https://github.com/comotion/VSF

20. Firewall varnish
• Toma de decisiones
• Solo log
• Bloquear
• Devolver html
• Honey-trap
• Redirect / image

21. Firewall varnish
Te va a parar unos cuantos balones…
pero no es Lev Yashin

22. Autentificación
ldap
htpassw
vcl
*(y con cURL)
https://www.varnish-cache.org/vmod/ldap-authentication
https://github.com/pariahsoft/libvmod-authentication
https://www.varnish-cache.org/vmod/basicauth

23. Autentificación con ldap
import ldap;
if(req.url ~ "^/member/"){
if(!(req.http.Authorization && ldap.simple_auth(
true,
"cn=Manager,dc=ldap,dc=example,dc=com",
"password",
"ldap://192.168.1.1/ou=people,dc=ldap,
dc=example,dc=com?uid?sub?(objectClass=*)",
ldap.get_basicuser(),
ldap.get_basicpass()
))){
error 401;
}

24. Autentificación con htpassw
Fichero con estructura htpassw usando md5
o sha1 (no es necesario apache)
import basicauth;
sub vcl_recv {
if (!basicauth.match("/var/www/.htpasswd",
req.http.Authorization)) {
error 401 "Authentication required";
}
}

25. Autentificación harcoded en vcl
if(req.url ~ "^/protected/") {
if(!authentication.match("admin", "test")) {
error 401 "Authentication Required";
}
}

26. Ordenar parámetros
/video/480?title=0&byline=0&portrait=0&color=51a516
/video/480?byline=0&color=51a516&portrait=0&title=0
import boltsort;
sub vcl_hash {
set req.url = boltsort.sort(req.url);
}
Aumenta el ratio de hit
Disminuye el uso de memoria
https://www.varnish-cache.org/vmod/boltsort-querystring-params-sort
https://github.com/Dridi/libvmod-querystring

27. Reducir I/O de disco
“Si usas la RAM como almacén, todo Varnish
funciona en memoria”
SHM
¡NO!

28. Reducir I/O de disco
Shared Memory Log en /var/lib/varnish
Junto con los .so de los vcls que hayas cargado
~ 80 MB
/etc/fstab
tmpfs /var/lib/varnish tmpfs rw,size=128M 0 0
Si tienes SSDs no hace falta
https://www.varnish-software.com/static/book/Tuning.html#the-shared-memory-log

29. TTL personalizada
set beresp.ttl = 10m;
if (beresp.http.X-TTL) {
C{
char *ttl;
ttl = VRT_GetHdr(sp, HDR_BERESP, "06X-TTL:");
VRT_l_beresp_ttl(sp, atoi(ttl));
}C
}
http://www.slideshare.net/MaximeTopolov/varnish-14329696

30. Proxys y Akamai
Varnish 3 no transforma string en IP
ipcast.clientip(req.http.X-Forwarded-For);
ipcast.clientip(req.http.True-Client-IP);
ipcast.clientip("192.168.0.10");
ipcast.clientip("2001:db8::1");
https://github.com/lkarsten/libvmod-ipcast

31. Imágenes
No las cachees.

32. Imágenes

33. Imágenes
Si tienes CDN ¿para qué cacheas los estáticos?
Si no tienes CDN ¿para qué cacheas los estáticos?
Apache 2.4 puede ser suficiente
OMFG!!!11one!!
Ban.nuke crece sin cesar

34. Longtail
•
•
•
•
•
Separar storages
Diferentes TTLs
TTLs por horas
TTLs por tipos de ficheros
TTLs por edad del contenido

35. Longtail
sub vcl_fetch() {
if (req.url ~ "^/archivo/20(0[1-9]|1[0-2])"
&& beresp.ttl > 0s ) {
unset beresp.http.expires;
set beresp.http.cache-control = "max-age=604800";
set beresp.ttl = 2w; // varnish ttl
set beresp.storage = "disco";
} else {
set beresp.storage = "memoria";
}
}
https://www.varnish-cache.org/trac/wiki/VCLExampleLongerCaching

36. Sitio en mantenimiento
Poner el sitio en mantenimiento puede ser
una locura, avisa a Varnish de ello.
Dos acercamientos:
• Devolver todo lo que aún en caché y dar
mensaje en lo que no esté en caché.
• Dar un mensaje de mantenimiento

37. Varnish Bans Manager
Varnish Administration Console
Gestor de bans libre
Hecho en A Coruña por dot2code
https://github.com/dot2code/varnish-bans-manager

38. Varnish Bans Manager
Web-manager en django/*SQL con ACLs
https://github.com/dot2code/varnish-bans-manager

39. Varnish Bans Manager
Monitorización de bans actuales y pasados

40. Varnish Bans Manager
Ban por nodo/grupo con expresiones regulares

41. Varnish Bans Manager
Monitorización de bans actuales y pasados

42. Memcached y Redis
Lectura y escritura en Memcached
Lectura y escritura en Redis (soporte completo)
https://www.varnish-cache.org/vmod/memcached
https://github.com/zephirworks/libvmod-redis

43. Memcached y redis
Estadísticas
if (memcached.incr("node-1234", 1)) {
// set(STRING key, STRING value, INT expiration, INT flags)
memcached.set("node-1234", "1", 0, 0);
}
Recoger bloques
set resp.http.block-123 = memcached.get("block-123");

46. ¿Preguntas?