El documento describe las diferentes etapas de implementación de una caché Varnish para el sitio web stockphotos.com, incluyendo la configuración inicial de Varnish, el uso de almacenamiento en masa (MSE) y alta disponibilidad (HA), la adición de SSL/TLS, el monitoreo y registro, y el control de acceso mediante rate limiting y autenticación. También se discuten técnicas adicionales como pruebas A/B, detección de dispositivos y monetización de descargas.

1. De idea a implementación con
Varnish Plus
Construyendo www.stockphotos.com
Carlos Abalde
cabalde@allenta.com
Madrid, 20 de octubre de 2016

2. La idea
https://www.flickr.com/photos/cristiancarrara/8322120385/

7. Primeros pasos
https://www.flickr.com/photos/nickharris1/4914981236/

8. Morir de éxito

9. ¿Y ahora qué?

10. Varnish Cache 101
$ cat /etc/varnish/default.vcl
...
sub vcl_recv {
unset req.http.Cookie;
}
sub vcl_backend_response {
set beresp.ttl = 5s;
set beresp.grace = 24h;
}

11. Varnish Cache 101
HTTP/1.1 200 OK
Server: Apache/2.2.15
Content-Type: text/html; charset=utf-8
...
Cache-Control: s-maxage=5, stale-while-revalidate=86400
...

12. Varnish Cache 101
HTTP/1.1 200 OK
Server: Apache/2.2.15
Content-Type: text/html; charset=utf-8
...
Cache-Control: s-maxage=3600, stale-while-revalidate=86400
xkey: category/42
xkey: photo/31416
xkey: photo/2718
...

13. Alta disponibilidad
https://www.flickr.com/photos/56587128@N04/12827233464/

14. ¡Y ahora sin caché!

15. Massive Storage Engine
$ cat /etc/default/varnish
...
DAEMON_OPTS="-a :80
...
-s mse,/mnt/store,/mnt/book"
$ mkfs.mse -s /mnt/store,100G -b /mnt/book,5G

16. Varnish High Availability
$ cat /etc/vha-agent/nodes.conf
varnish1 = 192.168.1.101
varnish2 = 192.168.1.102
varnish3 = 192.168.1.103
$ vha-agent -N /etc/vha-agent/nodes.conf -g
> /etc/varnish/vha.vcl

17. HTTPS everywhere
https://www.flickr.com/photos/bilal-kamoon/6958578902/

20. ¿Para cuándo SSL/TLS?
[…] huge waste of time
to even think about it!

21. Terminación SSL/TLS
$ cat /etc/default/varnish
...
DAEMON_OPTS="-a :80
-a 127.0.0.1:6086,PROXY
..."

22. Backends SSL/TLS
backend default {
.host = "origin.stockphotos.pri";
.port = "8080";
...
.ssl = 1;
.ssl_verify_peer = 1;
}

23. Reporting

25. Varnish Custom Statistics
$ cat /etc/varnish/default.vcl
...
sub vcl_deliver {
if (req.method == "GET" &&
req.url ~ "^/download/d+/" &&
resp.status == 200) {
std.log(
"vcs-key:DOWNLOADS/" +
regsub(req.url, "^/download/(d+)/.*$", "1"));
}
}

26. Control de acceso
https://www.flickr.com/photos/75069455@N02/6756716413/

27. Bloqueo de robots
๏ Bloqueo de las descargas masivas de imágenes
en alta resolución
‣ Rate limiting indexado por IP de origen
‣ VMODs vsthrottle, redis, memcached…
๏ Bloqueo vs. reCAPTCHA + token HMAC
๏ ¿Y los web crawlers?

28. Bonos de descargas
๏ Monetización complementaria a la publicidad
‣ Web abierta, excepto la descarga de imágenes en
alta resolución, que requiere de registro /
autenticación
‣ Usuarios pueden descargar hasta cinco imágenes
en alta resolución a la semana sin coste, pudiendo
prescindir de ese límite comprando un bono de
descargas
๏ ¿Y los web crawlers?

29. A/B testing, varnishtest,
VAC, device detection…
https://www.flickr.com/photos/eldholm/2354982554/

30. ¿Preguntas?
https://www.flickr.com/photos/101582229@N08/13948771150/