El documento discute el uso de 'robots.txt' para prevenir la indexación de contenido en motores de búsqueda, destacando cómo puede ser utilizado para filtrar información sensible. Se presentan diversas situaciones y eventos relacionados con la indexación y filtrado de URLs en plataformas como Google y Facebook. Además, se analizan métodos para gestionar la exposición de información privada a través de configuraciones adecuadas.

1. @chemaalonso

2. Gracias por la invitación

3. Index
Cache
Index
Cache
Other Search
Engines
Pub doc
Index &
Cache

4. Cache
http://www.elladodelmal.com/2013/08/una-anecdota-con-google-archive-y-la.html

5. Primary Index & Secondary Index
http://www.elladodelmal.com/2014/07/cuantas-urls-se-pueden-extraer-con.html

6. What is Robots.txt for?
• Evita la indexación de contenidos
de las URLs protegidas
• Por tanto, no se realiza spidering
• No evita que se indexen las
URLS

7. Robots.txt Security Issues
B14Ck S30 Pwn1nage!

8. Robots.txt “leakeage”

9. Robots.txt “leakeage” + Archive.org

10. Robots.txt “leakeage” + Google
http://www.elladodelmal.com/2013/09/buscando-en-robotstxt-lo-que-esta.html

11. Robots.txt “leakeage”+ Google+
Directory Listing
http://www.elladodelmal.com/2013/09/buscando-en-robotstxt-lo-que-esta.html

12. Robots.txt “leakeage” + Google + IIS
ShortName b
http://www.elladodelmal.com/2013/10/un-bug-de-iis-short-name-en-el-windows.html

13. Robots.txt “leakeage” + Google + IIS
ShortName + FOCA
http://www.elladodelmal.com/2012/07/listado-de-ficheros-en-iis-7-utilizando.html

14. Indexing the Robots.txt

15. Indexing the Robots.txt

16. Indexing the Robots.txt

17. Indexing the Robots.txt:
Blogger preview + Cache
http://www.elladodelmal.com/2012/08/minority-report-pre-visualizando-el.html

18. Indexing the Robots.txt:
WordPress preview + Cache
http://www.elladodelmal.com/2014/07/wordpress-ten-cuidado-con-el-cacheo-de.html

19. Indexing the Robots.txt:
WordPress preview + Cache
http://www.elladodelmal.com/2014/07/wordpress-ten-cuidado-con-el-cacheo-de.html

20. “GmailGate” with Robots.txt:
Octubre de 2013
http://www.elladodelmal.com/2013/10/79400-urls-de-gmail-indexadas-en-google.html

21. “GmailGate” with Robots.txt:
Octubre de 2013
http://www.elladodelmal.com/2013/10/79400-urls-de-gmail-indexadas-en-google.html

22. “GmailGate” with Robots.txt:
Octubre de 2013
http://www.elladodelmal.com/2013/10/79400-urls-de-gmail-indexadas-en-google.html

23. “GmailGate” with Robots.txt:
Abril de 2014
http://www.elladodelmal.com/2014/05/gmail-borraste-en-google-pero-te-quedan.html

24. “GmailGate” with Robots.txt:
Julio de 2014
http://www.elladodelmal.com/2014/07/googe-si-usa-bing-para-borrar-las-urls.html

25. “Facebookgate” with Robots.txt
http://www.elladodelmal.com/2013/09/facebook-tiene-problemas-con-la.html

26. “Facebookgate” with Robots.txt
http://www.elladodelmal.com/2013/09/facebook-tiene-problemas-con-la.html

27. “WhatsAppGate” with Robots.txt
http://www.elladodelmal.com/2013/09/problemas-de-privacidad-de-whatsapp-con.html

28. Indexing the robots.txt + XSS = XSS
Google-Persistentes
http://es.slideshare.net/chemai64/xss-google-persistentes

29. Robots.txt
• Previene que se indexe a partir de las
rutas puestas.
• Evita que se guarde contenido en el
índice de Google/Bing/Otros
• No evita que la URL, el título, y las
keywords del enlace se indexen.
• Puede ser un leak de información en
ataques dirigidos y en ataques de
dorking.
• No evita la indexación en el pasado.

30. “Evernotegate” with Robots.txt
http://www.elladodelmal.com/2014/08/evernote-no-quiere-hacer-nada-cuida-tus.html

31. Not cache, but it is in the index
http://www.elladodelmal.com/2014/08/evernote-no-quiere-hacer-nada-cuida-tus.html

32. Evernote, Index & Cache
http://www.elladodelmal.com/2014/08/evernote-no-quiere-hacer-nada-cuida-tus.html

33. “Evernotegate” with Robots.txt
http://www.elladodelmal.com/2014/08/evernote-no-quiere-hacer-nada-cuida-tus.html

34. El “viagrate” del Albacete Balompié

35. Demo: Brute Forcing the index

36. How to manage the relationship?
http://www.slideshare.net/chemai64/black-seov3

37. How to manage the relationship?
• Evitar rutas con contenido mixto
(público/privado)
• Evitar contenido no enlazado en rutas
públicas
• Evitar rutas privadas conocidas (/etc/ /users/)
• Evitar rutas privadas explícitas
• Evitar configuraciones privadas automáticas
• Evitar el uso de rutas privadas a fichero
• Aplicar la misma configuración para todas las
arañas de todos los buscadores de Internet
• Proteger las rutas privadas con listas de
control de acceso si es posible
http://www.slideshare.net/chemai64/black-seov3

38. How to manage the relationship?
(Google)
https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag

39. HTML Meta Tags
https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag

40. X-Robots-Tag HTTP header
https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag

41. Google WebMaster Tools
https://www.google.com/webmasters/tools/home?hl=es

42. Faast: Persistent Pentesting
• BlackSEO
– Cheap Viagra
– Cheap Software
– Etc…
• Robots.txt fingerprinting
– SW versions
• Robots.txt leakeage
– Testing all forbiden
URLs
• Robots.txt indexation
– Searching forbidden
URLS in Google/Bing
https://www.elevenpaths.com/technology/faast/index.html

43. Chema Alonso
chema@11Paths.com
http://www.elladodelmal.com
@chemaalonso
¿Preguntas?