Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

No me indexes que me cacheo

75.962 visualizaciones

Publicado el

Presentación impartida por Chema Alonso en las Navajas Negras 4 Edición (año 2014) sobre la indexación de contenido en los buscadores y cómo aprovecharlo para hacer auditorías de seguridad y hacking

Publicado en: Tecnología

No me indexes que me cacheo

  1. 1. @chemaalonso
  2. 2. Gracias por la invitación
  3. 3. Index Cache Index Cache Other Search Engines Pub doc Index & Cache
  4. 4. Cache http://www.elladodelmal.com/2013/08/una-anecdota-con-google-archive-y-la.html
  5. 5. Primary Index & Secondary Index http://www.elladodelmal.com/2014/07/cuantas-urls-se-pueden-extraer-con.html
  6. 6. What is Robots.txt for? • Evita la indexación de contenidos de las URLs protegidas • Por tanto, no se realiza spidering • No evita que se indexen las URLS
  7. 7. Robots.txt Security Issues B14Ck S30 Pwn1nage!
  8. 8. Robots.txt “leakeage”
  9. 9. Robots.txt “leakeage” + Archive.org
  10. 10. Robots.txt “leakeage” + Google http://www.elladodelmal.com/2013/09/buscando-en-robotstxt-lo-que-esta.html
  11. 11. Robots.txt “leakeage”+ Google+ Directory Listing http://www.elladodelmal.com/2013/09/buscando-en-robotstxt-lo-que-esta.html
  12. 12. Robots.txt “leakeage” + Google + IIS ShortName b http://www.elladodelmal.com/2013/10/un-bug-de-iis-short-name-en-el-windows.html
  13. 13. Robots.txt “leakeage” + Google + IIS ShortName + FOCA http://www.elladodelmal.com/2012/07/listado-de-ficheros-en-iis-7-utilizando.html
  14. 14. Indexing the Robots.txt
  15. 15. Indexing the Robots.txt
  16. 16. Indexing the Robots.txt
  17. 17. Indexing the Robots.txt: Blogger preview + Cache http://www.elladodelmal.com/2012/08/minority-report-pre-visualizando-el.html
  18. 18. Indexing the Robots.txt: WordPress preview + Cache http://www.elladodelmal.com/2014/07/wordpress-ten-cuidado-con-el-cacheo-de.html
  19. 19. Indexing the Robots.txt: WordPress preview + Cache http://www.elladodelmal.com/2014/07/wordpress-ten-cuidado-con-el-cacheo-de.html
  20. 20. “GmailGate” with Robots.txt: Octubre de 2013 http://www.elladodelmal.com/2013/10/79400-urls-de-gmail-indexadas-en-google.html
  21. 21. “GmailGate” with Robots.txt: Octubre de 2013 http://www.elladodelmal.com/2013/10/79400-urls-de-gmail-indexadas-en-google.html
  22. 22. “GmailGate” with Robots.txt: Octubre de 2013 http://www.elladodelmal.com/2013/10/79400-urls-de-gmail-indexadas-en-google.html
  23. 23. “GmailGate” with Robots.txt: Abril de 2014 http://www.elladodelmal.com/2014/05/gmail-borraste-en-google-pero-te-quedan.html
  24. 24. “GmailGate” with Robots.txt: Julio de 2014 http://www.elladodelmal.com/2014/07/googe-si-usa-bing-para-borrar-las-urls.html
  25. 25. “Facebookgate” with Robots.txt http://www.elladodelmal.com/2013/09/facebook-tiene-problemas-con-la.html
  26. 26. “Facebookgate” with Robots.txt http://www.elladodelmal.com/2013/09/facebook-tiene-problemas-con-la.html
  27. 27. “WhatsAppGate” with Robots.txt http://www.elladodelmal.com/2013/09/problemas-de-privacidad-de-whatsapp-con.html
  28. 28. Indexing the robots.txt + XSS = XSS Google-Persistentes http://es.slideshare.net/chemai64/xss-google-persistentes
  29. 29. Robots.txt • Previene que se indexe a partir de las rutas puestas. • Evita que se guarde contenido en el índice de Google/Bing/Otros • No evita que la URL, el título, y las keywords del enlace se indexen. • Puede ser un leak de información en ataques dirigidos y en ataques de dorking. • No evita la indexación en el pasado.
  30. 30. “Evernotegate” with Robots.txt http://www.elladodelmal.com/2014/08/evernote-no-quiere-hacer-nada-cuida-tus.html
  31. 31. Not cache, but it is in the index http://www.elladodelmal.com/2014/08/evernote-no-quiere-hacer-nada-cuida-tus.html
  32. 32. Evernote, Index & Cache http://www.elladodelmal.com/2014/08/evernote-no-quiere-hacer-nada-cuida-tus.html
  33. 33. “Evernotegate” with Robots.txt http://www.elladodelmal.com/2014/08/evernote-no-quiere-hacer-nada-cuida-tus.html
  34. 34. El “viagrate” del Albacete Balompié
  35. 35. Demo: Brute Forcing the index
  36. 36. How to manage the relationship? http://www.slideshare.net/chemai64/black-seov3
  37. 37. How to manage the relationship? • Evitar rutas con contenido mixto (público/privado) • Evitar contenido no enlazado en rutas públicas • Evitar rutas privadas conocidas (/etc/ /users/) • Evitar rutas privadas explícitas • Evitar configuraciones privadas automáticas • Evitar el uso de rutas privadas a fichero • Aplicar la misma configuración para todas las arañas de todos los buscadores de Internet • Proteger las rutas privadas con listas de control de acceso si es posible http://www.slideshare.net/chemai64/black-seov3
  38. 38. How to manage the relationship? (Google) https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag
  39. 39. HTML Meta Tags https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag
  40. 40. X-Robots-Tag HTTP header https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag
  41. 41. Google WebMaster Tools https://www.google.com/webmasters/tools/home?hl=es
  42. 42. Faast: Persistent Pentesting • BlackSEO – Cheap Viagra – Cheap Software – Etc… • Robots.txt fingerprinting – SW versions • Robots.txt leakeage – Testing all forbiden URLs • Robots.txt indexation – Searching forbidden URLS in Google/Bing https://www.elevenpaths.com/technology/faast/index.html
  43. 43. Chema Alonso chema@11Paths.com http://www.elladodelmal.com @chemaalonso ¿Preguntas?

×