No me indexes que me cacheo

29.021 visualizaciones

Publicado el

Presentación impartida por Chema Alonso en las Navajas Negras 4 Edición (año 2014) sobre la indexación de contenido en los buscadores y cómo aprovecharlo para hacer auditorías de seguridad y hacking

Publicado en: Tecnología
1 comentario
17 recomendaciones
Estadísticas
Notas
Sin descargas
Visualizaciones
Visualizaciones totales
29.021
En SlideShare
0
De insertados
0
Número de insertados
11.749
Acciones
Compartido
0
Descargas
131
Comentarios
1
Recomendaciones
17
Insertados 0
No insertados

No hay notas en la diapositiva.

No me indexes que me cacheo

  1. 1. @chemaalonso
  2. 2. Gracias por la invitación
  3. 3. Index Cache Index Cache Other Search Engines Pub doc Index & Cache
  4. 4. Cache http://www.elladodelmal.com/2013/08/una-anecdota-con-google-archive-y-la.html
  5. 5. Primary Index & Secondary Index http://www.elladodelmal.com/2014/07/cuantas-urls-se-pueden-extraer-con.html
  6. 6. What is Robots.txt for? • Evita la indexación de contenidos de las URLs protegidas • Por tanto, no se realiza spidering • No evita que se indexen las URLS
  7. 7. Robots.txt Security Issues B14Ck S30 Pwn1nage!
  8. 8. Robots.txt “leakeage”
  9. 9. Robots.txt “leakeage” + Archive.org
  10. 10. Robots.txt “leakeage” + Google http://www.elladodelmal.com/2013/09/buscando-en-robotstxt-lo-que-esta.html
  11. 11. Robots.txt “leakeage”+ Google+ Directory Listing http://www.elladodelmal.com/2013/09/buscando-en-robotstxt-lo-que-esta.html
  12. 12. Robots.txt “leakeage” + Google + IIS ShortName b http://www.elladodelmal.com/2013/10/un-bug-de-iis-short-name-en-el-windows.html
  13. 13. Robots.txt “leakeage” + Google + IIS ShortName + FOCA http://www.elladodelmal.com/2012/07/listado-de-ficheros-en-iis-7-utilizando.html
  14. 14. Indexing the Robots.txt
  15. 15. Indexing the Robots.txt
  16. 16. Indexing the Robots.txt
  17. 17. Indexing the Robots.txt: Blogger preview + Cache http://www.elladodelmal.com/2012/08/minority-report-pre-visualizando-el.html
  18. 18. Indexing the Robots.txt: WordPress preview + Cache http://www.elladodelmal.com/2014/07/wordpress-ten-cuidado-con-el-cacheo-de.html
  19. 19. Indexing the Robots.txt: WordPress preview + Cache http://www.elladodelmal.com/2014/07/wordpress-ten-cuidado-con-el-cacheo-de.html
  20. 20. “GmailGate” with Robots.txt: Octubre de 2013 http://www.elladodelmal.com/2013/10/79400-urls-de-gmail-indexadas-en-google.html
  21. 21. “GmailGate” with Robots.txt: Octubre de 2013 http://www.elladodelmal.com/2013/10/79400-urls-de-gmail-indexadas-en-google.html
  22. 22. “GmailGate” with Robots.txt: Octubre de 2013 http://www.elladodelmal.com/2013/10/79400-urls-de-gmail-indexadas-en-google.html
  23. 23. “GmailGate” with Robots.txt: Abril de 2014 http://www.elladodelmal.com/2014/05/gmail-borraste-en-google-pero-te-quedan.html
  24. 24. “GmailGate” with Robots.txt: Julio de 2014 http://www.elladodelmal.com/2014/07/googe-si-usa-bing-para-borrar-las-urls.html
  25. 25. “Facebookgate” with Robots.txt http://www.elladodelmal.com/2013/09/facebook-tiene-problemas-con-la.html
  26. 26. “Facebookgate” with Robots.txt http://www.elladodelmal.com/2013/09/facebook-tiene-problemas-con-la.html
  27. 27. “WhatsAppGate” with Robots.txt http://www.elladodelmal.com/2013/09/problemas-de-privacidad-de-whatsapp-con.html
  28. 28. Indexing the robots.txt + XSS = XSS Google-Persistentes http://es.slideshare.net/chemai64/xss-google-persistentes
  29. 29. Robots.txt • Previene que se indexe a partir de las rutas puestas. • Evita que se guarde contenido en el índice de Google/Bing/Otros • No evita que la URL, el título, y las keywords del enlace se indexen. • Puede ser un leak de información en ataques dirigidos y en ataques de dorking. • No evita la indexación en el pasado.
  30. 30. “Evernotegate” with Robots.txt http://www.elladodelmal.com/2014/08/evernote-no-quiere-hacer-nada-cuida-tus.html
  31. 31. Not cache, but it is in the index http://www.elladodelmal.com/2014/08/evernote-no-quiere-hacer-nada-cuida-tus.html
  32. 32. Evernote, Index & Cache http://www.elladodelmal.com/2014/08/evernote-no-quiere-hacer-nada-cuida-tus.html
  33. 33. “Evernotegate” with Robots.txt http://www.elladodelmal.com/2014/08/evernote-no-quiere-hacer-nada-cuida-tus.html
  34. 34. El “viagrate” del Albacete Balompié
  35. 35. Demo: Brute Forcing the index
  36. 36. How to manage the relationship? http://www.slideshare.net/chemai64/black-seov3
  37. 37. How to manage the relationship? • Evitar rutas con contenido mixto (público/privado) • Evitar contenido no enlazado en rutas públicas • Evitar rutas privadas conocidas (/etc/ /users/) • Evitar rutas privadas explícitas • Evitar configuraciones privadas automáticas • Evitar el uso de rutas privadas a fichero • Aplicar la misma configuración para todas las arañas de todos los buscadores de Internet • Proteger las rutas privadas con listas de control de acceso si es posible http://www.slideshare.net/chemai64/black-seov3
  38. 38. How to manage the relationship? (Google) https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag
  39. 39. HTML Meta Tags https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag
  40. 40. X-Robots-Tag HTTP header https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag
  41. 41. Google WebMaster Tools https://www.google.com/webmasters/tools/home?hl=es
  42. 42. Faast: Persistent Pentesting • BlackSEO – Cheap Viagra – Cheap Software – Etc… • Robots.txt fingerprinting – SW versions • Robots.txt leakeage – Testing all forbiden URLs • Robots.txt indexation – Searching forbidden URLS in Google/Bing https://www.elevenpaths.com/technology/faast/index.html
  43. 43. Chema Alonso chema@11Paths.com http://www.elladodelmal.com @chemaalonso ¿Preguntas?

×