@chemaalonso
Gracias por la invitación
Index 
Cache 
Index 
Cache 
Other Search 
Engines 
Pub doc 
Index & 
Cache
Cache 
http://www.elladodelmal.com/2013/08/una-anecdota-con-google-archive-y-la.html
Primary Index & Secondary Index 
http://www.elladodelmal.com/2014/07/cuantas-urls-se-pueden-extraer-con.html
What is Robots.txt for? 
• Evita la indexación de contenidos 
de las URLs protegidas 
• Por tanto, no se realiza spidering...
Robots.txt Security Issues 
B14Ck S30 Pwn1nage!
Robots.txt “leakeage”
Robots.txt “leakeage” + Archive.org
Robots.txt “leakeage” + Google 
http://www.elladodelmal.com/2013/09/buscando-en-robotstxt-lo-que-esta.html
Robots.txt “leakeage”+ Google+ 
Directory Listing 
http://www.elladodelmal.com/2013/09/buscando-en-robotstxt-lo-que-esta.h...
Robots.txt “leakeage” + Google + IIS 
ShortName b 
http://www.elladodelmal.com/2013/10/un-bug-de-iis-short-name-en-el-wind...
Robots.txt “leakeage” + Google + IIS 
ShortName + FOCA 
http://www.elladodelmal.com/2012/07/listado-de-ficheros-en-iis-7-u...
Indexing the Robots.txt
Indexing the Robots.txt
Indexing the Robots.txt
Indexing the Robots.txt: 
Blogger preview + Cache 
http://www.elladodelmal.com/2012/08/minority-report-pre-visualizando-el...
Indexing the Robots.txt: 
WordPress preview + Cache 
http://www.elladodelmal.com/2014/07/wordpress-ten-cuidado-con-el-cach...
Indexing the Robots.txt: 
WordPress preview + Cache 
http://www.elladodelmal.com/2014/07/wordpress-ten-cuidado-con-el-cach...
“GmailGate” with Robots.txt: 
Octubre de 2013 
http://www.elladodelmal.com/2013/10/79400-urls-de-gmail-indexadas-en-google...
“GmailGate” with Robots.txt: 
Octubre de 2013 
http://www.elladodelmal.com/2013/10/79400-urls-de-gmail-indexadas-en-google...
“GmailGate” with Robots.txt: 
Octubre de 2013 
http://www.elladodelmal.com/2013/10/79400-urls-de-gmail-indexadas-en-google...
“GmailGate” with Robots.txt: 
Abril de 2014 
http://www.elladodelmal.com/2014/05/gmail-borraste-en-google-pero-te-quedan.h...
“GmailGate” with Robots.txt: 
Julio de 2014 
http://www.elladodelmal.com/2014/07/googe-si-usa-bing-para-borrar-las-urls.ht...
“Facebookgate” with Robots.txt 
http://www.elladodelmal.com/2013/09/facebook-tiene-problemas-con-la.html
“Facebookgate” with Robots.txt 
http://www.elladodelmal.com/2013/09/facebook-tiene-problemas-con-la.html
“WhatsAppGate” with Robots.txt 
http://www.elladodelmal.com/2013/09/problemas-de-privacidad-de-whatsapp-con.html
Indexing the robots.txt + XSS = XSS 
Google-Persistentes 
http://es.slideshare.net/chemai64/xss-google-persistentes
Robots.txt 
• Previene que se indexe a partir de las 
rutas puestas. 
• Evita que se guarde contenido en el 
índice de Goo...
“Evernotegate” with Robots.txt 
http://www.elladodelmal.com/2014/08/evernote-no-quiere-hacer-nada-cuida-tus.html
Not cache, but it is in the index 
http://www.elladodelmal.com/2014/08/evernote-no-quiere-hacer-nada-cuida-tus.html
Evernote, Index & Cache 
http://www.elladodelmal.com/2014/08/evernote-no-quiere-hacer-nada-cuida-tus.html
“Evernotegate” with Robots.txt 
http://www.elladodelmal.com/2014/08/evernote-no-quiere-hacer-nada-cuida-tus.html
El “viagrate” del Albacete Balompié
Demo: Brute Forcing the index
How to manage the relationship? 
http://www.slideshare.net/chemai64/black-seov3
How to manage the relationship? 
• Evitar rutas con contenido mixto 
(público/privado) 
• Evitar contenido no enlazado en...
How to manage the relationship? 
(Google) 
https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_t...
HTML Meta Tags 
https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag
X-Robots-Tag HTTP header 
https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag
Google WebMaster Tools 
https://www.google.com/webmasters/tools/home?hl=es
Faast: Persistent Pentesting 
• BlackSEO 
– Cheap Viagra 
– Cheap Software 
– Etc… 
• Robots.txt fingerprinting 
– SW vers...
Chema Alonso 
chema@11Paths.com 
http://www.elladodelmal.com 
@chemaalonso 
¿Preguntas?
Próxima SlideShare
Cargando en…5
×

No me indexes que me cacheo

74.300 visualizaciones

Publicado el

Presentación impartida por Chema Alonso en las Navajas Negras 4 Edición (año 2014) sobre la indexación de contenido en los buscadores y cómo aprovecharlo para hacer auditorías de seguridad y hacking

Publicado en: Tecnología
1 comentario
20 recomendaciones
Estadísticas
Notas
Sin descargas
Visualizaciones
Visualizaciones totales
74.300
En SlideShare
0
De insertados
0
Número de insertados
19.057
Acciones
Compartido
0
Descargas
181
Comentarios
1
Recomendaciones
20
Insertados 0
No insertados

No hay notas en la diapositiva.

No me indexes que me cacheo

  1. 1. @chemaalonso
  2. 2. Gracias por la invitación
  3. 3. Index Cache Index Cache Other Search Engines Pub doc Index & Cache
  4. 4. Cache http://www.elladodelmal.com/2013/08/una-anecdota-con-google-archive-y-la.html
  5. 5. Primary Index & Secondary Index http://www.elladodelmal.com/2014/07/cuantas-urls-se-pueden-extraer-con.html
  6. 6. What is Robots.txt for? • Evita la indexación de contenidos de las URLs protegidas • Por tanto, no se realiza spidering • No evita que se indexen las URLS
  7. 7. Robots.txt Security Issues B14Ck S30 Pwn1nage!
  8. 8. Robots.txt “leakeage”
  9. 9. Robots.txt “leakeage” + Archive.org
  10. 10. Robots.txt “leakeage” + Google http://www.elladodelmal.com/2013/09/buscando-en-robotstxt-lo-que-esta.html
  11. 11. Robots.txt “leakeage”+ Google+ Directory Listing http://www.elladodelmal.com/2013/09/buscando-en-robotstxt-lo-que-esta.html
  12. 12. Robots.txt “leakeage” + Google + IIS ShortName b http://www.elladodelmal.com/2013/10/un-bug-de-iis-short-name-en-el-windows.html
  13. 13. Robots.txt “leakeage” + Google + IIS ShortName + FOCA http://www.elladodelmal.com/2012/07/listado-de-ficheros-en-iis-7-utilizando.html
  14. 14. Indexing the Robots.txt
  15. 15. Indexing the Robots.txt
  16. 16. Indexing the Robots.txt
  17. 17. Indexing the Robots.txt: Blogger preview + Cache http://www.elladodelmal.com/2012/08/minority-report-pre-visualizando-el.html
  18. 18. Indexing the Robots.txt: WordPress preview + Cache http://www.elladodelmal.com/2014/07/wordpress-ten-cuidado-con-el-cacheo-de.html
  19. 19. Indexing the Robots.txt: WordPress preview + Cache http://www.elladodelmal.com/2014/07/wordpress-ten-cuidado-con-el-cacheo-de.html
  20. 20. “GmailGate” with Robots.txt: Octubre de 2013 http://www.elladodelmal.com/2013/10/79400-urls-de-gmail-indexadas-en-google.html
  21. 21. “GmailGate” with Robots.txt: Octubre de 2013 http://www.elladodelmal.com/2013/10/79400-urls-de-gmail-indexadas-en-google.html
  22. 22. “GmailGate” with Robots.txt: Octubre de 2013 http://www.elladodelmal.com/2013/10/79400-urls-de-gmail-indexadas-en-google.html
  23. 23. “GmailGate” with Robots.txt: Abril de 2014 http://www.elladodelmal.com/2014/05/gmail-borraste-en-google-pero-te-quedan.html
  24. 24. “GmailGate” with Robots.txt: Julio de 2014 http://www.elladodelmal.com/2014/07/googe-si-usa-bing-para-borrar-las-urls.html
  25. 25. “Facebookgate” with Robots.txt http://www.elladodelmal.com/2013/09/facebook-tiene-problemas-con-la.html
  26. 26. “Facebookgate” with Robots.txt http://www.elladodelmal.com/2013/09/facebook-tiene-problemas-con-la.html
  27. 27. “WhatsAppGate” with Robots.txt http://www.elladodelmal.com/2013/09/problemas-de-privacidad-de-whatsapp-con.html
  28. 28. Indexing the robots.txt + XSS = XSS Google-Persistentes http://es.slideshare.net/chemai64/xss-google-persistentes
  29. 29. Robots.txt • Previene que se indexe a partir de las rutas puestas. • Evita que se guarde contenido en el índice de Google/Bing/Otros • No evita que la URL, el título, y las keywords del enlace se indexen. • Puede ser un leak de información en ataques dirigidos y en ataques de dorking. • No evita la indexación en el pasado.
  30. 30. “Evernotegate” with Robots.txt http://www.elladodelmal.com/2014/08/evernote-no-quiere-hacer-nada-cuida-tus.html
  31. 31. Not cache, but it is in the index http://www.elladodelmal.com/2014/08/evernote-no-quiere-hacer-nada-cuida-tus.html
  32. 32. Evernote, Index & Cache http://www.elladodelmal.com/2014/08/evernote-no-quiere-hacer-nada-cuida-tus.html
  33. 33. “Evernotegate” with Robots.txt http://www.elladodelmal.com/2014/08/evernote-no-quiere-hacer-nada-cuida-tus.html
  34. 34. El “viagrate” del Albacete Balompié
  35. 35. Demo: Brute Forcing the index
  36. 36. How to manage the relationship? http://www.slideshare.net/chemai64/black-seov3
  37. 37. How to manage the relationship? • Evitar rutas con contenido mixto (público/privado) • Evitar contenido no enlazado en rutas públicas • Evitar rutas privadas conocidas (/etc/ /users/) • Evitar rutas privadas explícitas • Evitar configuraciones privadas automáticas • Evitar el uso de rutas privadas a fichero • Aplicar la misma configuración para todas las arañas de todos los buscadores de Internet • Proteger las rutas privadas con listas de control de acceso si es posible http://www.slideshare.net/chemai64/black-seov3
  38. 38. How to manage the relationship? (Google) https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag
  39. 39. HTML Meta Tags https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag
  40. 40. X-Robots-Tag HTTP header https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag
  41. 41. Google WebMaster Tools https://www.google.com/webmasters/tools/home?hl=es
  42. 42. Faast: Persistent Pentesting • BlackSEO – Cheap Viagra – Cheap Software – Etc… • Robots.txt fingerprinting – SW versions • Robots.txt leakeage – Testing all forbiden URLs • Robots.txt indexation – Searching forbidden URLS in Google/Bing https://www.elevenpaths.com/technology/faast/index.html
  43. 43. Chema Alonso chema@11Paths.com http://www.elladodelmal.com @chemaalonso ¿Preguntas?

×