GSiteCrawler es un generador de Sitemaps de una web para Google y también te genera una lista de enlaces en un txt llamada urllist y usada por Yahoo. Algunos se preguntaran… ¿que es sitemap?, sitemap es un fichero xml donde encontraremos listadas todas las páginas de un sitio web y organizadas jerárquicamente, este fichero es usado especialmente por los motores de búsqueda para rastrear todas las páginas de un sitio web.
GSiteCrawler rastreará la web que indiquemos buscando todos los enlaces que se pueden encontrar en ella. Una vez termineme el rastreo nos facilitara los links rotos junto el sitemap y urllist de la web. Esta herramienta es muy útil para cualquier web que no disponga de un generador automatico de este tipo de ficheros, gracias a esta herramienta lograra que google le rastre un gran porcentaje de sus enlaces con una mayor facilidad.
Descarga GSiteCrawler
Puedes instalarlo en Linux gracias a Wine
