Cuando un sitio web es nuevo los buscadores aún no lo conocen, ni llegarán a conocerlo nunca a menos que de una forma u otra sepan cuál es su dirección o URL. Para que un buscador conozca la dirección de una página web nueva se me ocurren dos maneras.
La primera es llamarlos y decirles la URL de nuestra nueva web y la segunda es esperar a que sus robots o arañas al pasearse por las webs que ya conocen vean en alguna de ellas un enlace hacia nuestro sitio. Una vez que el buscador visite nuestra página principal seguirá conociendo el resto de páginas internas conforme vea sus uls en los enlaces hacia el resto de páginas internas.
El mapa de un sitio web es un archivo sencillo que contiene un listado con las direcciones de todas las páginas de ese sitio web. Sirve tanto a buscadores como a visitantes para conocer cuántas páginas componen un sitio y cuáles son, ofreciendo además un enlace a cada una de ellas y en ocasiones alguna información extra, lo cuál facilita la búsqueda de contenido dentro de esa web.
Por tanto los robots (y los visitantes) solo son capaces de conocer las páginas de tu web a las que se puede llegar partiendo de la página principal o partiendo de cualquier otra externa que ya conozca. No obstante en ocasiones armamos tal lio en las webs que hasta los robots se pierden algunas páginas por no poder llegar a ellas. Ahí es donde triunfan los sitemaps, pues al recoger todas y cada una de las páginas del sitio (o al menos las que nosotros queramos) sirven de instrumento perfecto para indicarle a los robots (y visitantes, por qué no) todas las páginas que tenemos para ofrecerles. No todas las páginas de dentro de nuestras webs son vistas por los robots o arañas, como es el caso de algunos enlaces insertos en código JavaScript, proporcionados mediante Ajax, o casos similares. No es lo normal, pero ocurre en ocasiones que el robot no alcance a ver todas las páginas. Conforme el sitio web tiene más páginas y más ramificaciones peor se lo ponemos a estos robots.
Cuando un sitio web dispone de un mapa del sitio y un buscador lo encuentra (bien al rastrear o bien por que se lo indicamos nosotros) tenemos bastantes garantias de que tomará nota de (indexará) todas esas páginas internas.
El término Sitemaps es un invento de Google, que trató de unificar o dictar unas normas para la elaboración de estos mapas de sitios web y, aunque existen varios modos de escribir este documento, es un termino que se ha generalizado bastante.
Aunque fuera un invento de Google, todos los buscadores importantes leen bien esta forma de conocer los contenidos de las páginas web por lo que normalmente no se crean formatos distintos para cada buscador, menos mal.... je je je.
El uso de sitemaps es muy importante entonces en sitios en los que la cantidad de páginas se nos va de las manos, como en foros por ejemplo y en cualquier sitio de contenido dinámico en general. También por supuesto, en sitios cuyas páginas internas no están bien enlazadas o lo están muy poco.