Función principal de un archivo robots.txt
La función del archivo robots.txt no es rankear, indexar o posicionarse mejor o peor en Google, al contrario puedes ver que mostrar en Google, restringiendo acceso a ciertas páginas que no queremos que Google indexe.
Robotx.txt es un archivo en el cual indicas a las arañas y motores de busqueda, para que puedan leer tu sitio de una forma más fácil, además de los archivos, carpetas o directorios restringes de el para que nadie tenga acceso a ellos.
Tambien puedes indicar las direcciones de tus sitemaps para que ahí sí (desde el sitemap) tengan una imagen global del contenido de tu sitio web en general
0 comentarios:
Publicar un comentario