Definición:
Robots.txt es el nombre común de un archivo de texto que se carga en el directorio raíz de un sitio Web y se vincula en el código HTML de la página web. El archivo robots.txt se utiliza para proporcionar instrucciones sobre el sitio web para los robots web y las arañas o spiders. Los autores de las páginas web pueden utilizar robots.txt para que los robots que participan en el rastreo cooperen y no tengan acceso la totalidad del sitio o a partes de un sitio web que se desea mantener en privado.
Robots.txt es un fichero de texto (no HTML) que se pone para indicar a los robots de búsqueda que páginas le gustaría que no sean visitadas. No obliga necesariamente a los motores de búsqueda, pero en general, los motores de búsqueda obedecen a lo que se les pide no hacerlo. Es importante aclarar que robots.txt no es una manera de prevenir que los motores de búsqueda rastreen un sitio (es decir, no es una clase de protección por contraseña) y el hecho de que se pone un archivo robots.txt es algo así como poner una nota: «por favor, no entrar» en una puerta abierta.
Ubicación del Robots.txt
La ubicación de robots.txt es muy importante. Debe estar en el directorio principal porque de lo contrario los motores de búsqueda no serán capaces de encontrarlo. Si no lo encuentran allí, simplemente asumirán que ese sitio no tiene un archivo robots.txt y por lo tanto indexan todo lo que encuentran en el camino.
Términos relacionados
