Robot.txt es una forma de controlar qué bots de búsqueda (como google, yahoo y bing) tienen acceso. Tenga en cuenta que no todos los bots de búsqueda (granjeros de correo electrónico, bots de malware, etc.) respetarán las reglas puestas en este archivo.
Para usar esto, cree un archivo llamado "robots.txt" en la ruta web raíz de su dominio (normalmente public_html).
Aquí hay algunos ejemplos básicos de lo que puede hacer con este archivo.
1) Esto evitará que todos los robots rastreen su sitio web.
2) Esto evitará que todos los bots accedan a la carpeta web llamada private
3) Esto negará a todos los bots acceder a las carpetas web privadas e imágenes
4) Esto evitará que todos los bots accedan a la página nobots.html en su raíz web.
Para usar esto, cree un archivo llamado "robots.txt" en la ruta web raíz de su dominio (normalmente public_html).
Aquí hay algunos ejemplos básicos de lo que puede hacer con este archivo.
1) Esto evitará que todos los robots rastreen su sitio web.
User-agent: * Disallow: /
2) Esto evitará que todos los bots accedan a la carpeta web llamada private
User-agent: * Disallow: /private/
3) Esto negará a todos los bots acceder a las carpetas web privadas e imágenes
User-agent: * Disallow: /images/ Disallow: /private/
4) Esto evitará que todos los bots accedan a la página nobots.html en su raíz web.
User-agent: * Disallow: /nobots.html