Fichero robots.txt wordpress

WordPress robots.txt disallow all

Puede tener varias líneas de instrucciones para permitir o no permitir URLs específicas y añadir varios mapas de sitio. Si no desautoriza una URL, los robots de los motores de búsqueda asumirán que tienen permiso para rastrearla.
El objetivo de optimizar su archivo robots.txt es evitar que los motores de búsqueda rastreen páginas que no están disponibles públicamente. Por ejemplo, páginas en su carpeta wp-plugins o páginas en su carpeta de administración de WordPress.
Esperamos que este artículo le haya ayudado a aprender cómo optimizar su archivo robots.txt de WordPress para el SEO. Puede que también quiera ver nuestra guía definitiva de SEO para WordPress y las mejores herramientas de SEO para WordPress para hacer crecer su sitio web.

WordPress robots.txt no se actualiza

Virtual Robots.txt es una solución fácil (es decir, automatizada) para crear y gestionar un archivo robots.txt para su sitio. En lugar de andar con el FTP, los archivos, los permisos, etc., sólo tienes que subir y activar el plugin y ya está.
Lo que vi no fue lo que obtuve. El mapa del sitio XML no se incluyó en el archivo robots.txt, a pesar de que esto se describió como una característica que debe trabajar fuera de la caja. Además de eso, al instalar este plugin, bloqueó ciertos directorios sin preguntar. Por último, inserta una línea en la parte superior del archivo, promocionando el plugin. Esto debería ser una característica opcional que los usuarios puedan desactivar. En general, ofrece la funcionalidad, pero se queda corto y decepciona en otras áreas.
Pero después de guardar su texto sugerido en mi nuevo “robots.txt virtual”, hice clic en el enlace donde dice “Puede previsualizar su archivo robots.txt aquí (abre una nueva ventana). Si su archivo robots.txt no coincide con lo que se muestra a continuación, es posible que tenga un archivo físico que se está mostrando en su lugar.”

Comprobador de robots.txt

Al limpiar mis archivos durante el reciente rediseño, me di cuenta de que habían pasado varios años desde la última vez que miré el archivo robots.txt del sitio. Supongo que eso es algo bueno, pero con todos los cambios en la estructura y el contenido del sitio, ha llegado el momento de volver a revisar el archivo robots.txt.
Con WordPress, quieres que los motores de búsqueda rastreen e indexen tus entradas y páginas, pero no tus archivos y directorios principales de WP. También quieres asegurarte de que los feeds y los trackbacks no se incluyan en los resultados de búsqueda. También es una buena práctica declarar un mapa del sitio. Con esto en mente, aquí están las nuevas y mejoradas reglas de robots.txt para WordPress:
Utilizo este código exacto en casi todos mis sitios principales. También está bien personalizar las reglas, por ejemplo, si necesita excluir algún directorio y/o archivo personalizado, según la estructura real de su sitio y su estrategia de SEO.
Si echa un vistazo al contenido del archivo robots.txt de Perishable Press, observará una directiva de robots adicional que prohíbe el acceso al agujero negro del sitio a los robots malintencionados. Echemos un vistazo:

Archivo robots.txt por defecto de wordpress

Si estás en un nicho altamente competitivo con un sitio grande, probablemente. Sin embargo, si estás empezando tu primer blog, la construcción de enlaces a tu contenido y la creación de muchos artículos de alta calidad son prioridades mayores.
El archivo Robots.txt suele estar en la carpeta raíz del sitio. Tendrás que conectarte a tu sitio usando un cliente FTP o usando el administrador de archivos de tu cPanel para verlo. Se trata de un archivo de texto normal que puede abrir con el Bloc de notas.
Si no tiene un archivo robots.txt en el directorio raíz de su sitio, puede crear uno. Todo lo que tiene que hacer es crear un nuevo archivo de texto en su ordenador y guardarlo como robots.txt. A continuación, cárguelo en la carpeta raíz de su sitio.
Ten en cuenta que si utilizas un plugin como Yoast o All in One SEO, puede que no necesites añadir la sección del mapa del sitio, ya que intentan hacerlo automáticamente. Si falla, puedes añadirlo manualmente como en el ejemplo anterior.
Sin embargo, le recomiendo que no permita el archivo readme.html en su archivo robots.txt. Este archivo readme puede ser utilizado por alguien que intente averiguar qué versión de WordPress está utilizando. Si se trata de una persona, puede acceder fácilmente al archivo simplemente navegando hasta él. Además, poner una etiqueta disallow puede bloquear ataques maliciosos.

Esta web utiliza cookies propias para su correcto funcionamiento. Al hacer clic en el botón Aceptar, acepta el uso de estas tecnologías y el procesamiento de tus datos para estos propósitos. Más información
Privacidad