Table des matières

Contrairement à certaines croyances SEO, vous avez souvent besoin plus que de simples mots-clés et backlinks pour les moteurs de recherche pour commencer à classer un site. Si vous souhaitez que votre site continue de grimper sur le classement de la page de résultats des moteurs de recherche (SERP), il est important de contrôler ce qu’un moteur de recherche peut voir. Un protocole robots.txt peut vous aider.

Connaître les meilleures pratiques robots.txt est essentiel pour garantir le classement de votre site Web mieux. Les stratégies de référencement interne spécifiques liées à ce sujet dépendront de votre propre site Web, mais voici quelques-uns des meilleurs conseils sur l’utilisation de robots.txt pour vous assurer d’obtenir les résultats souhaités.
Qu’est-ce que Robots.txt?
Le fichier robots.txt est un protocole d’exclusion des robots, ce qui signifie qu’il s’agit d’un petit fichier texte et d’un moyen d’optimisation de l’exploration. Selon Google, un fichier robots.txt indique aux robots des moteurs de recherche quelles pages ou quels fichiers le robot peut ou ne peut pas demander à votre site Web.

Ceci est une instruction destinée aux moteurs de recherche sur la façon dont ils peuvent lire votre site Web. Ce fichier est créé pour que vous puissiez dire aux robots d’exploration ce que vous voulez qu’ils voient et ce que vous ne voulez pas qu’ils voient afin d’améliorer vos performances de référencement », déclare Grace Bell, rédactrice technique chez État d’écriture et Boomessays .

Que sont Robots.txt Pour?

Le fichier robots.txt vous permet de contrôler les pages que vous voulez et que vous ne voulez pas que les moteurs de recherche affichent , telles que les pages utilisateur ou les pages générées automatiquement. Si le site Web ne contient pas ce fichier, les moteurs de recherche poursuivront l’exploration de l’ensemble du site.

Pourquoi Robots.txt doit-il être optimisé?

Le but du fichier robots.txt n’est pas de verrouiller complètement les pages ou le contenu afin que les moteurs de recherche ne puissent pas le voir. Il s’agit de maximiser l’efficacité de leurs budgets d’exploration. Leur budget se décompose en limite de taux d’exploration et en demande d’exploration. Vous leur dites qu’ils n’ont pas besoin d’explorer les pages qui ne sont pas destinées au public.

Taux d’exploration limit représente le nombre de connexions qu’un robot d’exploration peut établir sur un site Web donné. Cela inclut le temps entre les récupérations. Si votre site Web répond rapidement, vous avez une limite de vitesse d’exploration plus élevée et ils peuvent avoir plus de connexions avec le bot. Les sites sont explorés en fonction de la demande.

Vous facilitez le travail du robot d’exploration. Ils trouveront et classeront davantage les meilleurs contenus de votre site. Ceci est utile lorsque vous avez des pages en double sur votre site Web. Parce qu’ils sont vraiment nocifs pour le référencement, vous pouvez utiliser le fichier robots.txt pour dire aux robots d’exploration de ne pas les indexer. Par exemple, cela est avantageux pour les sites Web qui ont des pages imprimables sur leur site.

Comment modifier votre contenu Robots.txt

La plupart du temps, vous ne voulez pas trop jouer avec cela. Vous ne le ferez pas souvent non plus. La seule raison d’y toucher est s’il y a des pages de votre site Web que vous ne voulez pas que votre bot explore », déclare Elaine Grant, développeur chez Paper Fellows et Australianhelp .

Ouvrez un éditeur de texte brut, puis écrivez la syntaxe. Identifiez les robots d’exploration appelés User-agent: *.

Donc, par exemple: User-agent: Googlebot. Une fois que vous avez identifié le robot d’exploration, vous pouvez autoriser ou interdire certaines pages. Cela peut alors bloquer tout type de fichier spécifique. C’est une chose très simple et tout ce que vous avez à faire est de le saisir et de l’ajouter au fichier robots.txt.

Validation de Robots.txt

Lorsque vous trouvez et modifiez votre fichier robots.txt, vous devez le tester pour valider qu’il fonctionne correctement. Pour ce faire, vous devez signer votre compte Google Webmasters, puis accéder à l’exploration. Cela élargira le menu et vous y trouverez le testeur. En cas de problème, vous pouvez modifier votre code directement. Cependant, ils ne sont pas entièrement modifiés tant que vous ne les copiez pas sur votre site Web.

Bonnes pratiques avec Robots.txt

Votre fichier robots.txt doit être nommé robots.txt pour que vous puissiez le trouver et le trouver. Il doit se trouver dans le dossier racine de votre site Web. Tout le monde peut voir ce fichier et il suffit de taper le nom de votre fichier robots.txt avec l’URL de votre site Web. Donc, ne l’utilisez pas pour être sournois ou trompeur car il s’agit d’informations publiques.

Ne définissez pas de règles spécifiques pour une recherche spécifique moteurs. C’est moins déroutant de cette façon.  Vous devez ajouter une syntaxe interdite à votre fichier robots.txt mais cela n’empêchera pas son indexation, vous devez utiliser une balise noindex. Les robots d’exploration sont incroyablement avancés et voient votre site Web comme vous. Donc, si votre site Web utilise CSS et JS pour fonctionner, vous ne devez pas bloquer ces fichiers de votre fichier robots.txt.

Si vous souhaitez que cela soit reconnu immédiatement, vous devez l’ajouter immédiatement à Google au lieu d’attendre que le site soit exploré. Les liens sur des pages qui ont été interdites peuvent être considérés comme non suivis. Ainsi, certains liens ne seront indexés que s’ils se trouvent sur d’autres pages.  Les sitemaps doivent être placés au bas de ce fichier.

La mise en œuvre de ces bonnes pratiques du fichier robots.txt devrait aider votre site mieux se classer dans les moteurs de recherche, car cela facilite le travail du robot d’exploration.

 

 

traduit de https://www.seoblog.com/best-ways-to-optimize-and-validate-your-robots.txt avec le générateur de contenu infinity reborn