Dans ce tutoriel, je vais vous dire comment ajouter un fichier robots.txt personnalisé dans Blogger.

Alors, commençons:

Qu'est-ce que Robots.txt?

Robots.txt est un fichier texte qui contient quelques lignes de code simple. Il est enregistré sur le site Web ou le serveur du blog qui indique aux robots d'indexation comment indexer et analyser votre blog dans les résultats de recherche. Cela signifie que vous pouvez restreindre toute page Web sur votre blog à partir de robots d'indexation afin qu'elle ne puisse pas être indexée dans les moteurs de recherche comme la page d'étiquettes de blog, votre page de démonstration ou d'autres pages. Rappelez-vous toujours que les robots de recherche analysent le fichier robots.txt avant d'explorer une page Web.

Chaque blog hébergé sur blogger a son fichier robots.txt par défaut qui ressemble à ceci:


Ce code est divisé en trois sections. Commençons par étudier chacun d'entre eux après que nous allons apprendre comment ajouter un fichier robots.txt personnalisé dans les blogs blogspot.

User-agent: Mediapartners-Google

Ce code est pour les robots Google Adsense qui les aident à diffuser de meilleures annonces sur votre blog. Soit vous utilisez Google Adsense sur votre blog ou pas simplement laissez le tel quel est.

User-agent: *

Ceci est valable pour tous les robots marqués d'un astérisque (*). Dans les paramètres par défaut, les liens des libellés de notre blog sont limités à l'indexation par les robots de recherche, ce qui signifie que les robots d'indexation n'indexeront pas nos liens de page d'étiquettes à cause du code ci-dessous.

Disallow: / search


Cela signifie que les liens ayant une recherche par mot-clé juste après le nom de domaine seront ignorés. Voir ci-dessous exemple qui est un lien de la page d'étiquette nommée SEO.

http://www.allbloggingmag.com/search/label/SEO

Et si nous retirons Disallow: / search du code ci-dessus, alors les robots d exploration accèderont à notre blog entier pour indexer et explorer tout son contenu et ses pages web.

Ici Allow: / se réfère à la page d'accueil qui signifie que les robots d'exploration peuvent explorer et indexer la page d'accueil de notre blog.


Interdire un article particulier

Supposons maintenant que si nous voulons exclure un article particulier de l'indexation, nous pouvons ajouter des lignes ci-dessous dans le code.

Disallow: /yyyy/mm/post-url.html

Ici yyyy et mm se réfèrent respectivement à l'année de publication et au mois de publication. Par exemple si nous avons publié un post dans l'année 2013 en mars, nous devons utiliser le format ci-dessous.

Disallow: /2013/03/post-url.html

Pour faciliter cette tâche, vous pouvez simplement copier l'URL de l article et supprimer le nom du blog depuis le début.

Interdire une page particulière
 
Si nous devons interdire une page particulière, nous pouvons utiliser la même méthode que ci-dessus. Copiez simplement l'URL de la page et supprimez-en l'adresse de blog, ce qui ressemblera à ceci:

Disallow: /p/page-url.html Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Ce code fait référence au sitemap de notre blog. En ajoutant un lien sitemap ici, nous optimisons simplement le taux d'exploration de notre blog. Cela signifie que chaque fois que les robots d'exploration de notre site Web analyseront notre fichier robots.txt, ils trouveront un chemin vers notre sitemap où tous les liens des articles publiés seront présents. Les robots d'exploration Web trouveront facile d'explorer tous nos puplications. Par conséquent, il y a de meilleures chances que les robots d'exploration Web explorent tous nos billets de blog sans en ignorer un seul.

Remarque: Ce sitemap indiquera uniquement aux robots d'exploration Web les 25 dernieres piblications. Si vous souhaitez augmenter le nombre de liens dans votre sitemap, remplacez le sitemap par défaut ci-dessous. Il fonctionnera pour les 500 premiers posts récents.

Sitemap: http://allbloggingmag.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Si vous avez plus de 500 articles publiés dans votre blog, vous pouvez utiliser deux sitemaps comme ci-dessous:


Sitemap: http://allbloggingmag.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500 Sitemap: http://allbloggingmag.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000

Ajouter un Fichier Robots.Txt Personnalisé à Blogger

Maintenant, la partie principale de ce tutoriel est comment ajouter des robots.txt personnalisés dans blogger.

Allez sur votre blog blogger.

Accédez à Paramètres >> Préférences de recherche >> Robot exploration  et indexation >>  Fichier robots.txt Personnalisé  >> Modifier >> Oui

Maintenant collez votre code de fichier robots.txt dans la boîte.




Cliquez sur le bouton Enregistrer les modifications.


Vous avez terminé!