Selon le concept d'indexation, adopté par Google,L'exhaustivité, l'objectivité des informations et leur correspondance avec la requête de recherche lorsque les résultats sont donnés sont prises en compte. Si un site contenant du contenu illégal entre dans l'index ou si la ressource est destinée au spam, les pages d'un tel site ne seront pas marquées dans la base de données générale du moteur de recherche. Il est important que nous apprenions à supprimer un site du serveur par les résultats de recherche.
Options d'indexation zéro pour Google
Как только поисковый робот – программа сбора informations sur les nouvelles ressources - analysera le site page par page, puis, s’il répond aux exigences de la politique de Google en matière d’analyse, il sera indexé. Mais nous allons également décrire comment supprimer votre site ou des fragments individuels pour les moteurs de recherche en utilisant robots.txt - un pointeur et en même temps un terminateur de recherche.
Pour exclure la totalité de la ressource de l'émission, dansDans le dossier racine du serveur où se trouve le site, une certaine zone de texte est créée - le robots.txt mentionné. Cette zone est traitée par les moteurs de recherche et agit selon les instructions lues.
Gardez à l'esprit que le moteur de recherche Googleindexera la page même si l'accès à la vue est refusé à l'utilisateur. Lorsque le navigateur répond avec une réponse 401 ou 403 «Access Invalid», ce n'est que pour les visiteurs, pas pour les collectionneurs de ce moteur de recherche.
Pour comprendre comment supprimer un site de l'indexation de recherche, les lignes suivantes doivent être saisies dans l'index de texte:
Agent utilisateur: Googlebot
Interdire: /
Cela indique au robot d'exploration du moteur de recherche de ne pas indexer tout le contenu du site. Voici comment supprimer un site Google afin qu'il ne cache pas la ressource dans la liste découverte.
Options de numérisation pour différents protocoles
Si vous avez besoin de lister des normes individuellesliens pour lesquels vous souhaitez appliquer des règles spéciales concernant l'indexation Google, par exemple séparément pour les protocoles hypertextes http / https, cela doit également être enregistré dans le fichier robots.txt de la manière suivante (exemple).
(http://yourserver.com/robots.txt) - nom de domaine de votre site (quelconque)
User-agent: * - pour tout moteur de recherche
Autoriser: / - autoriser l'indexation complète
Comment supprimer complètement un site du SERP pour le protocole https
(https://yourserver.com/robots.txt):
Agent utilisateur: *
Disallow: / interdiction complète de l'indexation
Suppression urgente de l'URL de la ressource des résultats de recherche Google
Si vous ne voulez pas attendre la réindexation, etle site doit être masqué au plus vite, je recommande d'utiliser le service http://services.google.com/urlconsole/controller. Pre-robots.txt doit déjà être placé dans le répertoire racine du serveur de site. Il doit contenir les instructions appropriées.
Si le pointeur n'est pas disponible pour une raison quelconquepour éditer dans le répertoire racine, il suffit de le créer dans le dossier avec les objets pour lesquels vous souhaitez masquer des moteurs de recherche. Dès que vous faites cela et contactez le service pour la suppression automatique des adresses hypertextes, Google n'explorera pas les dossiers qui sont spécifiés pour être supprimés dans le fichier robots.txt.
La période d'une telle invisibilité est fixée à 3 mois. Passé ce délai, l'annuaire supprimé des résultats de recherche sera à nouveau traité par le serveur Google.
ÀComment supprimer un site pour l'explorer partiellement
Lorsqu'un robot de recherche lit le contenu des robots.txt, alors certaines décisions sont prises en fonction de son contenu. Supposons que vous souhaitiez exclure de l'affichage l'intégralité du répertoire nommé anatom. Pour ce faire, il suffit d'enregistrer les instructions suivantes:
Agent utilisateur: Googlebot
Interdire: / anatom
Ou, par exemple, vous ne souhaitez pas indexer toutes les images de type .gif. Pour ce faire, ajoutez la liste suivante:
Agent utilisateur: Googlebot
Interdire: /*.gif$
Voici un autre exemple. Même si vous devez supprimer des informations sur les pages générées dynamiquement de l'analyse, ajoutez une entrée du type au pointeur:
Agent utilisateur: Googlebot
Interdire: / *?
Voici à peu près comment les règlesmoteurs de recherche. Une autre chose est qu'il est beaucoup plus pratique d'utiliser la balise META pour tout cela. Et les webmasters utilisent souvent une telle norme qui régit le fonctionnement des moteurs de recherche. Mais nous en parlerons dans les articles suivants.
