Secondo il concetto di indicizzazione, adottato da Google,La completezza, l'obiettività dell'informazione e la sua corrispondenza alla query di ricerca quando vengono forniti i risultati vengono presi in considerazione. Se un sito con contenuti illegali entra nell'indice o la risorsa è destinata allo spam, le pagine di tale sito non verranno contrassegnate nel database generale del motore di ricerca. Per noi è importante imparare come eliminare un sito dal server in base ai risultati di ricerca.
Zero opzioni di indicizzazione per Google
Una volta che il crawler è un programma di raccoltainformazioni sulle nuove risorse: eseguirà la scansione del sito ogni singola pagina, quindi, se soddisferà i requisiti della politica di Google in materia di analisi, verrà indicizzato. Descriveremo anche come eliminare il tuo sito oi singoli frammenti per i motori di ricerca usando robots.txt - un puntatore e allo stesso tempo un terminatore di ricerca.
Per escludere l'intera risorsa dall'emissione,la cartella radice del server su cui si trova il sito crea una zona di testo specifica, il suddetto file robots.txt. Questa zona viene elaborata dai motori di ricerca e opera secondo le istruzioni leggere.
Tieni presente che il motore di ricerca di Googleindicizzare la pagina, anche se l'utente non è autorizzato a visualizzare. Quando il browser risponde con 401 o 403 "Accesso non è valido", si applica solo ai visitatori, piuttosto che i programmi che si riuniscono per questo motore di ricerca.
Per capire come eliminare un sito dall'indicizzazione della ricerca, devi inserire le seguenti righe nel puntatore del testo:
Agente utente: Googlebot
Non consentire: /
Questo dice al motore di ricerca di vietare l'indicizzazione dell'intero contenuto del sito. Ecco come rimuovere il sito di Google in modo che quest'ultimo non memorizzi nella cache la risorsa trovata.
Opzioni di scansione per diversi protocolli
Se è necessario elencare standard individualilink per i quali si desidera applicare regole speciali relative all'indicizzazione di Google, ad esempio separatamente per i protocolli ipertestuali http / https, anche questo deve essere registrato in robots.txt nel modo seguente (esempio).
(http://yourserver.com/robots.txt) - nome di dominio del tuo sito (qualsiasi)
User-agent: * - per qualsiasi motore di ricerca
Consenti: / - consenti l'indicizzazione completa
Come rimuovere completamente un sito dalla SERP per il protocollo https
(https://yourserver.com/robots.txt):
Agente utente: *
Disallow: / divieto completo di indicizzazione
Rimozione urgente dell'URL della risorsa dai risultati di ricerca di Google
Se non vuoi aspettare la reindicizzazione, eil sito deve essere nascosto il prima possibile, consiglio di utilizzare il servizio http://services.google.com/urlconsole/controller. Il file pre-robots.txt deve essere già posizionato nella directory principale del server del sito. Dovrebbe contenere le istruzioni appropriate.
Se il puntatore non è disponibile per qualche motivoper modificarlo nella directory principale, è sufficiente crearlo nella cartella con gli oggetti per i quali ci si vuole nascondere ai motori di ricerca. Non appena lo fai e contatti il servizio per la rimozione automatica degli indirizzi ipertestuali, Google non eseguirà la scansione delle cartelle specificate per essere rimosse nel file robots.txt.
Il periodo di tale invisibilità è fissato a 3 mesi. Trascorso questo periodo, il catalogo rimosso dai risultati della ricerca verrà nuovamente elaborato dal server di Google.
KCome rimuovere un sito per la scansione parziale
Quando un bot di ricerca legge il contenuto di robots.txt, quindi determinate decisioni vengono prese in base al suo contenuto. Supponiamo che tu voglia escludere l'intera directory denominata anatom dalla visualizzazione. Per fare ciò, è sufficiente prescrivere le seguenti istruzioni:
Agente utente: Googlebot
Disallow: / anatom
Oppure, ad esempio, non vuoi indicizzare tutte le immagini di tipo .gif. Per fare ciò, aggiungi il seguente elenco:
Agente utente: Googlebot
Disallow: /*.gif$
Ecco un altro esempio. Anche se è necessario rimuovere le informazioni sulle pagine generate dinamicamente dall'analisi, aggiungere una voce del tipo al puntatore:
Agente utente: Googlebot
Disallow: / *?
Questo è più o meno come le regole permotori di ricerca. Un'altra cosa è che è molto più comodo usare il tag META per tutto questo. E i webmaster spesso usano proprio uno standard di questo tipo che regola il funzionamento dei motori di ricerca. Ma ne parleremo nei seguenti articoli.
