Googlen hyväksymän indeksointikonseptin mukaantulosten julkaisemisessa otetaan huomioon tietojen täydellisyys, objektiivisuus ja hakukyselyn noudattaminen. Jos laitonta sisältöä sisältävä sivusto indeksoidaan tai resurssi on tarkoitettu roskapostiksi, tällaisen sivuston sivuja ei merkitä yleiseen hakukoneiden tietokantaan. Meille on tärkeää selvittää, kuinka sivusto poistetaan palvelimen tuloksista hakutulosten perusteella.
Google Zero Indexing Options
Kun indeksointirobotti on keräysohjelmatietoja uusista resursseista - indeksoi sivuston sivukohtaisesti, ja jos se täyttää Googlen jäsentämiskäytännön vaatimukset, se indeksoidaan. Mutta kerromme sinulle myös, kuinka voit poistaa sivustosi tai yksittäiset fragmentit hakukoneille robots.txt-tiedoston avulla - hakemisto ja samalla hakurajoitin.
Jos haluat sulkea koko resurssin liikkeeseen, sisäänSen palvelimen juurikansioon, jossa sivusto sijaitsee, luodaan tietty tekstivyöhyke - mainittu robots.txt. Hakukoneet käsittelevät tämän alueen ja toimivat luettujen ohjeiden mukaisesti.
Muista, että Google-hakukoneindeksoi sivun, vaikka katselun käyttöoikeus estetään käyttäjältä. Kun selain vastaa 401 tai 403 "Access Invalid" -vastauksella, tämä on vain vierailijoille, ei kyseisen hakukoneen kerääjille.
Seuraavat rivit on syötettävä tekstihakemistoon, jotta voidaan ymmärtää, kuinka sivusto poistetaan hakuhakemistosta:
Käyttäjäagentti: Googlebot
Estä: /
Tämä osoittaa, että hakukoneiden indeksointirobotille on kielletty indeksoimasta koko sivuston sisältöä. Näin voit poistaa Google-sivuston, jotta se ei tallenna välimuistia löydetyn luettelon resurssiin.
Eri protokollien skannausvaihtoehdot
Jos haluat luetella yksittäisiä standardejalinkit, joille haluat soveltaa Google-indeksointiin liittyviä erityissääntöjä, esimerkiksi erikseen hypertekstiprotokollille http / https, tämä on myös rekisteröitävä robots.txt-tiedostossa seuraavalla tavalla (esimerkki).
(http://oma-palvelin.com/robots.txt) - sivustosi verkkotunnus (mikä tahansa)
User-agent: * - kaikille hakukoneille
Salli: / - salli täydellinen indeksointi
Sivuston poistaminen SERP: stä kokonaan https-protokollaa varten
(https://palvelimesi.com/robots.txt):
Käyttäjä agentti: *
Disallow: / täydellinen indeksointikielto
Resurssin URL-osoitteen poistaminen kiireellisesti Google-hakutuloksista
Jos et halua odottaa indeksointia uudelleen, jasivusto on piilotettava mahdollisimman pian, suosittelen palvelun http://services.google.com/urlconsole/controller käyttöä. Pre-robots.txt on jo sijoitettava sivustopalvelimen juurihakemistoon. Vastaavat ohjeet tulisi täsmentää siinä.
Jos osoitin ei ole jostain syystä käytettävissäJos haluat muokata juurihakemistoa, riittää, että luot sen kansioon, jossa on esineitä, joita haluat piilottaa hakukoneilta. Heti kun teet tämän ja otat yhteyttä palveluun hypertekstiosoitteiden automaattisen poistamisen puolesta, Google ei indeksoi kansioita, jotka on määritetty poistettaviksi robots.txt-tiedostossa.
Tällaisen näkymättömyyden jaksoksi on asetettu 3 kuukautta. Tämän ajanjakson jälkeen Google-palvelin käsittelee hakutuloksista poistetun luettelon uudelleen.
KKuinka poistaa osittain indeksoitava sivusto
Kun hakubotti lukee robottien sisältöä.txt, sitten tietyt päätökset tehdään sen sisällön perusteella. Oletetaan, että haluat sulkea pois koko hakemiston nimeltä anatom. Tätä varten riittää, että määrätään seuraavat ohjeet:
Käyttäjäagentti: Googlebot
Estä: / anatomia
Tai esimerkiksi et halua indeksoida kaikkia .gif-tyyppisiä kuvia. Voit tehdä tämän lisäämällä seuraavan luettelon:
Käyttäjäagentti: Googlebot
Estä: /*.gif$
Tässä on toinen esimerkki. Vaikka dynaamisesti luotujen sivujen tietojen poistaminen jäsentämisestä on välttämätöntä, lisätään tyypin merkintä osoittimeen:
Käyttäjäagentti: Googlebot
Hylkää: / *?
Noin näin säännöthakukoneet. Toinen asia on, että META-tunnisteen käyttö on paljon helpompaa tähän kaikkeen. Ja verkkovastaavat käyttävät usein juuri sellaista standardia, joka säätelee hakukoneiden toimintaa. Mutta puhumme tästä seuraavissa artikkeleissa.
