Prema konceptu indeksiranja koji je usvojio Google,potpunost, objektivnost podataka i njihova usklađenost s upitom za pretraživanje uzimaju se u obzir prilikom izdavanja rezultata. Ako je stranica s ilegalnim sadržajem indeksirana ili je resurs namijenjen neželjenoj pošti, stranice takve stranice neće biti označene u općoj bazi podataka tražilice. Za nas je važno otkriti kako ukloniti web mjesto iz rezultata poslužitelja na temelju rezultata pretraživanja.
Google Zero Indexing Options
Jednom je indeksiranje program sakupljanjainformacije o novim resursima - indeksira stranicu po stranicu, a zatim, ako udovoljava zahtjevima Googleovih pravila raščlanjivanja, bit će indeksirana. No, također ćemo vam reći kako ukloniti vašu web lokaciju ili pojedinačne fragmente za tražilice pomoću robots.txt - indeksa i istovremeno ograničenja pretraživanja.
Da biste isključili cjelokupni resurs iz izdavanja, uU korijenskoj mapi poslužitelja na kojem se nalazi stranica kreira se određena tekstna zona - spomenuti robots.txt. Ovo područje obrađuju tražilice i djeluje u skladu s pročitanim uputama.
Imajte na umu da Google tražilicaindeksiraće stranicu čak i ako je korisniku pristup odbijen. Kada preglednik odgovori odgovorom 401 ili 403 "Pristup nevažeći", to je samo za posjetitelje, a ne i za sakupljače te tražilice.
Da biste razumjeli kako ukloniti web mjesto iz indeksiranja pretraživanja, u indeks teksta treba unijeti sljedeće retke:
Korisnički agent: Googlebot
Zabraniti: /
To indeksiranju tražilice ukazuje na to da ne indeksira cjelokupni sadržaj web stranice. Evo kako izbrisati Googleovu web lokaciju kako ne bi predmemorirao resurs s otkrivenog popisa.
Opcije skeniranja za različite protokole
Ako trebate navesti pojedinačne standardeveze na koje želite primijeniti posebna pravila u vezi s Googleovim indeksiranjem, na primjer, odvojeno za hipertekst protokole http / https, to također treba registrirati u robots.txt na sljedeći način (primjer).
(http://yourserver.com/robots.txt) - naziv domene vašeg web mjesta (bilo koji)
Korisnički agent: * - za bilo koju tražilicu
Dopusti: / - omogući potpuno indeksiranje
Kako u potpunosti ukloniti web mjesto iz SERP-a za https protokol
(https://yourserver.com/robots.txt):
Korisnički agent: *
Zabraniti: / potpuna zabrana indeksiranja
Hitno uklanjanje URL-a resursa iz Googleovih rezultata pretraživanja
Ako ne želite čekati ponovno indeksiranje, iweb mjesto treba sakriti što je prije moguće, preporučujem upotrebu usluge http://services.google.com/urlconsole/controller. Pre-robots.txt već mora biti smješten u korijenski direktorij poslužitelja web mjesta. U njemu trebaju biti napisane odgovarajuće upute.
Ako pokazivač iz nekog razloga nije dostupanza uređivanje u korijenskom direktoriju dovoljno je stvoriti ga u mapi s objektima za koje se želite sakriti od tražilica. Čim to učinite i kontaktirate službu za automatsko uklanjanje hipertekst adresa, Google neće indeksirati mape koje su određene za uklanjanje u robots.txt.
Razdoblje takve nevidljivosti određeno je na 3 mjeseca. Nakon tog razdoblja, Googleov poslužitelj ponovno će obraditi katalog uklonjen iz rezultata pretraživanja.
KKako ukloniti web mjesto za djelomično indeksiranje
Kada pretraživački bot pročita sadržaj robota.txt, tada se na temelju njegovog sadržaja donose određene odluke. Recimo da iz prikaza želite isključiti cijeli direktorij nazvan anatom. Da biste to učinili, dovoljno je propisati sljedeće upute:
Korisnički agent: Googlebot
Zabraniti: / anatom
Ili, na primjer, ne želite indeksirati sve slike tipa .gif. Da biste to učinili, dodajte sljedeći popis:
Korisnički agent: Googlebot
Zabraniti: /*.gif$
Evo još jednog primjera. Čak i ako je potrebno ukloniti podatke o dinamički generiranim stranicama iz raščlanjivanja, tada dodajemo unos tipa u pokazivač:
Korisnički agent: Googlebot
Zabraniti: / *?
Otprilike su takva pravila zatražilice. Druga je stvar što je puno prikladnije koristiti META oznaku za sve to. A webmasteri često koriste upravo takav standard koji regulira rad tražilica. Ali o tome ćemo govoriti u sljedećim člancima.
