Pagal „Google“ patvirtintą indeksavimo koncepciją,jame atsižvelgiama į informacijos išsamumą, objektyvumą ir jo atitiktį paieškos užklausai išduodant rezultatus. Jei į indeksavimą patenka į svetainę, kurioje yra neteisėtas turinys, arba išteklius skirtas šlamštui, šios svetainės puslapiai nebus pažymėti bendrojoje paieškos sistemos duomenų bazėje. Mums svarbu sužinoti, kaip pašalinti svetainę iš paieškos rezultatų rezultatų iš serverio.
„Google“ nulio indeksavimo parinktys
Kai tikrintuvas yra surinkimo programainformacija apie naujus išteklius - tikrina svetainę po puslapį, tada, jei ji atitinka „Google“ analizavimo politikos reikalavimus, ji bus indeksuojama. Bet mes taip pat pasakysime, kaip pašalinti svetainę ar atskirus paieškos sistemų fragmentus naudojant robots.txt - indeksą ir tuo pačiu paieškos ribotuvą.
Norėdami išleisti visus išteklius iš leidimo,Serverio, kuriame yra svetainė, šakniniame aplanke sukuriama tam tikra teksto zona - minėta robots.txt. Šią sritį apdoroja paieškos sistemos ir veikia pagal perskaitytas instrukcijas.
Atminkite, kad „Google“ paieškos variklisindeksuos puslapį, net jei vartotojui uždrausta prieiga prie peržiūros. Kai naršyklė atsako 401 arba 403 „Netinkama prieiga“, tai skirta tik lankytojams, o ne tos paieškos sistemos kolekcininkams.
Norėdami suprasti, kaip pašalinti svetainę iš paieškos indeksavimo, teksto rodyklėje reikia įvesti šias eilutes:
„User-agent“: „Googlebot“
Neleisti: /
Tai rodo, kad paieškos robotai neindeksuoja viso svetainės turinio. Štai kaip ištrinti „Google“ svetainę, kad ji nesudarytų talpyklos išteklių atrastame sąraše.
Skirtingų protokolų nuskaitymo parinktys
Jei reikia išvardyti atskirus standartusnuorodos, kurioms norite taikyti specialias taisykles, susijusias su „Google“ indeksavimu, pavyzdžiui, atskirai hiperteksto protokolams http / https, tai taip pat reikia užregistruoti robots.txt tokiu būdu (pavyzdys).
(http://yourserver.com/robots.txt) - jūsų svetainės domeno vardas (bet koks)
„User-agent“: * - bet kuriam paieškos varikliui
Leisti: / - leisti atlikti pilną indeksavimą
Kaip visiškai pašalinti svetainę iš SERP naudojant „https“ protokolą
(https://yourserver.com/robots.txt):
Vartotojo atstovas: *
Neleisti: / visiškai uždrausti indeksuoti
Skubus šaltinio URL pašalinimas iš „Google“ paieškos rezultatų
Jei nenorite laukti pakartotinio indeksavimo, irsvetainę reikia kuo greičiau paslėpti, rekomenduoju naudoti paslaugą http://services.google.com/urlconsole/controller. Pre-robots.txt jau turi būti įdėtas į svetainės serverio šakninį katalogą. Jame turėtų būti atitinkamos instrukcijos.
Jei žymeklio dėl kokių nors priežasčių nėranorint redaguoti šakniniame kataloge, pakanka jį sukurti aplanke su objektais, kuriuos norite slėpti nuo paieškos sistemų. Kai tik tai padarysite ir susisieksite su tarnyba dėl hiperteksto adresų automatinio pašalinimo, „Google“ netikrins aplankų, kurie nurodyti pašalinti robots.txt.
Tokio nematomumo laikotarpis yra 3 mėnesiai. Po šio laikotarpio „Google“ serveris vėl apdoros iš paieškos rezultatų pašalintą katalogą.
IkiKaip pašalinti svetainę dalinai nuskaityti
Kai paieškos robotas skaito robotų turinį.txt, tada pagal jo turinį priimami tam tikri sprendimai. Tarkime, kad norite iš ekrano pašalinti visą katalogą, pavadintą anatomu. Norėdami tai padaryti, pakanka nurodyti šias instrukcijas:
„User-agent“: „Googlebot“
Neleisti: / anatomo
Arba, pavyzdžiui, norite neindeksuoti visų .gif tipo vaizdų. Norėdami tai padaryti, pridėkite šį sąrašą:
„User-agent“: „Googlebot“
Neleisti: /*.gif$
Štai dar vienas pavyzdys. Net jei reikia pašalinti informaciją apie dinamiškai sugeneruotus puslapius iš analizės, tada prie rodyklės pridėkite tipo įrašą:
„User-agent“: „Googlebot“
Neleisti: / *?
Apytiksliai taip taikomos taisyklėspaieškos sistemos. Kitas dalykas yra tai, kad visam tam žymiai patogiau naudoti META žymą. O žiniatinklio valdytojai dažnai naudoja būtent tokį standartą, kuris reguliuoja paieškos sistemų veikimą. Bet apie tai kalbėsime kituose straipsniuose.
