I følge indekseringskonseptet som ble vedtatt av Google,informasjonens fullstendighet, objektivitet og dens samsvar med søket blir tatt i betraktning når resultater utstedes. Hvis et nettsted med ulovlig innhold er indeksert, eller ressursen er ment for nettsøppel, vil ikke sidene til et slikt nettsted bli merket i den generelle søkemotordatabasen. Det er viktig for oss å finne ut hvordan vi fjerner et nettsted fra serverresultatene basert på søkeresultatene.
Alternativer for Google Zero Indexing
En gang en crawler er et innsamlingsprograminformasjon om nye ressurser - gjennomsøker siden side for side, og hvis den oppfyller kravene i Googles analysepolicy, vil den indekseres. Men vi vil også fortelle deg hvordan du fjerner nettstedet ditt eller individuelle fragmenter for søkemotorer ved hjelp av robots.txt - en indeks og samtidig en søkebegrenser.
For å ekskludere hele ressursen fra utstedelsen, iI rotmappen til serveren der nettstedet ligger, opprettes en viss tekstsone - nevnte robots.txt. Dette området behandles av søkemotorer og fungerer i henhold til instruksjonene som er lest.
Husk at Googles søkemotorindekserer siden, selv om visningstilgang nektes for brukeren. Når nettleseren svarer med et 401- eller 403-svar "Access Invalid", er dette bare for de besøkende, ikke samlerne for den søkemotoren.
For å forstå hvordan du fjerner et nettsted fra søkeindeksering, bør følgende linjer legges inn i tekstindeksen:
Brukeragent: Googlebot
Ikke tillat: /
Dette indikerer at søkemotoren ikke skal indeksere alt nettstedinnhold. Slik sletter du et Google-nettsted slik at det ikke cache ressursen i den oppdagede listen.
Skannealternativer for forskjellige protokoller
Hvis du trenger å liste opp individuelle standarderkoblinger som du vil bruke spesielle regler for for eksempel Google-indeksering, for eksempel separat for http / https hypertekstprotokollene, må dette også registreres i robots.txt på følgende måte (eksempel).
(http://yourserver.com/robots.txt) - domenenavnet på nettstedet ditt (hvilket som helst)
User-agent: * - for alle søkemotorer
Tillat: / - tillat full indeksering
Hvordan fjerne et nettsted fra SERP fullstendig for https-protokollen
(https://yourserver.com/robots.txt):
Bruker agent: *
Ikke tillat: / fullstendig indekseringsforbud
Haster fjerning av ressurs-URL fra Googles søkeresultater
Hvis du ikke vil vente på nyindeksering, ognettstedet må skjules så snart som mulig, jeg anbefaler å bruke tjenesten http://services.google.com/urlconsole/controller. Pre-robots.txt må allerede plasseres i rotkatalogen til nettstedsserveren. Den skal inneholde de riktige instruksjonene.
Hvis pekeren ikke er tilgjengelig av en eller annen grunnfor å redigere i rotkatalogen, er det nok å opprette den i mappen med objekter du vil skjule for søkemotorer. Så snart du gjør dette og kontakter tjenesten for automatisk fjerning av hypertekstadresser, vil ikke Google gjennomsøke mapper som er spesifisert for å bli fjernet i robots.txt.
Perioden med slik usynlighet er satt til 3 måneder. Etter denne perioden vil katalogen som er fjernet fra søkeresultatene behandles på nytt av Google-serveren.
KHvordan fjerne et nettsted for delvis gjennomsøking
Når en søkebot leser innholdet i roboter.txt, da blir visse beslutninger tatt basert på innholdet. La oss si at du vil ekskludere hele katalogen med navnet anatom fra skjermen. For å gjøre dette er det nok å foreskrive følgende instruksjoner:
Brukeragent: Googlebot
Ikke tillat: / anatom
Eller for eksempel vil du ikke indeksere alle bilder av .gif-typen. For å gjøre dette, legg til følgende liste:
Brukeragent: Googlebot
Ikke tillat: /*.gif$
Her er et annet eksempel. Selv om du trenger å fjerne informasjon om dynamisk genererte sider fra parsing, legger du til en oppføring av typen i pekeren:
Brukeragent: Googlebot
Ikke tillat: / *?
Dette er omtrent hvordan reglene forsøkemotorer. En annen ting er at det er mye mer praktisk å bruke META-taggen til alt dette. Og webansvarlige bruker ofte akkurat en slik standard som regulerer driften av søkemotorer. Men vi vil snakke om dette i de følgende artiklene.
