Enligt det indexkoncept som antagits av Google,Informationens fullständighet, objektivitet och dess efterlevnad av sökfrågan beaktas vid utfärdandet av resultat. Om en webbplats med olagligt innehåll är indexerad, eller om resursen är avsedd för skräppost, kommer sidorna på en sådan webbplats inte att markeras i den allmänna sökmotordatabasen. Det är viktigt för oss att ta reda på hur man tar bort en webbplats från servern sökresultat.
Googles nollindexeringsalternativ
En gång en sökrobot är ett insamlingsprograminformation om nya resurser - genomsöker webbplatsen sida för sida, och om den uppfyller kraven i Googles analyspolicy kommer den att indexeras. Men vi kommer också att berätta hur du tar bort din webbplats eller enskilda fragment för sökmotorer som använder robots.txt - ett index och samtidigt en sökbegränsare.
För att utesluta hela resursen från emissionen, iI rotmappen på servern där webbplatsen finns skapas en viss textzon - nämnda robots.txt. Detta område behandlas av sökmotorer och fungerar enligt de lästa instruktionerna.
Tänk på att Googles sökmotorkommer att indexera sidan även om användaren nekas åtkomst till visning. När webbläsaren svarar med 401 eller 403 "Access Ogiltigt" svar, är detta bara för besökarna, inte samlarna för den sökmotorn.
För att förstå hur man tar bort en webbplats från sökindexering bör följande rader anges i textindexet:
Användaragent: Googlebot
Tillåt: /
Detta indikerar för sökmotorns sökrobot att inte indexera allt webbplatsinnehåll. Så här tar du bort en Google-webbplats så att den inte cachar resursen i den upptäckta listan.
Skanningsalternativ för olika protokoll
Om du behöver lista enskilda standarderlänkar för vilka du vill tillämpa speciella regler för Googles indexering, till exempel separat för hypertextprotokollen http / https, detta måste också registreras i robots.txt på följande sätt (exempel).
(http://yourserver.com/robots.txt) - din webbplats domännamn (valfri)
User-agent: * - för alla sökmotorer
Tillåt: / - tillåt fullständig indexering
Hur man tar bort en webbplats från SERP helt för https-protokollet
(https://yourserver.com/robots.txt):
Användaragent: *
Disallow: / fullständigt förbud mot indexering
Brådskande borttagning av resurs-URL från Googles sökresultat
Om du inte vill vänta på re-indexering, ochwebbplatsen måste döljas så snart som möjligt, jag rekommenderar att du använder tjänsten http://services.google.com/urlconsole/controller. Pre-robots.txt måste redan placeras i rotkatalogen på platsservern. Den ska innehålla lämpliga instruktioner.
Om pekaren inte är tillgänglig av någon anledningför redigering i rotkatalogen räcker det att skapa den i mappen med objekt som du vill dölja för sökmotorer. Så snart du gör detta och kontaktar tjänsten för automatisk borttagning av hypertextadresser kommer Google inte att genomsöka mappar som anges för att tas bort i robots.txt.
Perioden för sådan osynlighet är 3 månader. Efter denna period kommer katalogen som tas bort från sökresultaten att behandlas av Googles server igen.
KHur man tar bort en webbplats för delvis genomsökning
När en sökbot läser innehållet i robotar.txt, då fattas vissa beslut baserat på innehållet. Låt oss säga att du vill utesluta hela katalogen med namnet anatom från skärmen. För att göra detta räcker det att registrera följande instruktioner:
Användaragent: Googlebot
Förbjud: / anatom
Eller till exempel vill du inte indexera alla bilder av typen .gif. För att göra detta, lägg till följande lista:
Användaragent: Googlebot
Tillåt inte: /*.gif$
Här är ett annat exempel. Även om du behöver ta bort information om dynamiskt genererade sidor från parsning, lägg sedan till en post av typen i pekaren:
Användaragent: Googlebot
Tillåt inte: / *?
Det är ungefär hur reglerna försökmotorer. En annan sak är att det är mycket bekvämare att använda META-taggen för allt detta. Och webbansvariga använder ofta just en sådan standard som reglerar driften av sökmotorer. Men vi kommer att prata om detta i följande artiklar.
