A Google által alkalmazott indexelési koncepció szerintaz eredmények teljességét, objektivitását és a keresési lekérdezésnek való megfelelését figyelembe veszik az eredmények kiadásakor. Ha egy illegális tartalmú webhelyet indexálnak, vagy az erőforrást spamre szánják, akkor az ilyen webhely oldalait nem jelöli meg az általános keresőmotor-alap. Fontos számunkra, hogy megtudja, hogyan lehet eltávolítani egy webhelyet a kiszolgáló keresési eredményeiből.
Google Zero indexelési lehetőségek
Miután a bejáró begyűjtési programinformációk az új erőforrásokról - feltérképezi a webhelyet oldalról oldalra, majd ha megfelel a Google értelmezési irányelveinek, indexelni fogja. De azt is elmondjuk Önnek, hogy miként távolíthatja el webhelyét vagy egyes fragmentumait a keresőmotorok számára a robots.txt segítségével - egy index és a keresés korlátozója egyszerre.
A teljes erőforrás kizárása a kiadásból,A szerver gyökérmappájában, ahol a hely található, egy bizonyos szövegzóna jön létre - az említett robots.txt. Ezt a területet a keresőmotorok dolgozzák fel, és az olvasott utasítások szerint jár el.
Ne feledje, hogy a Google keresőmotorjaakkor is indexeli az oldalt, ha a nézegetést a felhasználó megtagadja. Amikor a böngésző 401 vagy 403 "Érvénytelen hozzáférés" válaszra válaszol, ez csak a látogatókra vonatkozik, és nem a keresőmotor gyűjtőire.
A webhelynek a keresési indexelésből való eltávolításának megértése érdekében a következő sorokat kell beírni a szöveges indexbe:
Felhasználó-ügynök: Googlebot
Letiltás: /
Ez jelzi a keresőmotor számára, hogy ne indexelje az összes webhelytartalmat. Így törölheti a Google-webhelyeket, hogy azok ne tárolják gyorsítótárba a felfedezett listában szereplő erőforrást.
Szkennelési lehetőségek különböző protokollokhoz
Ha fel kell sorolnia az egyes szabványokatlinkeket, amelyekhez speciális szabályokat szeretne alkalmazni a Google indexelésével kapcsolatban, például külön a http / https hiperszöveg protokollokhoz, ezt szintén a következő módon kell regisztrálni a robots.txt fájlban (példa).
(http://yourserver.com/robots.txt) - webhelyének domainneve (bármilyen)
User-agent: * - bármely keresőmotorhoz
Engedélyezés: / - teljes indexelés engedélyezése
Hogyan lehet egy webhelyet teljesen eltávolítani a SERP-ből a https protokoll számára
(https://yourserver.com/robots.txt):
Felhasználó-ügynök: *
Disallow: / az indexelés teljes tilalma
Az erőforrás URL-jének sürgős eltávolítása a Google keresési eredményeiből
Ha nem akarja megvárni az új indexelést, ésa webhelyet a lehető leghamarabb el kell rejteni, javasoljuk a http://services.google.com/urlconsole/controller szolgáltatás használatát. Az pre-robots.txt fájlt már el kell helyezni a helykiszolgáló gyökérkönyvtárában. Tartalmaznia kell a megfelelő utasításokat.
Ha a mutató valamilyen oknál fogva nem érhető ela gyökérkönyvtárban történő szerkesztéshez elég létrehozni azt a mappát olyan objektumokkal, amelyek elrejteni akarják a keresőmotorok elől. Amint ezt megtette, és felveszi a kapcsolatot a szerverrel a hipertext címek automatikus eltávolításáért, a Google nem fogja feltérképezni a robots.txt fájlban eltávolítandó mappákat.
Az ilyen láthatatlanság időtartama 3 hónap. Ezen időszak után a keresési eredményekből eltávolított katalógust a Google szervere újra feldolgozza.
KHogyan távolítsunk el egy webhelyet a részleges feltérképezéshez
Amikor egy keresőrobot elolvassa a robotok tartalmát.txt, akkor bizonyos döntéseket annak tartalma alapján hoznak meg. Tegyük fel, hogy a teljes anatóm nevű könyvtárat ki akarja zárni a kijelzőből. Ehhez elég a következő utasításokat előírni:
Felhasználó-ügynök: Googlebot
Disallow: / anatom
Vagy például nem kívánja indexelni az összes .gif típusú képet. Ehhez adja hozzá a következő listát:
Felhasználó-ügynök: Googlebot
Letiltás: /*.gif$
Itt van egy másik példa. Még akkor is, ha el kell távolítania a dinamikusan generált oldalak elemzését az elemzésből, adjon hozzá egy típusú bejegyzést a mutatóhoz:
Felhasználó-ügynök: Googlebot
Letiltja: / *?
Nagyjából így vannak a szabályokkereső motorok. A másik dolog az, hogy mindehhez sokkal kényelmesebb a META tag használata. A webmesterek pedig gyakran éppen ilyen szabványt alkalmaznak, amely szabályozza a keresők működését. De erről a következő cikkekben fogunk beszélni.
