מה זה אינדקס אתרים?איך זה הולך? תוכלו למצוא תשובות לשאלות אלה ואחרות במאמר. אינדקס אתרים (אינדקס במנועי חיפוש) הוא תהליך חיבור מידע אודות אתר למסד נתונים על ידי רובוט של מנועי חיפוש, שמשמש לאחר מכן לחיפוש מידע על פרויקטים ברשת שעברו הליך כזה.
נתוני נכסי אינטרנט מורכבים לרוב ממילות מפתח, מאמרים, קישורים, מסמכים. ניתן להוסיף לאינדקס גם אודיו, תמונות וכדומה. ידוע כי האלגוריתם לזיהוי מילות מפתח תלוי במכשיר החיפוש.
יש הגבלה מסוימת על סוגי המידע באינדקס (קבצי פלאש, JavaScript).
ניהול שיתוף
יצירת אינדקס לאתר היא תהליך מורכב.כדי לנהל אותו (לדוגמה, לאסור על צירוף דף מסוים), עליך להשתמש בקובץ robots.txt ובדרישות כגון Allow, Disallow, Crawl-delay, User-agent ואחרים.
כמו כן, לאינדקס, השתמש בתגיות
במנוע החיפוש Goglle, אתרים חדשים צמודים לאינדקס מכמה ימים לשבוע, וב- Yandex - משבוע לארבעה.
אתה רוצה שהאתר שלך יופיע בבקשותתוצאות מנוע חיפוש? אז זה חייב להיות מעובד על ידי Rambler, Yandex, Google, Yahoo וכן הלאה. עליכם ליידע את מנועי החיפוש (עכבישים, מערכות) על קיומו של אתרכם ואז הם יסרקו אותו כולו או חלקו.
אתרים רבים אינם צמודים לאינדקס במשך שנים. המידע שנמצא עליהם, אף אחד לא רואה, פרט לבעליהם.
שיטות עיבוד
אינדקס אתרים יכול להיעשות בכמה דרכים:
- האפשרות הראשונה היא תוספת ידנית. עליך להזין את נתוני האתר שלך באמצעות טפסים מיוחדים המוצעים על ידי מנועי חיפוש.
- במקרה השני, הרובוט של מנוע החיפוש עצמומוצא את אתר האינטרנט שלך באמצעות קישורים ומוסיף אותו לאינדקס. הוא יכול לחפש באתר שלך קישורים ממשאבים אחרים המובילים לפרויקט שלך. שיטה זו היא היעילה ביותר. אם מנוע החיפוש מצא את האתר בצורה זו, הוא רואה בו משמעות.
עיתוי
אינדקס אתרים אינו מהיר מדי.התאריכים שונים, בין 1-2 שבועות. קישורים ממשאבים סמכותיים (עם יחסי ציבור וציצים מצוינים) מזרזים משמעותית את מיקום האתר במאגר מנועי החיפוש. כיום גוגל נחשבת לאיטית ביותר, אם כי עד 2012 היא יכולה לבצע את העבודה הזו בעוד שבוע. לרוע המזל הכל משתנה מהר מאוד. ידוע כי Mail.ru עובד עם אתרים באזור זה כחצי שנה.
יצירת אינדקס לאתר במנועי חיפושלא כל מומחה מסוגל. העיתוי של הוספת דפים חדשים למאגר העמודים שכבר עובד על ידי מנועי חיפוש מושפע מתדירות התאמת תוכנו. אם כל הזמן מופיע מידע טרי על משאב, המערכת מחשיבה אותו לעיתים קרובות מעודכן ושימושי עבור אנשים. במקרה זה, עבודתה מואצת.
אתה יכול לעקוב אחר ההתקדמות באינדקס של אתרים בקטעים מיוחדים למנהלי אתרים או במנועי חיפוש.
שינויים
Итак, мы уже разобрались, как происходит אינדקס אתרים. יש לציין כי מסדי נתונים של מנועי חיפוש מתעדכנים לרוב. לפיכך, מספר העמודים שנוספו להם בפרויקט שלך יכול להשתנות (שניהם יורדים ועולים) מהסיבות הבאות:
- סנקציות של מנועי החיפוש נגד האתר;
- הימצאות שגיאות באתר;
- שינוי באלגוריתמים של מנוע החיפוש;
- אירוח מגעיל (חוסר נגישות של השרת עליו נמצא הפרויקט) וכן הלאה.
Yandex תשובות לשאלות נפוצות
"Yandex" הוא מנוע חיפוש המשמש אתמשתמשים רבים. היא מדורגת במקום החמישי מבין מערכות החיפוש בעולם מבחינת מספר בקשות המחקר המעובדות. אם הוספתם לו אתר, ייתכן שיידרש זמן רב מדי להוסיף למסד הנתונים.
הוספת כתובת URL אינה מבטיחה את הוספה לאינדקס.זוהי רק אחת מהשיטות המשמשות ליידע את הרובוט של המערכת שהופיע משאב חדש. אם אין קישורים לאתר מאתרים אחרים או שיש מעטים מהם, הוספתם תעזור למצוא אותו מהר יותר.
אם הוספה לאינדקס לא בוצעה, עליך לבדוק אםהאם היו כשלים בשרת בזמן יצירת אפליקציה עבורו מהרובוט Yandex. אם השרת ידווח על שגיאה, הרובוט יפסיק את עבודתו וינסה להשלים אותה בהזמנה הלוך ושוב. עובדי Yandex אינם יכולים להגביר את מהירות הוספת הדפים למסד הנתונים של מנועי החיפוש.
אינדקס אתרים ב-Yandexעבודה קשה. אתה לא יודע איך להוסיף משאב למנוע חיפוש? אם יש קישורים אליו מאתרים אחרים, אז אין צורך להוסיף אתר מיוחד - הרובוט ימצא אותו אוטומטית ויוסיף אותו לאינדקס. אם אין לך קישורים כאלה, תוכל להשתמש בטופס "הוסף כתובת אתר" כדי לומר למנוע החיפוש שהאתר קיים.
זכור שהוספת כתובת אתר אינה מבטיחה אינדקס של היצירה שלך (או מהירותה).
רבים תוהים כמה זמן זה לוקחאינדקס אתרים ב-Yandex. עובדי חברה זו אינם נותנים ערבויות ואינם צופים תנאים. ככלל, מאז שהרובוט גילה את האתר, הדפים שלו בחיפוש מופיעים תוך יומיים, לפעמים תוך שבועיים.
תהליך עיבוד
Yandex הוא מנוע חיפוש שדורש דיוק ותשומת לב. אינדקס אתרים מורכב משלושה חלקים:
- רובוט החיפוש סורק את דפי המשאבים.
- תוכן (תוכן) האתר נרשם במסד הנתונים (אינדקס) של מערכת החיפוש.
- לאחר 2-4 שבועות, לאחר עדכון המאגר, ניתן לראות את התוצאות. האתר שלך יופיע (או לא יופיע) בתוצאות החיפוש.
בדיקת אינדקס
כיצד לבדוק אינדקס אתרים? אתה יכול לעשות זאת בשלוש דרכים:
- הזן את שם החברה שלך בשורהחפש (לדוגמה, "Yandex") ובדוק כל קישור בעמוד הראשון והשני. אם אתה מוצא שם את כתובת ה-URL של יוזמתך, הרובוט סיים את המשימה שלו.
- אתה יכול להזין את כתובת האתר שלך בשורת החיפוש. תוכל לראות כמה גליונות אינטרנט מוצגים, כלומר באינדקס.
- הירשם בדפים של מנהלי אתרים בMail.ru, גוגל, Yandex. לאחר שתעבור את האימות של האתר, תוכל לראות את תוצאות האינדקס, ושירותי מנועי חיפוש אחרים שנוצרו כדי לשפר את ביצועי המשאב שלך.
מדוע Yandex מסרבת?
יצירת אינדקס של האתר בגוגל מתבצעתבאופן הבא: הרובוט מכניס למאגר את כל דפי האתר, באיכות נמוכה ואיכותית, ללא בחירה. אבל רק מסמכים שימושיים משתתפים בדירוג. ו-"Yandex" מוציא מיד את כל אשפה באינטרנט. זה יכול להוסיף כל עמוד לאינדקס, אבל מנוע החיפוש בסופו של דבר יחסל את כל האשפה.
לשתי המערכות יש מדד אינקרמנטלי.שני הדפים באיכות נמוכה משפיעים על דירוג האתר בכללותו. יש כאן פילוסופיה פשוטה הפועלת. משאבים מועדפים של משתמש מסוים יתפסו עמדות גבוהות יותר בהנפקה שלו. אבל אותו אדם בקושי ימצא אתר שלא אהב בפעם הקודמת.
לכן יש צורך קודם כל לכסות עותקים של מסמכי אינטרנט מאינדקס, לבדוק אם יש דפים ריקים ולא להכניס תוכן באיכות נמוכה לנושא.
מאיץ את Yandex
כיצד אוכל להאיץ את יצירת אינדקס אתרים ב-Yandex? עליך לבצע את השלבים הבאים:
- התקן את דפדפן Yandex במחשב שלך והשתמש בו כדי לגלוש בדפי האתר.
- אשר את הזכויות לניהול המשאב ב-Yandex.Webmaster.
- פרסם קישור למאמר בטוויטר. ידוע כי Yandex משתפת פעולה עם חברה זו מאז 2012.
- עבור האתר, הוסף חיפוש מ-Yandex. בקטע "אינדקס", אתה יכול לציין כתובות אתרים משלך.
- הזן את הקוד "Yandex.Metrica" מבלי לסמן את התיבה "שליחת דפים לאינדקס אסורה".
- צור מפת אתר שקיימתרק לרובוט ואינו גלוי לקהל. האימות יתחיל איתו. כתובת ה-Sitemap מוזנת ב-robots.txt או בצורה המתאימה ב-"Webmaster" - "Indexing Settings" - "Sitemap Files".
פעולות ביניים
מה צריך לעשות בזמן דף האינטרנט"Yandex" לא מתווסף לאינדקס? מנוע החיפוש המקומי צריך להתייחס לאתר כמקור העיקרי. לכן עוד לפני פרסום המאמר, חובה להוסיף את תוכנו לצורת "טקסטים ספציפיים". אחרת, פלגיאטרים יעתיקו את הערך למשאב שלהם ויהיו הראשונים במסד הנתונים. כתוצאה מכך, הם יוכרו כמחברים.
מסד הנתונים של גוגל
עבור Google, אותן המלצות שתיארנו לעיל מתאימות, רק השירותים יהיו שונים:
- Google+ (מחליף את טוויטר);
- גוגל כרום;
- כלים של גוגל למתכנתים - "סריקה" - "נראה כמו גוגלבוט" - אפשרות "סריקה" - אפשרות "הוסף לאינדקס";
- חיפוש בתוך המשאב מגוגל;
- גוגל אנליטיקס (במקום Yandex.Metrics).
איסור
מהי עיכוב אינדקסאֲתַר? ניתן לכסות אותו גם על כל העמוד וגם על חלק נפרד שלו (קישור או קטע טקסט). למעשה, יש גם איסור אינדקס עולמי וגם איסור מקומי. איך זה מיושם?
שקול את האיסור להוסיף אתר אינטרנט למסד הנתונים של מנועי החיפוש ב-Robots.txt. באמצעות קובץ robots.txt, אתה יכול לא לכלול הוספה לאינדקס של דף אחד או כותרת משאב שלמה, כך:
- סוכן משתמש: *
- Disallow: /kolobok.html
- Disallow: /foto/
הפסקה הראשונה אומרת שההוראותמוגדרים עבור כל ה-PSs, השני מציין שהאינדקס של הקובץ kolobok.html אסור, והשלישי אינו מאפשר להוסיף את כל המלית של תיקיית התמונות למסד הנתונים. אם אתה צריך לא לכלול כמה דפים או תיקיות, ציין את כולם ב-Robots.
כדי למנוע אינדקסגיליון אינטרנט נפרד, אתה יכול להחיל את המטא תג של רובוטים. זה שונה מ-robots.txt בכך שהוא נותן הוראות לכל ה-PS בבת אחת. מטא תג זה עוקב אחר העקרונות הכלליים של פורמט ה-html. יש למקם אותו בכותרת העמוד בין התגיות <head><head>. ערך איסור, למשל, יכול להיכתב כך: <meta name=”robots” content=”noindex, nofollow”>.
אייאקס
איך Yandex מאנדקס את אתרי Ajax?כיום, טכנולוגיית Ajax משמשת מפתחי אתרי אינטרנט רבים. כמובן, יש לה פוטנציאל גדול. בעזרתו תוכלו ליצור דפי אינטרנט אינטראקטיביים מהירים ופרודוקטיביים.
עם זאת, רובוט מנוע החיפוש "רואה" את רשימת האינטרנטלא כמו המשתמש והדפדפן. לדוגמה, אדם מסתכל על ממשק נוח עם גליונות אינטרנט הטעונים בתנועה. עבור סורק, התוכן של אותו עמוד יכול להיות ריק או מוצג כשאר תוכן ה-HTML הסטטי, שעבורו הסקריפטים אינם פועלים.
כדי ליצור אתרי Ajax, אתה יכול להשתמש בכתובת האתר עם #,אבל מנוע החיפוש הרובוט שלו אינו משתמש. בדרך כלל החלק של כתובת האתר שאחרי ה-# מופרד. יש לקחת זאת בחשבון. לכן, במקום כתובת URL כמו http://site.ru/#example, הוא עורך יישום לעמוד הראשי של המשאב שנמצא בכתובת http://site.ru. המשמעות היא שהתוכן של גיליון האינטרנט עשוי שלא להיכנס למסד הנתונים. כתוצאה מכך, הוא לא יופיע בתוצאות החיפוש.
לשיפור האינדקס של אתרי אייאקסYandex תמכה בשינויים ברובוט החיפוש ובכללים לעיבוד כתובות האתרים של אתרים כאלה. כיום, מנהלי אתרים יכולים לציין בפני מנוע החיפוש Yandex את הצורך באינדקס על ידי יצירת סכימה מתאימה במבנה המשאבים. בשביל זה אתה צריך:
- החלף את הסמל # בכתובת האתר של הדפים ב-#!. כעת הרובוט יבין שהוא יוכל להגיש בקשה לגרסת HTML של התוכן של גיליון אינטרנט זה.
- יש למקם את גרסת ה-HTML של התוכן של דף כזה בכתובת URL שבה #! הוחלף ב-?_escaped_fragment_=.
