מנועי החיפוש מצוידים ברובוטים, המכונים גם עכבישים או בוטים, שסורקים ומדפים דפי אינטרנט. אם האתר או הדף שלך נמצאים בפיתוח או מכילים תוכן רגיש, ייתכן שתרצה לחסום בוטים מסריקה ואינדקס של האתר שלך. למד כיצד לחסום אתרים, דפים וקישורים שלמים עם קבצי robots.txt ולחסום דפים וקישורים ספציפיים באמצעות תגי html. המשך לקרוא כדי לגלות כיצד לחסום בוטים ספציפיים מגישה לתוכן שלך.
צעדים
שיטה 1 מתוך 2: חסימת מנועי חיפוש עם קבצי robots.txt
שלב 1. הבנת קבצי robots.txt
קובץ robots.txt הוא קובץ טקסט רגיל או ASCII המודיע לעכבישים של מנועי החיפוש מה הם רשאים לגשת לאתר שלך. קבצים ותיקיות המופיעים בקובץ robots.txt אינם יכולים לסרוק ולאנדקס על ידי עכבישי מנוע חיפוש. ייתכן שתזדקק לקובץ robots.txt אם:
- אתה רוצה לחסום תוכן ספציפי מעכבישים במנועי חיפוש.
- אתה מפתח אתר חי ואינך מוכן שעכבישים במנועי חיפוש יזחלו ויוסיפו את האתר לאינדקס
- אתה רוצה להגביל את הגישה לבוטים מוכרים.
שלב 2. צור ושמור וקובץ robots.txt
כדי ליצור את הקובץ, הפעל עורך טקסט רגיל או עורך קוד. שמור את הקובץ בשם: robots.txt. שם הקובץ חייב להיות קטן באותיות.
- אל תשכח את ה "s".
- בעת שמירת הקובץ, בחר בסיומת "'.txt"'. אם אתה משתמש ב- Word, בחר באפשרות "טקסט רגיל".
שלב 3. כתוב קובץ robots.txt אסור במלואו
אפשר לחסום כל עכביש מוכר במנועי חיפוש מלסרוק ולאנדקס את האתר שלך באמצעות רובוט.טקסט "אסור לחלוטין". כתוב את השורות הבאות בקובץ הטקסט שלך:
סוכן משתמש: * Disallow: /
שלב 4. כתוב קובץ robots.txt מותנה
במקום לחסום את כל הרובוטים, שקול לחסום עכבישים ספציפיים מאזורים מסוימים באתר שלך. פקודות נפוצות להתרה מותנות כוללות:
- חסום בוט ספציפי: החלף את הכוכביות שליד סוכן משתמש עם googlebot, googlebot-news, googlebot-image, bingbot, או teoma.
-
חסום ספרייה ותכולתה:
User-agent: * Disallow: /sample-directory /
-
חסום דף אינטרנט:
User-agent: * Disallow: /private_file.html
-
חסום תמונה:
User-agent: googlebot-image Disallow: /images_mypicture.jpg
-
חסום את כל התמונות:
User-agent: googlebot-image Disallow: /
-
חסום פורמט קובץ ספציפי:
סוכן משתמש: * Disallow: /p*.gif$
שלב 5. עודד בוטים לאנדקס ולסרוק את האתר שלך
אנשים רבים רוצים לקבל בברכה, במקום לחסום, עכבישים במנועי חיפוש מכיוון שהם רוצים שכל האתר שלהם יצורף לאינדקס. כדי להשיג זאת, יש לך שלוש אפשרויות. ראשית, תוכל לבטל את הסכמתך ליצירת קובץ robots.txt-כאשר הרובוט אינו מוצא קובץ robots.txt, הוא ימשיך לסרוק ולאנדקס את כל האתר שלך. שנית, אתה יכול ליצור קובץ robots.txt ריק-הרובוט ימצא את קובץ robots.txt, יזהה שהוא ריק, וימשיך לסרוק ולאנדקס את האתר שלך. לבסוף, תוכל לכתוב קובץ robots.txt המאפשר מלא. השתמש בקוד:
סוכן משתמש: * אסור:
שלב 6. שמור את קובץ ה- txt בשורש הדומיין שלך
לאחר שכתבת את קובץ robots.txt, שמור את השינויים. העלה את הקובץ לספריית השורש של האתר שלך. לדוגמה, אם הדומיין שלך הוא www.yourdomain.com, מקם את קובץ robots.txt ב www.yourdomain.com/robots.txt.
שיטה 2 מתוך 2: חסימת מנועי חיפוש באמצעות מטא תגים
שלב 1. הבנת מטא תגי רובוטים HTML
מטא תג הרובוטים מאפשר למתכנתים להגדיר פרמטרים עבור בוטים, או עכבישי מנוע חיפוש. תגים אלה משמשים לחסימת בוטים מאינדקס וסריקה של אתר שלם או רק חלקים מהאתר. תוכל גם להשתמש בתגים אלה כדי לחסום עכביש ספציפי במנוע חיפוש מאינדקס התוכן שלך. תגים אלה מופיעים בראש קובץ ה- HTML שלך.
שיטה זו נפוצה בדרך כלל על ידי מתכנתים שאין להם גישה לספריית השורשים של אתר אינטרנט
שלב 2. חסום בוטים מדף אחד
אפשר לחסום את כל הרובוטים מאינדקס של דף או ממעקב אחר קישורים של דף. תגית זו משמשת בדרך כלל כאשר אתר חי נמצא בפיתוח. לאחר השלמת האתר, מומלץ בחום להסיר תג זה. אם לא תסיר את התג, הדף שלך לא יצורף לאינדקס או ניתן לחיפוש באמצעות מנועי חיפוש.
- אתה רשאי לחסום בוטים מאינדקס הדף וממעקב אחר כל אחד מהקישורים:
- תוכל לחסום את כל הרובוטים מאינדקס הדף:
- אתה רשאי לחסום את כל הרובוטים מללכת אחר הקישורים של הדף:
שלב 3. אפשר לבוטים לאנדקס דף, אך לא לעקוב אחר הקישורים שלו
אם תאפשר לבוטים לאנדקס את הדף, הדף יצורף לאינדקס; אם תמנע מהעכבישים לעקוב אחר הקישורים, נתיב הקישורים מדף ספציפי זה לדפים אחרים יישבר. הכנס את שורת הקוד הבאה לכותרת שלך:
שלב 4. תן לעכבישים של מנוע החיפוש לעקוב אחר הקישורים אך לא להוסיף את הדף לאינדקס
אם תאפשר לבוטים לעקוב אחר הקישורים נתיב הקישורים מדף ספציפי זה לדפים אחרים יישאר בשלום; אם אתה מגביל אותם מאינדקס הדף, דף האינטרנט שלך לא יופיע באינדקס. הכנס את שורת הקוד הבאה לכותרת שלך:
שלב 5. חסום קישור יוצא יחיד
כדי להסתיר קישור בודד בדף, הטמע rel תג בתוך תג הקישור. ייתכן שתרצה להשתמש בתג זה כדי לחסום קישורים בדפים אחרים המובילים לדף הספציפי שברצונך לחסום.
הכנס קישור לדף חסום
שלב 6. חסום עכביש ספציפי במנועי חיפוש
במקום לחסום את כל הרובוטים מדף האינטרנט שלך, ייתכן שתרצה למנוע מבוט אחד לסרוק את הדף ולאנדקס אותו. לשם כך, החלף את 'רובוט' בתוך המטא תג בשם של בוט ספציפי. דוגמאות מכילות: googlebot, googlebot-news, googlebot-image, bingbot, ו teoma.
שלב 7. עודד בוטים לסרוק את הדף שלך ולאנדקס אותו
אם אתה רוצה לוודא שהדף שלך יצורף לאינדקס והקישורים שלו יעקבו, תוכל להוסיף אישור מעקב מטא "רובוט" לתייג בכותרת שלך. השתמש בקוד הבא:
