אתר שאלות ותשובות טכניות נפוצות



Robots.txt –למה זה חשוב לבעלי אתרים?

כתב את המדריך: חרמון.

תאריך פירסום המדריך:28.11.06

 

הקדמה:

מנועי החיפוש השונים ובראשם גוגל, מציעים מגוון אפשרויות כדי שהבוטים יבינו "איך להתנהג", במקרה שהם מבקרים באותו דף.

המדריך הבא, יסביר את אפשרויות Robots.txt .

-

Robots.txt  הוא הקובץ  שלמעשה  בעזרתו הבוטים (רובוטים) מבינים אם:

לסרוק את העמוד, לא לסרוק את העמוד, רק הבוטים של גוגל לא, לא לסרוק קישורים יוצאים .

לפני שנתחיל לתת את האפשרויות, נאמר רק שפעולות הסרה כלשהם, משמעותם הסרה למשך 180 יום.

רק כעבור 180 יום, אם החלטתם לשנות כ"הסרה", תוכלו לראות את התוצאות במנועי החיפוש.

את הקובץ Robots.txt ,יש לשים גם בתיקיות, אם קיימות.

להלן רשימת הפקודות :

לאנדקס הכל-

הערה:

בשאר האפשרויות, לא תתווסף השורה הראשונה, אך חובה להוסיפה.

הסרה מהמנוע גוגל-

הסרה מכל מנועי החיפוש-

הסרת קבצים מספריה מסוימת, ממנוע חיפוש גוגל-

הסרת קבצים מסוג מסוים-

הסרת קבצים דינאמים:

אפשרות להוספת שורה לדף ספציפי, כדי שיורה  לא לקרוא את העמוד למנועי החיפוש:

אפשרות להוספת שורה לדף ספציפי, כדי שיורה לא לקרוא את העמוד רק למנוע חיפוש גוגל:

אפשרות להוספת שורה לדף ספציפי, כדי שיורה לא לקרוא קישורים יוצאים:

אפשרות להוספת שורה לדף ספציפי, להסרת מקטע ומטמון,מהדף:

אפשרות להוספת שורה לדף ספציפי, להסרת מטמון ממנועי החיפוש:

אפשרות להוספת שורה לדף ספציפי, להסרת מטמון ממנוע גוגל בלבד:

הערה:

את כל האפשרויות האלו, ניתן גם למצוא בדף המידע של גוגל ישראל.

 

ניתן גם למצוא בדיקה של רובוט גוגל בקובץ, בכלי המוצע לבעלי האתרים (תוכלו לקרוא, בהרחבה עליו, במפת האתר):

חזרה למעלה



***