הרובוט של אדסנס מעדכן דפים באינדקס הרגיל
מערכת גוגל אדסנס של גוגל כוללת רובוט מיוחד שתפקידו לסרוק את הדפים בהם קיימות מודעות אדסנס על מנת לקבוע אילו פרסומות יש לספק עבור דפים אלו. הרובוט מזוהה על-ידי user agent מיוחד – "Mediapartners-Google/2.1" אותו ניתן לראות בלוגים של האתר.
לאורך השנים היו שמועות רבות על כך שהרובוט של גוגל אדסנס משמש גם לאיסוף עבור האינדקס הרגיל של גוגל (כלומר, במקביל אל גוגלבוט הרגיל). הסיבה לחשיבות הנושא היא כי באמצעות הכנסת קוד אדסנס לאתר, ניתן לדאוג כי דפי האתר יכנסו מהר יותר אל מסד הנתונים של גוגל, וכמו-כן להביא לסריקה מעמיקה יותר של האתר. עד עתה הנושא מעולם לא הוכח (או הופכך).
אבל עתה כנראה שיש לנושא הוכחה, עליה מספרת Jenstar בבלוג שלה. ההוכחה נובעת מאתר בו בוצעה הפניית 301 מיוחד עבור הרובוט של גוגל (גוגלבוט), אך בעל האתר לא ביצע את אותה הפניה עבור הרובוט של אדסנס. התוצאה הסופית הייתה דפים רבים שנסרקו כעותקים כפולים, כשהכתובת החדשה מופיעה לפי גוגלבוט, והכתובת הישנה לפי הרובוט של אדסנס. המשמעות – דפים שרק לרובוט של אדסנס הייתה גישה אליהם הגיעו בצורה כלשהי אל האינדקס.
בדיקה של זמני הסריקה של דפים שונים באתר של Jenstar כפי שהם מופיעים במטמון מול זמני הביקור של הרובוט של אדסנס (כפי שהופיעו בלוג של האתר) הראתה כי הזמנים תואמים. הבדיקה נעשתה בדפים שונים ובאתרים שונים. עם זאת, באתרים חדשים לחלוטין, בהם לא ביקר גוגלבוט מעולם, הכנסת קוד אדסנס לא הוסיפה את הדף אל האינדקס – הנושא התגלה רק בדפים שכבר היו קיימים לפניכן.
יתכן כי מדובר באמצעי אבטחת איכות שנועד לבדוק האם הרובוט של אדסנס מקבל דף שונה מהרגיל (cloaking), או שאולי בכל-זאת גוגל מנצלים את העובדה שהרובוט של אדסנס ביקר באתר כדי "לחטוף" הצצה אל הדף המעודכן? אם זה המצב, אז המשמעות היא שקוד אדסנס יכול להביא לרמת עדכניות גבוהה יותר של הדפים (כלומר לסריקה תכופה יותר).
אם נהנת מפוסט זה, אולי תהיה מעוניין גם
להשאיר תגובה או
להירשם ולקבל עדכונים חמים מהבלוג, ישירות לדוא"ל שלך.
נושאים נוספים שאולי יעניינו אותך:
מאת: 
