נפילתו וחזרתו של אתר alljobs – סיכום אירוע
אחד האירועים המעניינים בתחום קידום האתרים הינו נפילתו וחזרתו מחדש של אתר alljobs בשבוע שעבר. בפוסט זה אנסה להציג את דעתי בנוגע לאירוע, לגרומים לו, לדרך הפתרון שלו, ולמסקנות בעקבות האירוע.
בתאריך 11 בדצמבר נעלמו כל דפי האתר מן האינדקס של גוגל, בצורה המרמזת על ענישה של גוגל כלפי האתר. בעקבות העלמות האתר נשטפה הרשת בגל של שמועות בנוגע לשיטות קידום אתרים לא חוקיות שהופעלו על ידי חברות קידום האתרים המקדמות את האתר, עד כדי תאוריות קונספירציה הטוענות כי העלמות האתר הינה תוצאה של פעולה של מקדמי Black Hat כנגד האתר.
מן הצד השני הגיעו תגובות של החברות המקדמות את אתר alljobs, המדברות על בעיה טכנית של תוכן משוכפל שגרמה לפגיעה באתר, ולאחר טיפול בבעיה חזר האתר אל האינדקס של גוגל בצורה מלאה.
באופן כללי ניתן לומר כי לאתרים גדולים וחזקים לא אמורה להיווצר בעיה של תוכן משוכפל שתגרום להם להעלם מן האינדקס. אחרי הכל, בעל אתר לא יכול לשלוט בגורמים חיצוניים המעתיקים את האתר שלו בכדי לגרום לאתר נזק. הנזקים שנגרמים לאתרים בשל תוכן משוכפל הינם בדרך כלל נזקים לדפים מסויימים בתוך האתר, וגם אז דפים אלו בדרך כלל לא נעלמים לגמרי, אלא מוסרים מן התוצאות הנראות (ניתן עדיין לראות אותם כאשר הגולש בוחר באופציה של "לחזור על החיפוש עם התוצאות שהוסרו" בתוצאות החיפוש).
על מנת שאתר חזק שלם פשוט יעלם מתוצאות החיפוש בשל תוכן משוכפל, נדרש אירוע התנגשות מאסיבי בין שני האתרים, ולפי דעתי זהו האירוע שאירע לאתר alljobs.
על פי הבדיקות שביצעתי ניתן להצביע על האפשרות כי האתר שגרם לכל האירוע הינו שיכפול של אתר alljobs המופיע תחת אתר yad2 בכתובתalljobs.yad2.co.il. מאחר ומדובר באתר הנהנה מכוחו של דומיין yad2, אז בהחלט יתכן כי במידה והוא מאונדקס באינדקס של גוגל במקביל לאתר alljobs, וכאשר לשני האתרים יש תוכן זהה, אז עשוייה להיווצר אותה התנגשות שתגרום להעלמות האתר.
ניתן לראות כי באתר המדובר נמצא כרגע קובץ robots.txt הכולל את השורות הבאות:
User-agent: *
Disallow /
מטרתן של שורות אלו היא למנוע ממנועי החיפוש לסרוק את האתר לחלוטין, מה שאמור למנוע את התנגשותו עם אתר המראה שלו. אם בודקים את תאריך השינוי האחרון של קובץ זה, ניתן לראות כי הוא מוגדר כרגע בתור Tue, 11 Dec 2007 21:14:10 GMT, כלומר ב-11 בדצמבר 2007 – הוא יום העלמות אתר alljobs מתוצאות החיפוש.
האם הקובץ היה קיים לפני הנפילה? אין בידי אפשרות לדעת זאת, אך לפי הנתונים שהצגתי קיימת אפשרות כי זה הקובץ נוסף ברגע שזוהתה ההתנגשות בין האתרים.
בכל מקרה, ניתן ללמוד מן המקרה הזה הרבה מאד. הנקודה העיקרית אותה כדאי לזכור היא שסינדיקציה (איפשור לגורמים אחרים להשתמש בתכנים שלכם) יכולה להיות טובה (היא יכולה להביא לאתר תנועה), אך יכולה גם להיות בעייתית (היא יכולה לגרום לאתר שלך להעלם). הנושא משמעותי ביותר כאשר מדובר בגורם גדול וחזק המעוניין להכניס את התכנים שלך אל האתר שלו.
אם נהנת מפוסט זה, אולי תהיה מעוניין גם
להשאיר תגובה או
להירשם ולקבל עדכונים חמים מהבלוג, ישירות לדוא"ל שלך.
נושאים נוספים שאולי יעניינו אותך:
מאת: 
לא יצא לי להשתמש בפקודה הזו אך זו בהחלט יכולה להיות הסיבה.
האם הצבת שורות פקודה אלו בקובץ robots.txt מוחקת את הדף הספציפי מהאינדקס לחלוטין מאותו רגע, או שהיא פשוט גורמת לכך שמרגע זה נמנעת סריקה עתידית אך נשארת גרסת מטמון אחרונה? פשוט לא מכיר את אופי הפקודה.
כי אם מדובר באופציה השניה הרי המשמעות היא שזו בוודאות לא הסיבה לנפילה של אולג'ובס.
שכן, הסאב דומיין: http://alljobs.yad2.co.il/ בכלל לא מאונדקס.
ואם כך המשמעות היא – הם יצרו את הקובץ הזה בתחילת הדרך והאתר מעולם לא אונדקס ולכן הייתה סיבה אחרת שגרמה לנפילתו…
שימוש בקובץ robots גורם לדף לרדת באופן מלא מהאינדקס (או לפחות זה מה שאמור לקרות – מנועי חיפוש מסויימים מתעלמים מקובץ זה).
פרט נוסף שיכול לרמוז על כך שזהו באמת המקור לבעיה היא העובדה שנכון לכתיבת שורות אלו האתר המדובר מופיע עדיין באינדקס של live.com, מה שמגדיל את הסבירות כי בעבר הקרוב עדיין ניתן היה לסרוק את האתר.
נכון, גם ביאהו הוא עדיין מופיע.
בעקרון הפקודה מתייחסת לכלל הבוטים של מנועי החיפוש (*), לכן אני מעריך שהוא יעלם גם מהאינדקס שלהם בקרוב. עצם הקיום שלו בשלב הזה באינדקסים שלהם, כנראה באמת מרמז על כך שמקדמי אולג'ובס שתלו את הקובץ במועד שתיארת.
היי אורן,
הסיבה שאולג'ובס נפלו היא פשוטה: הם נתנו לינק לאתר המשוכפל ב"yad2".
האתר המשוכפל קיים כבר לא-מעט שנים ברשת, ועצם קיומו לא פוגע באתר המקורי (אולג'ובס עצמו).
תחשוב על מקרה שבו גורם זדוני משכפל אתר ידוע, וכך גורם להפלת האתר המקורי. זה תרחיש בלתי מתקבל על הדעת מבחינת הסדר הטוב באינטרנט, ולכן גוגל אינו מעניש סתם כך.
רק מה? אולג'ובס חשבו שזה לא יהיה נורא לתת לינק לאתר המשוכפל, בגלל שמבחינתם הוא שותף עסקי, אבל אז חטפו את המכה מגוגל. יש לציין שאולג'ובס היו צריכים למנוע מן האתר המשוכפל של yad2 להיסרק על ידי מנועי חיפוש, אבל הם לא עשו זאת – וברגע שהלינק ניתן מן האתר של אולג'ובס, גוגל חשד בכך.
נ.ב.
לתת קרדיט למי שחושף סיפור בלעדי (שאפילו קיבל קרדיט ב-Search Engine Watch), זה לא נורא, נכון?
שלום אורי,
קודם כל, מה שאתה כותב בתגובך הוא בדיוק מה שכתוב בפוסט שלי עליו הגבת (כנראה לא קראת את הפוסט, או שלא קראת אותו עד הסוף). דווקא בפוסט שלך בנושא העלית תאוריות די אחרות עד כמה שאני זוכר (over optimization)…
מכל מקום, את הנפילה של אולג'ובס זיהינו ברגע שהיא קרתה (מאחר ואנחנו מקדמים את המתחרה העיקרי של אולג'ובס – Jobnet) – בכל מקרה הרבה לפני שהנושא התפרסם. מאחר והערכתי כי לא מדובר בבעיית over optimization, אז הנחתי שהנושא יפתר תוך זמן קצר, וזה אכן מה שקרה. בדיקות שביצעתי (שהיו הנושא של הפוסט עליו הגבת) הוכיחו את מה שחשבתי, ולכן לא ראיתי לנכון לפרסם דבר בנושא. רק מאחר והנושא התפוצץ, תוך הופעת ספקולציות ברשת שהלכו לפרועות יותר ויותר החלטתי לשים קץ לנושא על-ידי פרסום הפוסט.
כל הכבוד על עבודת הבילוש.
תמיד אהבתי את הירידה לפרטים!