گوگل می گوید :
اخیراً تعاریف متعددی را برای “Crawl Budget” شنیده‌ایم، اما اصطلاح واحدی نداریم که همه آنچه را که “Crawl Budget” در خارج از آن به کار می‌رود، توصیف کند. با این پست توضیح خواهیم داد که در واقع چه چیزی داریم و چه معنایی برای Googlebot دارد.
ابتدا، مایلیم تاکید کنیم که بودجه خزیدن، همانطور که در زیر توضیح داده شده است، چیزی نیست که اکثر ناشران نگران آن باشند. اگر صفحات جدید تمایل دارند در همان روزی که منتشر می شوند خزیده شوند، بودجه خزیدن چیزی نیست که مدیران وب سایت باید روی آن تمرکز کنند. به همین ترتیب، اگر سایتی کمتر از چند هزار URL داشته باشد، در بیشتر مواقع به طور موثر خزیده می شود.
اولویت دادن به خزیدن، زمان و میزان منبعی که سرور میزبان سایت می‌تواند به خزیدن اختصاص دهد برای سایت‌های بزرگ‌تر یا سایت‌هایی که به طور خودکار صفحات را بر اساس پارامترهای URL تولید می‌کنند، مهم‌تر است.
محدودیت سرعت خزیدن
Googlebot به گونه ای طراحی شده است که یک شهروند خوب وب باشد. خزیدن اولویت اصلی آن است، در حالی که اطمینان حاصل شود که تجربه بازدید کاربران از سایت را کاهش نمی دهد. ما این را “محدودیت سرعت خزیدن” می نامیم، که حداکثر نرخ واکشی را برای یک سایت معین محدود می کند.
به عبارت ساده، این تعداد اتصالات موازی همزمان Googlebot را نشان می دهد که ممکن است برای خزیدن در سایت استفاده کند، و همچنین مدت زمانی که باید بین واکشی ها منتظر بماند. نرخ خزیدن بر اساس چند عامل می تواند بالا و پایین شود:
سلامت خزیدن:
اگر سایت برای مدتی واقعاً سریع پاسخ دهد، محدودیت افزایش می‌یابد، به این معنی که می‌توان از اتصالات بیشتری برای خزیدن استفاده کرد. اگر سایت کند شود یا با خطاهای سرور پاسخ دهد، محدودیت کاهش می یابد و Googlebot کمتر می خزد.
محدودیت تعیین شده در کنسول جستجو:
صاحبان وب سایت می توانند خزیدن Googlebot در سایت خود را کاهش دهند. توجه داشته باشید که تعیین محدودیت های بالاتر به طور خودکار خزیدن را افزایش نمی دهد.
تقاضای خزیدن
حتی اگر به محدودیت سرعت خزیدن نرسیده باشد، اگر تقاضایی از فهرست‌سازی وجود نداشته باشد، فعالیت کم از Googlebot وجود خواهد داشت. دو عاملی که نقش مهمی در تعیین تقاضای خزیدن دارند عبارتند از:
محبوبیت:
نشانی‌های اینترنتی که در اینترنت محبوب‌تر هستند، اغلب خزیده می‌شوند تا در فهرست ما تازه‌تر باقی بمانند.
کهنگی:
سیستم‌های ما سعی می‌کنند از کهنه شدن URLها در فهرست جلوگیری کنند.
علاوه بر این، رویدادهای سراسر سایت مانند جابجایی سایت ممکن است باعث افزایش تقاضای خزیدن به منظور فهرست مجدد محتوا در URL های جدید شود.
با در نظر گرفتن نرخ خزیدن و تقاضای خزیدن، بودجه خزیدن را به عنوان تعداد URLهایی که Googlebot می‌تواند و می‌خواهد بخزد، تعریف می‌کنیم.
عوامل موثر بر بودجه خزیدن
طبق تجزیه و تحلیل ما، داشتن URL های کم ارزش زیاد می تواند بر خزیدن و نمایه سازی سایت تأثیر منفی بگذارد. ما متوجه شدیم که URL های کم ارزش به ترتیب اهمیت در این دسته بندی ها قرار می گیرند:
- ناوبری وجهی و شناسه جلسه
- محتوای تکراری در سایت
- صفحات خطای نرم
- صفحات هک شده
- فضاها و پراکسی های بی نهایت
- محتوای بی کیفیت و اسپم
هدر دادن منابع سرور در صفحاتی مانند این، فعالیت خزیدن را از صفحاتی که واقعاً دارای ارزش هستند تخلیه می کند، که ممکن است باعث تاخیر قابل توجهی در کشف محتوای عالی در یک سایت شود.
خزیدن نقطه ورود سایت ها به نتایج جستجوی گوگل است. خزیدن کارآمد یک وب سایت به نمایه سازی آن در جستجوی گوگل کمک می کند.
آیا سرعت سایت بر بودجه خزیدن من تأثیر می گذارد؟ در مورد خطاها چطور؟
سریع‌تر کردن سایت تجربه کاربران را بهبود می‌بخشد و در عین حال نرخ خزیدن را نیز افزایش می‌دهد. برای Googlebot، یک سایت سریع نشانه سرورهای سالم است، بنابراین می تواند محتوای بیشتری را از طریق همان تعداد اتصال دریافت کند. از طرف دیگر، تعداد قابل توجهی از خطاهای 5xx یا وقفه های زمانی اتصال برعکس را نشان می دهد و خزیدن کند می شود.
توصیه می کنیم به گزارش Crawl Errors در Search Console توجه کنید و تعداد خطاهای سرور را کم نگه دارید.
آیا خزیدن یک عامل رتبه بندی است؟
افزایش نرخ خزیدن لزوما به موقعیت های بهتر در نتایج جستجو منجر نمی شود. گوگل از صدها سیگنال برای رتبه بندی نتایج استفاده می کند، و در حالی که خزیدن برای حضور در نتایج ضروری است، سیگنال رتبه بندی نیست.
آیا URLهای جایگزین و محتوای جاسازی شده در بودجه خزیدن به حساب می آیند؟
به طور کلی، هر URL که ربات گوگل می خزند، به عنوان بودجه خزیدن سایت به حساب می آید. URLهای جایگزین، مانند AMP یا hreflang، و همچنین محتوای جاسازی شده، مانند CSS و JavaScript، از جمله تماس‌های AJAX (مانند XHR)، ممکن است نیاز به خزیدن داشته باشند و بودجه خزیدن سایت را مصرف می‌کنند. به طور مشابه، زنجیره های تغییر مسیر طولانی ممکن است تأثیر منفی بر خزیدن داشته باشد.
آیا می توانم Googlebot را با دستورالعمل “تاخیر خزیدن” کنترل کنم؟
دستورالعمل robots.txt غیر استاندارد “crawl-delay” توسط Googlebot پردازش نمی شود.
آیا دستورالعمل nofollow بر بودجه خزیدن تأثیر می گذارد؟
بستگی دارد. هر URL که خزیده می شود بر بودجه خزیدن تأثیر می گذارد، بنابراین حتی اگر صفحه شما یک URL را به عنوان nofollow علامت گذاری کند، اگر صفحه دیگری در سایت شما یا هر صفحه ای در وب، پیوند را به عنوان nofollow برچسب گذاری نکرده باشد، باز هم می توان آن را خزید.
آیا نشانی‌های وب که از طریق robots.txt غیرمجاز شده‌ام به هیچ وجه بر بودجه خزیدن من تأثیر می‌گذارند؟
نه، URL های غیرمجاز بر بودجه خزیدن تأثیری ندارند.
برای اطلاعات در مورد نحوه بهینه سازی خزیدن سایت خود،