خزیدن crawling به فرآیندی اشاره دارد که در آن موتورهای جستجو مانند گوگل محتوای جدید و به روز شده را در سایت ها کشف می کنند و اطلاعات آنها را پیمایش می کنند.
A beginner’s guide to web crawling
image source: www.cloudflare.com
چه صاحب وب سایت باشید و چه یک متخصص سئو، درک خزیدن وب سایت، نحوه خزیدن وب سایت ها و صفحات وب توسط موتورهای جستجو و نحوه رتبه بندی (یا تصمیم به عدم رتبه بندی) صفحه برای یک جستجوی خاص، ضروری است.
خزیدن وب سایت یک فرآیند فنی است و، صادقانه بگویم، نیازی به درک جنبه فنی پشت آن ندارید. فقط درک مفهوم اصلی و کارهایی که می توانید برای تسهیل خزیدن وب سایت برای موتورهای جستجو مانند Google انجام دهید می تواند به شما کمک کند تا وب سایت خود را برای موتورهای جستجو سازگارتر کنید، بهترین شیوه های SEO را دنبال کنید و در صفحات نتایج موتور جستجو (SERP) رتبه بالاتری کسب کنید.
در این پست به بحث خواهیم پرداخت:
خزیدن وب سایت چیست؟
انواع مختلف خزیدن وب سایت
آینده خزیدن وب سایت در سال 2022 و پس از آن چگونه است
چگونه می توانید خزیدن وب سایت را برای گوگل تسهیل کنید
از بالا بگیریم
خزیدن وب چیست؟
قبل از اینکه به این موضوع بپردازیم، بسیار مهم است که بفهمیم خزیدن وب چیست.
خزیدن به فرآیندی اشاره دارد که در آن موتورهای جستجو محتوای جدید و به روز شده را در اینترنت کشف می کنند. موتورهای جستجو این کار را با ارسال خزنده ها (که معمولاً به عنوان ربات ها، ربات ها یا عنکبوت ها نیز شناخته می شوند) انجام می دهند.
این ربات‌ها در اینترنت «خزنده» می‌کنند تا ببینند آیا صفحه جدیدی وجود دارد که می‌توانند در SERP ایندکس کنند. به طور مشابه، این ربات ها همچنین به دنبال صفحاتی هستند که اخیراً با محتوای جدید به روز شده اند.
نوع “محتوا” می تواند متفاوت باشد – از صفحات وب گرفته تا تصاویر گرفته تا فیلم ها و فایل های PDF.
محدودیت هایی که خزنده های وب با آن مواجه هستند
همانطور که می توانید تصور کنید، واکشی هر صفحه وب در اینترنت و خزیدن آن برای محتوای جدید کار سختی است. این به دلیل حجم زیاد صفحات وب در اینترنت است. علاوه بر این، روزانه میلیون ها و میلیون ها صفحه جدید در وب ظاهر می شوند.
این به منابع محاسباتی زیادی نیاز دارد که ممکن است منجر به مشکلات پایداری شود. بعداً در این مقاله بیشتر در مورد این موضوع صحبت خواهیم کرد، معنای این موضوع برای آینده خزیدن وب و تأثیر بالقوه این محدودیت بر وب مسترها و متخصصان SEO.
در حال حاضر، باید درک کنید که چگونه این خزنده ها یا عنکبوت ها سعی می کنند با کارآمدتر شدن بر این مشکل غلبه کنند و چگونه می توانید از آن به نفع خود استفاده کنید.
عنکبوت های خزنده معمولاً چند صفحه وب را می گیرند و آنها را می خزند. سپس پیوندها (لینک های داخلی و پیوندهای خارجی) را در آن صفحات وب دنبال می کنند تا URL های جدیدی را برای خزیدن و فهرست بندی پیدا کنند. این به خزنده ها کمک می کند تا در ساخت یک پایگاه داده عظیم از URL ها کارآمدتر شوند.
و به همین دلیل است که افزودن پیوند به صفحات در صفحات وب خود – به خصوص پیوندهای داخلی مرتبط با متن به صفحات دیگر، یک تمرین سئو توصیه شده است.
دو نوع خزیدن وب
طبق گفته گوگل، دو نوع خزیدن وب وجود دارد:
کشف
تازه کردن
وقتی صحبت از خزیدن به میان می آید، ما دو نوع خزیدن داریم. یکی خزیدن کشف است که در آن سعی می کنیم صفحات جدیدی را در وب سایت شما کشف کنیم. جان مولر از گوگل می‌گوید: و دیگری یک خزیدن به‌روزرسانی است که در آن صفحات موجودی را که می‌دانیم به‌روزرسانی می‌کنیم.
فرکانس خزیدن – جدا از نوع خزیدن – به تعداد دفعات به روز رسانی محتوا در وب سایت یا صفحه وب شما نیز بستگی دارد. به عنوان مثال، اگر صفحه اصلی وب سایت شما به طور منظم تر از سایر صفحات به روز می شود، احتمالاً فعالیت خزیدن بیشتری را در آن صفحه مشاهده خواهید کرد.
و همانطور که قبلا توضیح دادیم، عنکبوت‌های خزنده نیز پیوندهایی را در صفحه اصلی پیدا می‌کنند و صفحاتی را که با آن پیوندها پیدا می‌کنند می‌خزند.
بنابراین، خزیدن به‌روزرسانی (برای صفحه اصلی، برای بررسی اینکه آیا محتوای جدیدی وجود دارد) نیز می‌تواند منجر به خزیدن اکتشاف شود اگر پیوندی به یک صفحه جدید در آنجا یافت شود.
آخرین نکته برای درک این موضوع این است که Googlebot قادر به تشخیص الگوها برای تنظیم مجدد خزیدن خود است.
جان مولر گوگل این را با مثال زیر توضیح داد:
برای مثال، اگر یک وب‌سایت خبری دارید و آن را هر ساعت به‌روزرسانی می‌کنید، باید یاد بگیریم که باید هر ساعت در آن بخزیم. در حالی که اگر یک وب‌سایت خبری است که ماهی یک‌بار به‌روزرسانی می‌شود، پس باید یاد بگیریم که نیازی نیست هر ساعت به خزیدن بپردازیم.
و این نشانه کیفیت، یا نشانه رتبه بندی، یا هر چیز دیگری نیست. این واقعاً صرفاً از نقطه نظر فنی است که ما آموخته‌ایم که می‌توانیم یک بار در روز، یک بار در هفته این کار را انجام دهیم، و این اشکالی ندارد.”
گوگل این کار را برای ذخیره منابع خزیدن انجام می دهد. همانطور که قبلاً اشاره کردیم، خزیدن یک کار سخت است و می تواند منابع محاسباتی زیادی را روز به روز مصرف کند. این خیلی پایدار نیست، به خصوص که اینترنت همچنان در حال رشد است.
این منجر به نکته بعدی ما می شود.
آینده خزیدن وب در سال 2022 و پس از آن
در یکی از قسمت‌های اخیر پادکست Search Off the Records، تیم Google’s Search Relations اشاره کرد که ممکن است Google نرخ خزیدن وب را به منظور صرفه‌جویی در منابع محاسباتی و ارتقای پایداری کاهش دهد.
«محاسبات، به طور کلی، واقعاً پایدار نیست. ما از سال 2007، حتی نمی‌دانم، بدون کربن هستیم، اما این بدان معنا نیست که نمی‌توانیم حتی بیشتر از ردپای خود در محیط زیست بکاهیم. و خزیدن فعال است
گری ایلیز از گوگل می گوید که در همان اوایل می توانستیم میوه های کم آویزان را خرد کنیم.
او همچنین توضیح داد که چگونه گوگل ممکن است با کاهش نرخ خزیدن به‌روزرسانی به این هدف پایداری دست یابد.
“یک کاری که ما انجام می دهیم، و ممکن است نیازی به انجام آنچنان نداشته باشیم، refresh crawls است. به این معنی که وقتی یک سند، یک URL را کشف کردیم، سپس می رویم، آن را می خزیم، و سپس، در نهایت، می خواهیم به عقب برگردیم و آن URL را دوباره بررسی کنیم. این یک خزیدن تازه است.
و سپس هر بار که به آن یک URL برمی گردیم، همیشه یک خزیدن مجدد خواهد بود. اکنون، چند بار باید به آن URL برگردیم؟
کاهش نرخ خزیدن برای صاحبان وب سایت و سئوکاران چه معنایی دارد؟
کاهش نرخ خزیدن برای خزیدن به‌روزرسانی، احتمالاً فهرست‌سازی و به‌روزرسانی‌های رتبه‌بندی صفحات وب به‌روزرسانی‌شده را کاهش می‌دهد. با این حال، لزوماً به معنای رتبه‌بندی ضعیف‌تر در موتورهای جستجو نیست.
گری ایلیز در طول پادکست تایید کرد که “این یک تصور اشتباه است” که فکر کنید “اگر صفحه ای بیشتر خزیده شود، رتبه بیشتری کسب می کند.”
7 نکته در مورد چگونگی بهبود خزیدن در وب سایت خود
اکنون که می دانید خزیدن وب چیست و آینده خزیدن وب چیست، اجازه دهید به طور خلاصه به نکاتی که می توانید برای بهبود خزیدن در وب سایت خود استفاده کنید نگاهی بیندازیم.
محتوای خود را اغلب به روز کنید. اگر هفته‌ای یک پست منتشر می‌کنید — بدون به‌روزرسانی محتوای دیگر در وب‌سایت خود، Google الگو را تشخیص می‌دهد و خزیدن به‌روزرسانی را برای وب‌سایت شما کاهش می‌دهد، همانطور که قبلاً یاد گرفتیم.
با ارسال URL برای فهرست مجدد در کنسول جستجوی گوگل، پس از به روز رسانی وب سایت خود، گوگل را به روز کنید.
از وب سایت هایی که به طور منظم خزیده می شوند و همچنین صفحات وب که به طور منظم در سایت خود خزیده می شوند، پیوندهای مرتبط بیشتری ایجاد کنید.
برای بهبود سرعت بارگذاری وب سایت خود زمان و تلاش خود را صرف کنید. اگر یک وب سایت برای بارگذاری خیلی کند باشد، خزنده های وب سایت ممکن است سایت شما را رها کنند.
برای کمک به Google در خزیدن وب، نقشه سایت اضافه کنید و آن را به روز نگه دارید. نقشه سایت وب سایت خود را در اینجا بررسی کنید.
تعداد صفحات یتیم در وب سایت خود را کاهش دهید. صفحات یتیم به آن دسته از صفحاتی گفته می شود که هیچ لینکی به آنها اشاره نمی کند.
زنجیره های تغییر مسیر را کاهش دهید
امیدواریم این راهنمای مبتدی برای خزیدن وب برای شما مفید بوده باشد. اگر سوال یا نظری دارید، در قسمت نظرات زیر با ما در میان بگذارید.