از زمانی که من برای اولین بار در مورد ابزارهای وب مستر گوگل، که اکنون کنسول جستجوی گوگل نامیده می شود، نوشتم، چیزهای زیادی تغییر کرده است. گوگل داده های بسیار بیشتری را منتشر کرده است که قول می دهد برای سئوکاران بسیار مفید باشد. از آنجایی که مدت‌هاست اطلاعات کافی کلمه کلیدی را در Google Analytics از دست داده‌ایم، بیش از هر زمان دیگری به کنسول جستجو اعتماد کرده‌ایم. بخش های «تجزیه و تحلیل جستجو» و «پیوندها به سایت شما» دو ویژگی برتر هستند که در ابزارهای وب مستر قدیمی وجود نداشتند.
در حالی که ممکن است ما هرگز از ابزارهای Google کاملاً راضی نباشیم و گهگاه ممکن است بلوف های آنها را صدا کنیم، آنها اطلاعات مفیدی را منتشر می کنند (هرازگاهی). به اعتبار آنها، Google اسناد کمکی و منابع پشتیبانی بیشتری برای کمک به کاربران کنسول جستجو در مکان یابی و رفع خطاها ایجاد کرده است.
علیرغم این واقعیت که برخی از این موارد به اندازه ایجاد محتوای 10 برابری یا تماشای اینکه کدام یک از کلمات کلیدی شما در رتبه بندی جهش یافته اند سرگرم کننده نیست، این دسته از سئو همچنان بسیار مهم است.
با نگاهی به تجسم حماسی پورنت از نحوه قرار گرفتن قطعات بازاریابی اینترنتی با هم، رفع خطاهای خزیدن در کنسول جستجو کاملاً در بخش «زیرساخت» قرار می گیرد:
اگر بتوانید عادات خوبی ایجاد کنید و نگهداری پیشگیرانه را انجام دهید، بررسی های هفتگی نقطه ای خطاهای خزیدن برای تحت کنترل نگه داشتن آنها کاملاً کافی خواهد بود. با این حال، اگر به طور کامل این خطاهای (آزاردهنده) را نادیده بگیرید، همه چیز می تواند به سرعت از بد به بدتر پیش رود.
طرح بندی خطاهای خزیدن
یکی از تغییراتی که در چند سال اخیر ایجاد شده است، چیدمان نمای خطاهای خزیدن در کنسول جستجو است. کنسول جستجو به دو بخش اصلی تقسیم می شود: خطاهای سایت و خطاهای URL.
دسته بندی خطاها به این روش بسیار مفید است زیرا تفاوت مشخصی بین خطاهای سطح سایت و خطاهای سطح صفحه وجود دارد. مسائل مربوط به سطح سایت می تواند فاجعه بارتر باشد و این احتمال وجود دارد که به قابلیت استفاده کلی سایت شما آسیب برساند. از سوی دیگر، خطاهای URL مختص صفحات منفرد هستند و بنابراین کمتر فوری هستند.
سریعترین راه برای دسترسی به Crawl Error از داشبورد است. داشبورد اصلی یک پیش نمایش سریع از سایت شما ارائه می دهد و سه مورد از مهمترین ابزارهای مدیریتی را به شما نشان می دهد: Crawl Errors، Search Analytics و Sitemaps.
از اینجا می توانید نگاهی سریع به خطاهای خزیدن خود داشته باشید. حتی اگر روزانه به آن نگاهی بیندازید، بسیار جلوتر از بسیاری از مدیران سایت خواهید بود.
1. خطاهای سایت
بخش Site Errors به شما خطاهایی را در کل وب سایت شما نشان می دهد. اینها خطاهای سطح بالایی هستند که سایت شما را به طور کامل تحت تأثیر قرار می دهند، بنابراین از این موارد غافل نشوید.
در داشبورد Crawl Errors، Google این خطاها را برای 90 روز گذشته به شما نشان می‌دهد.
اگر نوعی فعالیت از 90 روز گذشته داشته باشید، قطعه شما به این شکل خواهد بود:
اگر در 90 روز گذشته 100% بدون خطا بوده اید و چیزی برای نشان دادن نداشته اید، به این صورت خواهد بود:
این هدف است – دریافت “خوب!” از گوگل به‌عنوان سئوکار، ما اغلب هیچ تأییدیه‌ای از Google دریافت نمی‌کنیم، بنابراین از این لحظه عشق نادر لذت ببرید.
هر چند وقت یکبار باید خطاهای سایت را بررسی کنید؟
در یک دنیای ایده آل شما باید روزانه وارد سیستم شوید تا مطمئن شوید که اینجا مشکلی وجود ندارد. ممکن است یکنواخت شود زیرا بیشتر روزها همه چیز خوب است.
حداقل، باید حداقل هر 90 روز یکبار بررسی کنید تا خطاهای قبلی را جستجو کنید تا بتوانید در آینده مراقب آنها باشید – اما بررسی های مکرر و منظم بهتر است.
بعداً در مورد تنظیم هشدارها و خودکار کردن این بخش صحبت خواهیم کرد، اما فقط بدانید که این بخش بسیار مهم است و باید هر روز در این بخش 100٪ بدون خطا باشید. اینجا هیچ منطقه خاکستری وجود ندارد.
الف) خطاهای DNS
منظورشون چیه
خطاهای DNS مهم هستند – و اگر نسخه های شدید این خطاها را داشته باشید، پیامدهای آن برای وب سایت شما بسیار زیاد است.
خطاهای DNS (سیستم نام دامنه) اولین و برجسته ترین خطا هستند زیرا اگر ربات Google دارای مشکلات DNS باشد، به این معنی است که نمی تواند از طریق مشکل مهلت زمانی DNS یا مشکل جستجوی DNS به دامنه شما متصل شود.
آیا آنها مهم هستند؟
در حالی که گوگل بیان می کند که بسیاری از مشکلات DNS همچنان به گوگل اجازه می دهد تا به سایت شما متصل شود، اگر مشکل DNS شدیدی دارید باید فورا اقدام کنید.
ممکن است مشکلاتی با تأخیر بالا وجود داشته باشد که به Google اجازه می دهد تا سایت را بخزد، اما تجربه کاربری ضعیفی را برای کاربر فراهم می کند.
مشکل DNS بسیار مهم است، زیرا اولین قدم برای دسترسی به وب سایت شما است. اگر با مشکلات DNS مواجه هستید که در وهله اول مانع از اتصال Google به سایت شما می شود، باید سریع و خشونت آمیز اقدام کنید.
چگونه رفع کنیم
قبل از هر چیز، گوگل توصیه می کند از ابزار Fetch به عنوان Google خود برای مشاهده استفاده کنید
چگونه Googlebot صفحه شما را می خزد. واکشی همانطور که Google درست در کنسول جستجو زندگی می کند.
اگر فقط به دنبال وضعیت اتصال DNS هستید و می‌خواهید سریع عمل کنید، می‌توانید بدون رندر واکشی کنید. با این حال، روند کندتر Fetch و Render برای مقایسه کنار هم از نحوه مشاهده سایت شما توسط گوگل در مقایسه با یک کاربر مفید است.
با ارائه دهنده DNS خود چک کنید. اگر Google نتواند صفحه شما را به درستی واکشی و رندر کند، باید اقدامات بیشتری انجام دهید. با ارائه دهنده DNS خود تماس بگیرید تا ببینید مشکل از کجاست. ممکن است مشکلاتی در انتهای ارائه دهنده DNS وجود داشته باشد، یا ممکن است بدتر باشد.
اطمینان حاصل کنید که سرور شما کد خطای 404 یا 500 را نمایش می دهد. به جای اتصال ناموفق، سرور شما باید کد 404 (یافت نشد) یا کد 500 (خطای سرور) را نمایش دهد. این کدها دقیق تر از داشتن خطای DNS هستند.
ابزارهای دیگر
ISUP.me – به شما امکان می‌دهد فوراً متوجه شوید که آیا سایت شما برای همه خراب است.
Web-Sniffer.net – درخواست و پاسخ HTTP فعلی را به شما نشان می دهد. برای نقطه 3 بالا مفید است.
ب) خطاهای سرور
خطای سرور اغلب به این معنی است که پاسخ سرور شما خیلی طول می کشد و زمان درخواست به پایان می رسد. ربات گوگل که سعی می کند سایت شما را بخزد، فقط می تواند مدت زمان مشخصی را برای بارگذاری وب سایت شما قبل از اینکه منصرف شود صبر کند. اگر بیش از حد طول بکشد، ربات گوگل تلاش خود را متوقف می کند.
خطاهای سرور با خطاهای DNS متفاوت است. خطای DNS به این معنی است که Googlebot حتی نمی تواند URL شما را به دلیل مشکلات DNS جستجو کند، در حالی که خطاهای سرور به این معنی است که اگرچه Googlebot می تواند به سایت شما متصل شود، اما به دلیل خطاهای سرور نمی تواند صفحه را بارگیری کند.
اگر وب سایت شما با ترافیک بیش از حدی که سرور قادر به مدیریت آن نیست، بارگیری شود، ممکن است خطاهای سرور اتفاق بیفتد.
برای جلوگیری از این امر، مطمئن شوید که ارائه‌دهنده میزبانی شما می‌تواند برای انبوه ناگهانی ترافیک وب‌سایت افزایش یابد.
همه می خواهند وب سایتشان ویروسی شود، اما همه آماده نیستند!
آیا آنها مهم هستند؟
مانند خطاهای DNS، خطای سرور بسیار فوری است. این یک خطای اساسی است و به طور کلی به سایت شما آسیب می رساند. در صورت مشاهده خطاهای سرور در کنسول جستجوی سایت خود، باید فوراً اقدام کنید.
اطمینان از اینکه ربات گوگل می‌تواند به DNS متصل شود، اولین قدم مهم است، اما اگر وب‌سایت شما واقعاً نمایش داده نشود، خیلی جلوتر نمی‌روید. اگر با خطاهای سرور مواجه می شوید، ربات Google نمی تواند چیزی برای خزیدن پیدا کند و پس از مدت زمان معینی از کار دست می کشد.
خطای سرور را چگونه رفع کنیم
در صورتی که وب سایت شما در زمانی که با این خطا مواجه می شوید به خوبی کار می کند، ممکن است به این معنی باشد که در گذشته خطاهای سرور وجود داشته است، اگرچه ممکن است این خطا در حال حاضر برطرف شده باشد، شما همچنان باید برای جلوگیری از تکرار آن تغییراتی ایجاد کنید.
این دستورالعمل رسمی گوگل برای رفع خطاهای سرور است:
از Fetch as Google برای بررسی اینکه آیا Googlebot در حال حاضر می تواند سایت شما را بخزد، استفاده کنید. اگر Fetch as Google محتوای صفحه اصلی شما را بدون مشکل برگرداند، می توانید فرض کنید که Google به طور کلی می تواند به درستی به سایت شما دسترسی پیدا کند.
قبل از اینکه بتوانید مشکل خطاهای سرور خود را برطرف کنید، باید به طور خاص تشخیص دهید که کدام نوع خطای سرور دریافت می کنید، زیرا انواع مختلفی وجود دارد:
- تایم اوت (Timeout)؛
- سرصفحه های کوتاه شده (Truncated headers)؛
- بازنشانی اتصال (Connection reset)؛
- پاسخ کوتاه شده (Truncated response)؛
- ارتباط رد شد (Connection refused)؛
- اتصال انجام نشد (Connect failed)؛
- پایان زمان اتصال (Connect timeout)؛
- بدون پاسخ (No response)؛
پرداختن به نحوه رفع هر یک از این موارد خارج از محدوده این مقاله است، اما برای تشخیص خطاهای خاص باید به کمک کنسول جستجوی Google مراجعه کنید.
ج) شکست روبات ها
خرابی Robots به این معنی است که Googlebot نمی تواند فایل robots.txt شما را که در
[yourdomain.com]/robots.txt
قرار دارد، بازیابی کند.
یکی از شگفت‌انگیزترین چیزها در مورد فایل robots.txt این است که فقط در صورتی لازم است که نمی‌خواهید گوگل صفحات خاصی را بخزد.
از کمک کنسول جستجو، گوگل بیان می کند:
تنها در صورتی به فایل robots.txt نیاز دارید که سایت شما حاوی محتوایی باشد که نمی‌خواهید موتورهای جستجو ایندکس کنند. اگر می خواهید موتورهای جستجو همه چیز را در سایت شما فهرست کنند، به فایل robots.txt نیازی ندارید – حتی یک فایل خالی. اگر فایل robots.txt ندارید، سرور شما با درخواست Googlebot یک عدد 404 برمی گرداند و ما به خزیدن سایت شما ادامه می دهیم. مشکلی نیست.»
آیا آنها مهم هستند؟
این یک موضوع نسبتاً مهم است. برای وب‌سایت‌های کوچک‌تر و ثابت‌تر بدون تغییرات اخیر یا صفحات جدید، خیلی ضروری نیست. اما مشکل همچنان باید برطرف شود.
با این حال، اگر سایت شما روزانه محتوای جدیدی را منتشر می کند یا تغییر می دهد، این یک مسئله فوری است. اگر ربات Google نتواند robots.txt شما را بارگیری کند، وب سایت شما را نمی خزند و صفحات و تغییرات جدید شما را فهرست نمی کند.
چگونه خطاهای robots.txt را رفع کنیم
مطمئن شوید که فایل robots.txt شما به درستی پیکربندی شده است. دوبار بررسی کنید که کدام صفحات را به Googlebot دستور داده اید که خزیده نشود، زیرا سایر صفحات به طور پیش فرض خزیده می شوند. خط قدرتمند «Disallow: /» را سه بار بررسی کنید و مطمئن شوید که خط وجود ندارد مگر اینکه به دلایلی نمی خواهید وب سایت شما در نتایج جستجوی Google ظاهر شود.
اگر به نظر می رسد فایل شما مرتب است و همچنان خطاها را دریافت می کنید، از ابزار بررسی هدر سرور استفاده کنید تا ببینید آیا فایل شما برگردانده شده است یا خیر.
خطای 200 یا 404.
نکته جالب در مورد این موضوع این است که بهتر است اصلاً robots.txt نداشته باشید تا اینکه پیکربندی نامناسبی داشته باشید. اگر هیچ کدام را ندارید، گوگل طبق معمول سایت شما را بررسی می کند. اگر یک خطای برگشتی داشته باشید، Google خزیدن را متوقف می کند تا زمانی که این فایل را برطرف کنید.
از آنجایی که فایل robots.txt تنها چند خط متن است، می تواند عواقب فاجعه باری برای وب سایت شما داشته باشد. مطمئن شوید که آن را زود و اغلب بررسی می کنید.
2. خطاهای URL
خطاهای URL با خطاهای سایت متفاوت است زیرا فقط بر صفحات خاصی در سایت شما تأثیر می گذارد، نه بر روی وب سایت شما به عنوان یک کل.
کنسول جستجوی گوگل بیشترین خطاهای URL را در هر دسته به شما نشان می دهد – دسکتاپ، تلفن هوشمند و تلفن همراه. برای سایت‌های بزرگ، این داده‌ها ممکن است برای نشان دادن همه خطاها کافی نباشد، اما برای اکثر سایت‌ها این داده‌ها همه مشکلات شناخته شده را نشان می‌دهد.
نکته: دیوانه شدن با تعداد خطاها؟ همه را به عنوان ثابت علامت بزنید.
بسیاری از صاحبان سایت با این مشکل مواجه شده اند که تعداد زیادی خطای URL را می بینند و از این موضوع وحشت زده می شوند.
نکته مهمی که باید به خاطر بسپارید این است که
الف) گوگل مهمترین خطاها را در ابتدا رتبه بندی می کند.
ب) ممکن است برخی از این خطاها قبلاً برطرف شده باشند.
اگر تغییرات شدیدی در سایت خود ایجاد کرده اید تا خطاها را برطرف کنید، یا فکر می کنید بسیاری از خطاهای URL دیگر رخ نمی دهند، یک تاکتیک برای استفاده این است که همه خطاها را به عنوان ثابت علامت گذاری کنید و در عرض چند روز از آنها نسخه پشتیبان تهیه کنید.
وقتی این کار را انجام می‌دهید، فعلاً خطاهای شما از داشبورد پاک می‌شود، اما Google دفعه بعد که سایت شما را در چند روز آینده می‌خزد، خطاها را باز می‌گرداند. اگر واقعاً در گذشته این خطاها را برطرف کرده بودید، دیگر نشان داده نخواهند شد. اگر خطاها همچنان وجود دارند، می دانید که این خطاها همچنان روی سایت شما تأثیر می گذارد.
الف) Soft 404
خطای Soft 404 زمانی است که یک صفحه به صورت 200 نمایش داده می شود (پیدا شد) در حالی که باید به عنوان 404 نمایش داده شود (پیدا نشد).
منظورشون چیه
فقط به این دلیل که صفحه 404 شما شبیه یک صفحه 404 است، به این معنی نیست که در واقع یک صفحه است. جنبه قابل رویت کاربر صفحه 404 محتوای صفحه است. پیام قابل مشاهده باید به کاربران اطلاع دهد که صفحه درخواستی از بین رفته است. اغلب، صاحبان سایت لیست مفیدی از پیوندهای مرتبطی که کاربران باید بازدید کنند یا یک پاسخ خنده دار 404 دارند.
طرف مقابل صفحه 404 پاسخی است که توسط خزنده قابل مشاهده است. کد پاسخ HTTP سرصفحه باید 404 (یافت نشد) یا 410 (رفته) باشد.
اگر صفحه 404 را برمی گردانید و به عنوان Soft 404 فهرست شده است، به این معنی است که کد پاسخ HTTP سرصفحه کد پاسخ 404 (یافت نشد) را بر نمی گرداند. گوگل توصیه می‌کند که «همیشه در پاسخ به درخواست صفحه‌ای که وجود ندارد، یک کد پاسخ 404 (یافت نشد) یا یک کد پاسخ 410 (نبوده) را برگردانید».
موقعیت دیگری که در آن خطاهای نرم افزار 404 ممکن است نشان داده شوند، این است که صفحاتی دارید که 301 به صفحات غیر مرتبط مانند صفحه اصلی هدایت می شوند. به نظر نمی رسد گوگل به صراحت بیان کند که این خط از کجا کشیده شده است، فقط با عبارات مبهم به آن اشاره می کند.
به طور رسمی، گوگل این را در مورد 404 های نرم افزاری می گوید:
«برگرداندن کدی غیر از 404 یا 410 برای صفحه‌ای که وجود ندارد (یا هدایت کاربران به صفحه دیگری مانند صفحه اصلی، به جای بازگرداندن 404) می‌تواند مشکل ساز باشد.»
اگرچه این مسیری را به ما می دهد، اما مشخص نیست که چه زمانی یک صفحه منقضی شده را به صفحه اصلی هدایت کنیم و چه زمانی مناسب نیست.
در عمل، بر اساس تجربه شخصی من، اگر شما مقادیر زیادی از صفحات را به صفحه اصلی هدایت می کنید، گوگل می تواند آن URL های هدایت شده را به جای تغییر مسیرهای 301 واقعی، به عنوان 404 نرم تفسیر کند.
برعکس، اگر بخواهید به جای آن یک صفحه قدیمی را به یک صفحه نزدیک به هم هدایت کنید، بعید است که هشدار نرم 404 را به همان روش فعال کنید.
آیا آنها مهم هستند؟
اگر صفحاتی که به عنوان خطاهای نرم افزار 404 فهرست شده اند، صفحات مهمی نیستند و با داشتن برخی از خطاهای نرم افزاری 404 بودجه خزیدن خود را تلف نمی کنید، این موارد فوری برای رفع آنها نیستند.
اگر صفحات مهمی در سایت خود دارید که به عنوان نرم افزار 404 فهرست شده اند، باید برای رفع آنها اقدام کنید. صفحات مهم محصول، دسته یا نسل اصلی، اگر صفحات زنده هستند، نباید به عنوان صفحات نرم افزاری 404 فهرست شوند. به صفحاتی که برای توانایی درآمدزایی سایت شما حیاتی هستند توجه ویژه ای داشته باشید.
اگر مقدار زیادی خطای نرم 404 نسبت به تعداد کل صفحات سایت خود دارید، باید سریع اقدام کنید. با اجازه دادن به این خطاهای نرم 404، می توانید بودجه خزیدن ربات Google خود را (گرانبها؟) مصرف کنید.
چگونه رفع کنیم
برای صفحاتی که دیگر وجود ندارند:
اگر صفحه از بین رفته است و ترافیک یا پیوند قابل توجهی دریافت نمی کند، به 404 یا 410 اجازه دهید. اطمینان حاصل کنید که پاسخ هدر سرور 404 یا 410 است نه 200.
301 هر صفحه قدیمی را به یک صفحه مرتبط و مرتبط در سایت خود هدایت کنید.
تعداد زیادی از صفحات مرده را به صفحه اصلی خود هدایت نکنید. آنها باید 404 یا به صفحات مشابه مناسب هدایت شوند.
برای صفحاتی که صفحات زنده هستند و قرار نیست نرم افزار 404 باشند:
اطمینان حاصل کنید که مقدار مناسبی از محتوا در صفحه وجود دارد، زیرا محتوای نازک ممکن است باعث ایجاد خطای نرم 404 شود.
اطمینان حاصل کنید که محتوای صفحه شما نشان دهنده صفحه 404 نیست
کد پاسخ 200 را ارائه می دهد.
Soft 404 خطاهای عجیبی هستند. آنها به سردرگمی زیادی منجر می شوند زیرا معمولاً ترکیبی عجیب از صفحات 404 و عادی هستند و آنچه باعث آنها می شود همیشه روشن نیست. مطمئن شوید که مهم ترین صفحات سایت شما خطاهای نرم 404 را ایجاد نمی کنند، و شما شروع خوبی دارید!
ب) 404
خطای 404 به این معنی است که Googlebot سعی کرده است صفحه ای را که در سایت شما وجود ندارد بخزد. ربات گوگل 404 صفحه را زمانی پیدا می کند که سایت ها یا صفحات دیگر به آن صفحه ناموجود پیوند می زنند.
منظورشون چیه
خطاهای 404 احتمالاً اشتباه‌ترین خطای خزیدن هستند. چه یک سئوی متوسط یا مدیر عامل شرکت، رایج ترین واکنش ترس و نفرت از خطاهای 404 است.
گوگل به وضوح در دستورالعمل های خود بیان می کند:
“به طور کلی، خطاهای 404 بر رتبه سایت شما در گوگل تاثیر نمی گذارد، بنابراین می توانید با خیال راحت آنها را نادیده بگیرید.”
من اولین کسی خواهم بود که اعتراف می کنم که “شما می توانید با خیال راحت آنها را نادیده بگیرید” یک جمله بسیار گمراه کننده برای مبتدیان است. نه – اگر خطاهای 404 برای صفحات مهم سایت شما هستند، نمی توانید آنها را نادیده بگیرید.
(Google آنچه را که در این زمینه موعظه می کند تمرین می کند – رفتن به google.com/searchconsole به جای تغییر مسیر مفید به google.com/webmasters، 404 را برمی گرداند)
تمایز بین زمان هایی که می توانید خطا را نادیده بگیرید و زمانی که باید تا دیر وقت در دفتر بمانید تا مشکلی را برطرف کنید، از بررسی و تجربه عمیق ناشی می شود، اما رند در سال 2009 توصیه های بی انتها در مورد 404s ارائه کرد:
وقتی با 404 روبرو می شوم، فکر من این است که مگر اینکه صفحه:
الف) پیوندهای مهمی را به آن از منابع خارجی دریافت می کند (ابزار وب مستر گوگل برای این کار عالی است)،
ب) مقدار قابل توجهی از ترافیک بازدیدکنندگان را دریافت می کند و/یا
ج) دارای یک URL واضح است که بازدیدکنندگان/پیوندها قصد دسترسی به آن را دارند
اشکالی ندارد که اجازه دهید آن 404 باشد.”
کار سخت این است که تصمیم بگیرید چه چیزی به عنوان پیوندهای خارجی مهم و مقدار قابل توجهی از ترافیک برای URL خاص شما در سایت خاص شما واجد شرایط است.
آنی کوشینگ نیز روش رند را ترجیح می دهد و توصیه می کند:
دو مورد از مهمترین معیارهایی که باید به آنها نگاه کرد، بک لینک‌ها هستند تا مطمئن شوید با ارزش‌ترین لینک‌ها و کل بازدید از صفحه فرود در نرم‌افزار تحلیلی خود را از دست نمی‌دهید. ممکن است موارد دیگری مانند بررسی معیارهای اجتماعی داشته باشید. هر چه تصمیم می گیرید که این معیارها باشند، می خواهید همه آنها را از ابزارهای خود صادر کنید و آنها را در اکسل وصل کنید.
یکی دیگر از مواردی که در بالا ذکر نشده است، کمپین های بازاریابی آفلاین، پادکست ها و سایر رسانه هایی است که از URL های ردیابی به یاد ماندنی استفاده می کنند. ممکن است آگهی مجله جدید شما تا ماه آینده منتشر نشود، و بخش بازاریابی فراموش کرده است در مورد یک URL بی اهمیت (example.com/offer-20) به شما بگوید که قرار است در ده ها هزار مجله چاپ شود. . یکی دیگر از دلایل هم افزایی بین ادارات.
آیا آنها مهم هستند؟
این احتمالاً یکی از پیچیده ترین و ساده ترین مشکلات در بین همه خطاها است. مقدار زیادی از 404 که بسیاری از سایت‌های متوسط تا بزرگ جمع‌آوری می‌کنند برای جلوگیری از اقدام کافی است.
اگر صفحات مهم سایت شما به صورت 404 نمایش داده شوند، خطاهای 404 بسیار ضروری هستند. برعکس، همانطور که گوگل می گوید، اگر صفحه ای مدت هاست که از بین رفته است و معیارهای کیفی ما را در بالا برآورده نمی کند، اجازه دهید.
هر چقدر هم که دیدن صدها خطا در کنسول جستجو دردناک باشد، فقط باید آنها را نادیده بگیرید. تا زمانی که مشکل را ریشه یابی نکنید، آنها همچنان ظاهر می شوند.
نحوه رفع خطاهای 404
اگر صفحه مهم شما به عنوان 404 نشان داده می شود و نمی خواهید این صفحه باشد، این مراحل را انجام دهید:
اطمینان حاصل کنید که صفحه از سیستم مدیریت محتوای شما منتشر شده است و در حالت پیش نویس یا حذف نشده است.
اطمینان حاصل کنید که URL خطای 404 صفحه صحیح است و تغییر دیگری ندارد.
بررسی کنید که آیا این خطا در نسخه www در مقابل غیرwww سایت شما و نسخه http vs https سایت شما نشان داده می شود یا خیر. برای جزئیات بیشتر به متعارف سازی Moz مراجعه کنید.
اگر نمی خواهید صفحه را احیا کنید، اما می خواهید آن را به صفحه دیگری هدایت کنید، مطمئن شوید که 301 آن را به مناسب ترین صفحه مرتبط هدایت کرده اید.
به طور خلاصه، اگر صفحه شما مرده است، صفحه را دوباره زنده کنید. اگر نمی‌خواهید آن صفحه زنده باشد، 301 آن را به صفحه صحیح هدایت کنید.
چگونه از نمایش ۴۰۴های قدیمی در گزارش خطاهای خزیدن خود جلوگیری کنیم
اگر قرار است URL خطای 404 شما مدت‌هاست که از بین رفته است، بگذارید بمیرد. همانطور که گوگل توصیه می کند فقط آن را نادیده بگیرید. اما برای جلوگیری از نمایش آن در گزارش خطاهای خزیدن، باید چند کار دیگر انجام دهید.
به عنوان نشانه دیگری از قدرت پیوندها، گوگل تنها در وهله اول خطاهای 404 را نشان می دهد که سایت شما یا یک وب سایت خارجی به صفحه 404 پیوند داده شده باشد.
به عبارت دیگر، اگر من در your-website-name.com/unicorn-boogers تایپ کنم، در داشبورد خطاهای خزیدن شما نشان داده نمی‌شود مگر اینکه از وب‌سایت خود به آن لینک بدهم.
برای یافتن پیوندهای صفحه 404 خود، به بخش Crawl Errors > URL Errors بروید:
سپس بر روی URL مورد نظر برای رفع آن کلیک کنید:
صفحه خود را برای پیوند جستجو کنید. مشاهده کد منبع صفحه و یافتن پیوند مورد نظر در آنجا اغلب سریعتر است:
کار پر زحمتی است، اما اگر واقعاً می‌خواهید جلوی نمایش 404های قدیمی در داشبورد خود را بگیرید، باید پیوندهای آن صفحه را از هر صفحه حذف کنید.
پیوند دادن به آن حتی وب سایت های دیگر.
چیزی که واقعاً جالب است (نه) این است که از نقشه های سایت قدیمی پیوندهایی به URL خود دریافت می کنید. برای حذف کامل آنها باید به نقشه های سایت قدیمی 404 اجازه دهید. آنها را به نقشه سایت زنده خود هدایت نکنید.
ج) دسترسی ممنوع است
دسترسی ممنوع به این معنی است که Googlebot نمی تواند صفحه را بخزد. برخلاف 404، Googlebot در وهله اول از خزیدن در صفحه جلوگیری می کند.
منظورشون چیه
خطاهای دسترسی ممنوع معمولاً Googlebot را از طریق این روش ها مسدود می کنند:
برای مشاهده URL در سایت خود از کاربران می خواهید وارد سیستم شوند، بنابراین Googlebot مسدود شده است
فایل robots.txt شما، ربات Google را از URL های فردی، کل پوشه ها یا کل سایت شما مسدود می کند
ارائه دهنده هاست شما Googlebot را از سایت شما مسدود می کند، یا سرور از کاربران می خواهد که توسط پروکسی احراز هویت کنند.
آیا آنها مهم هستند؟
مشابه خطاهای نرم 404 و 404، اگر صفحاتی که مسدود شده‌اند برای خزیدن و فهرست‌بندی گوگل مهم هستند، باید فوراً اقدام کنید.
اگر نمی‌خواهید این صفحه خزیده شود و ایندکس شود، می‌توانید با خیال راحت خطاهای منع دسترسی را نادیده بگیرید.
چگونه رفع کنیم
برای رفع خطاهای عدم دسترسی، باید عنصری را که دسترسی Googlebot را مسدود می‌کند حذف کنید:
ورود به سیستم را از صفحاتی که می‌خواهید Google آنها را بخزد، حذف کنید، خواه یک درخواست ورود به سیستم در صفحه یا پنجره بازشو باشد.
فایل robots.txt خود را بررسی کنید تا مطمئن شوید که صفحات فهرست شده در آنجا از خزیدن و نمایه سازی مسدود شده اند.
از آزمایش‌کننده robots.txt برای مشاهده اخطارها در فایل robots.txt و آزمایش URLهای فردی در برابر فایل خود استفاده کنید.
از یک پلاگین تعویض کننده عامل کاربر برای مرورگر خود یا ابزار Fetch as Google استفاده کنید تا ببینید سایت شما در Googlebot چگونه ظاهر می شود.
وب سایت خود را با Screaming Frog اسکن کنید، که از شما می خواهد در صورت نیاز صفحه وارد صفحات شوید.
اگرچه به اندازه خطاهای 404 رایج نیست، اما در صورت مسدود شدن صفحات اشتباه، مشکلات عدم دسترسی همچنان می تواند به توانایی رتبه بندی سایت شما آسیب برساند. حتما مراقب این خطاها باشید و هر مشکل فوری را سریعاً برطرف کنید.
د) دنبال نمی شود
منظورشون چیه
اگر با دستورالعمل پیوند “nofollow” اشتباه گرفته نشود، خطای “nonfollow” به این معنی است که گوگل نمی تواند آن URL خاص را دنبال کند.
اغلب این خطاها ناشی از مشکلاتی است که Google با Flash، Javascript یا redirect مواجه می شود.
آیا آنها مهم هستند؟
اگر در یک URL با اولویت بالا با مسائلی برخورد می کنید که دنبال نمی شوند، بله، این موارد مهم هستند.
اگر مشکلات شما ناشی از URL های قدیمی است که دیگر فعال نیستند، یا از پارامترهایی که ایندکس نشده اند و فقط یک ویژگی اضافی هستند، سطح اولویت در این موارد کمتر است – اما همچنان باید آنها را تجزیه و تحلیل کنید.
چگونه رفع کنیم
Google موارد زیر را به‌عنوان ویژگی‌هایی شناسایی می‌کند که Googlebot و سایر موتورهای جستجو ممکن است در خزیدن آنها با مشکل مواجه شوند:
جاوا اسکریپت
کلوچه ها
شناسه های جلسه
قاب ها
DHTML
فلاش
از مرورگر متنی Lynx یا ابزار Fetch as Google با استفاده از Fetch و Render استفاده کنید تا سایت را همانطور که گوگل انجام می دهد مشاهده کنید. همچنین می‌توانید از یک افزونه Chrome مانند User-Agent Switcher برای تقلید از Googlebot در هنگام مرور صفحات استفاده کنید.
اگر به‌عنوان ربات Google، به دلیل برخی از فناوری‌های بالا، صفحات را بارگیری نمی‌کنید یا محتوای مهمی را در صفحه نمی‌بینید، پس مشکل خود را پیدا کرده‌اید. بدون محتوای قابل مشاهده و پیوندهایی برای خزیدن در صفحه، برخی از URL ها نمی توانند دنبال شوند. مطمئن شوید که بیشتر بررسی کنید و مشکل را تشخیص دهید تا برطرف شود.
برای مشکلات خزیدن پارامتر، حتما بررسی کنید که Google در حال حاضر چگونه پارامترهای شما را مدیریت می کند. اگر می‌خواهید Google با پارامترهای شما متفاوت رفتار کند، تغییرات را در ابزار URL Parameters مشخص کنید.
برای مشکلاتی که در ارتباط با تغییر مسیرها دنبال نمی‌شوند، حتماً یکی از موارد زیر را که اعمال می‌شود برطرف کنید:
زنجیره های تغییر مسیر را بررسی کنید. اگر “Hops” زیاد باشد، گوگل دنبال کردن زنجیره تغییر مسیر را متوقف خواهد کرد
در صورت امکان، معماری سایت خود را به‌روزرسانی کنید تا به جای تکیه بر تغییر مسیرهای اجرا شده در گذشته، به هر صفحه در سایت شما از پیوندهای ثابت دسترسی داشته باشید.
URL های هدایت شده را در نقشه سایت خود قرار ندهید، URL مقصد را درج کنید
گوگل قبلاً جزئیات بیشتری را در بخش عدم پیگیری قرار می داد، اما همانطور که ونسا فاکس در این پست توضیح داد، ممکن است داده های اضافی زیادی در API کنسول جستجو در دسترس باشد.
ابزارهای دیگر
Screaming Frog SEO Spider یک ابزار عالی برای اسکن سایت زنده شما و کشف خطاهای تغییر مسیر است. این ابزار در مقیاس به شما نشان می‌دهد که تغییر مسیرهای شما چگونه تنظیم شده‌اند، و اینکه آیا آنها به‌درستی به‌عنوان ریدایرکت‌های 301 تنظیم شده‌اند یا اینکه به‌عنوان چیز دیگری تنظیم شده‌اند.
خزیدن سایت Moz Pro
حسابرس سایت ریون تولز
E) خطاهای سرور و خطاهای DNS
در زیر خطاهای URL، گوگل دوباره خطاهای سرور و خطاهای DNS را فهرست می کند، همان بخش ها در گزارش خطاهای سایت. دستور Google این است که با این موارد به همان روشی برخورد کند که با سطح خطاهای سایت سرور و خطاهای DNS برخورد می کنید، بنابراین به آن دو بخش در بالا مراجعه کنید.
اگر این خطاها فقط بر URLهای فردی و نه کل سایت تأثیر می گذارد، در بخش خطاهای URL متفاوت خواهند بود. اگر پیکربندی‌های ایزوله‌ای برای URLهای فردی دارید، مانند minisites یا پیکربندی متفاوتی برای URLهای خاص در دامنه خود، می‌توانند در اینجا نشان داده شوند.
حالا که شما متخصص هستید
این خطاهای URL، من این جدول خطای URL مفید را ایجاد کرده ام که می توانید آن را چاپ کرده و روی آینه دسکتاپ یا حمام خود بچسبانید.
نتیجه
من متوجه شدم – برخی از این موارد فنی سئو می توانند اشک شما را خسته کنند. هیچ کس نمی خواهد به طور جداگانه خطاهای URL به ظاهر بی اهمیت را بررسی کند، یا برعکس، با دیدن هزاران خطا در سایت شما دچار حمله پانیک شود.
با این حال، با تجربه و تکرار، حافظه عضلانی ذهنی را به دست خواهید آورد که می دانید چگونه به خطاها واکنش نشان دهید: چه مواردی مهم هستند و چه مواردی را می توان با خیال راحت نادیده گرفت. به زودی طبیعت دوم خواهد شد.
اگر قبلاً این کار را نکرده‌اید، توصیه می‌کنم اسناد رسمی Google برای کنسول جستجو را مطالعه کنید و این URLها را برای سؤالات بعدی در دسترس داشته باشید:
انجمن راهنمایی مرکزی وب مستر
سوالات متداول وب مستر مرکزی: خزیدن، نمایه سازی و رتبه بندی
وبلاگ مرکزی وب مستر
گزارش خطاهای خزیدن راهنمایی کنسول جستجو
ما به سادگی بخش Crawl Errors در Search Console را پوشش می دهیم. کنسول جستجو به تنهایی یک جانور داده است، بنابراین برای مطالعه بیشتر در مورد نحوه استفاده بهینه از این ابزار به طور کامل، این راهنماهای دیگر را بررسی کنید:
راهنمای نهایی استفاده از کنسول جستجوی گوگل به عنوان یک ابزار سئو قدرتمند
راهنمای نهایی ابزارهای وب مستر گوگل
سری کنسول جستجوی Yoast
گوگل سخاوتمندانه یکی از قدرتمندترین (و رایگان!) ابزارها را برای تشخیص خطاهای وب سایت در اختیار ما قرار داده است. رفع این خطاها نه تنها به شما کمک می‌کند تا رتبه‌بندی خود را در Google بهبود ببخشید، بلکه به ارائه تجربه کاربری بهتری برای بازدیدکنندگانتان کمک می‌کند و به رسیدن سریعتر به اهداف تجاری‌تان کمک می‌کند.
source:https://moz.com/blog/how-to-fix-crawl-errors-in-google-search-console