این پیامی است که شما در سرچ کنسول گوگل می بینید :
Crawled — Currently Not Indexed:
خزیده شده – در حال حاضر نمایه نشده است:
گوگل می گوید: این صفحه توسط گوگل خزیده شد، اما ایندکس نشد. ممکن است در آینده نمایه شود یا نشود. نیازی به ارسال مجدد این URL برای خزیدن نیست.
خواندن این توضیح ممکن است ناامید کننده باشد، به خصوص اگر وضعیت روی صفحه مهم برای تجارت شما تأثیر بگذارد. تعریف گوگل مشخص نمی کند که چه اتفاقی افتاده است و در آینده چه کاری ممکن است انجام دهید. تنها چیزی که می گوید این است که Googlebot صفحه شما را خزیده است اما بنا به دلایلی تصمیم گرفته است آن را ایندکس نکند.
طبق تحقیقات ما، وضعیت Crawled – currently not indexed رایج ترین مشکل گزارش شده در گزارش پوشش شاخص است. این بدان معناست که احتمالاً قبلاً آن را تجربه کرده اید یا احتمالاً در آینده آن را تجربه خواهید کرد.
رفع مشکل در اسرع وقت بسیار مهم است. از این گذشته، اگر صفحه شما ایندکس نشده باشد، در نتایج جستجو ظاهر نمی شود و هیچ ترافیک ارگانیکی از گوگل دریافت نمی کند.
این مقاله دلایل احتمالی وضعیت the Crawled – currently not indexed و راه های رفع آنها را ارائه می دهد.
راهنمای وضعیت پوشش
گزارش پوشش شاخص گوگل (Index Coverage report) کاملاً فوق‌العاده است زیرا به سئوکاران بینش واضح‌تری در مورد تصمیم‌های خزیدن و نمایه‌سازی گوگل می‌دهد.
در این گزارش، «وضعیت‌های» مختلفی وجود دارد که به مدیران وب‌سایت‌ها اطلاعاتی درباره نحوه مدیریت محتوای سایت توسط Google ارائه می‌دهد. در حالی که بسیاری از وضعیت ها زمینه ای را در مورد تصمیمات خزیدن و نمایه سازی Google ارائه می دهند، یکی از آنها نامشخص است: “خزیده شده – در حال حاضر ایندکس نشده است”.
از آنجایی که مشاهده وضعیت “Crawled — در حال حاضر نمایه نشده” گزارش شده است، از چندین صاحب سایت شنیده ایم که معنای آن را جویا شده اند. یکی از مزایای کار در آژانس این است که بتوانیم اطلاعات زیادی را دریافت کنیم، و از آنجایی که ما این پیام را در چندین حساب مشاهده کرده‌ایم، شروع به بررسی روندها از URLهای گزارش شده کرده‌ایم.
تعریف گوگل Google’s definition
بیایید با تعریف رسمی شروع کنیم. طبق اسناد رسمی گوگل (Google’s official documentation)، این وضعیت به این معنی است: “صفحه توسط گوگل خزیده شد، اما ایندکس نشد. ممکن است در آینده نمایه شود یا نشود. نیازی به ارسال مجدد این URL برای خزیدن نیست.
بنابراین، اساساً آنچه می دانیم این است که:
- گوگل می تواند به صفحه دسترسی پیدا کند (Google is able to access the page)
- گوگل برای خزیدن در صفحه زمان گذاشت (Google took time to crawl the page)
- پس از خزیدن، گوگل تصمیم گرفت آن را در فهرست قرار ندهد. (After crawling, Google decided not to include it in the index)
کلید درک این وضعیت این است که به دلایلی فکر کنید که چرا گوگل “آگاهانه” در برابر فهرست بندی تصمیم می گیرد. ما می دانیم که گوگل برای یافتن صفحه مشکلی ندارد، اما بنا به دلایلی احساس می کند کاربران از یافتن آن سودی نخواهند برد.
این می تواند بسیار خسته کننده باشد، زیرا ممکن است ندانید که چرا محتوای شما ایندکس نمی شود. در زیر برخی از رایج ترین دلایلی که تیم ما دیده است را برای توضیح اینکه چرا این وضعیت مرموز ممکن است بر وب سایت شما تأثیر بگذارد را شرح می دهم.
1. مثبت کاذب False positives
اولویت: کم
اولین قدم ما این است که همیشه چند بررسی نقطه‌ای از نشانی‌های اینترنتی پرچم‌گذاری‌شده در بخش «خزیده‌شده – در حال حاضر فهرست‌بندی نشده» را برای نمایه‌سازی انجام دهیم. یافتن نشانی‌های اینترنتی که به‌عنوان حذف شده گزارش می‌شوند، اما در فهرست گوگل قرار دارند، غیرعادی نیست.
با این حال، هنگام استفاده از اپراتور جستجوی سایت، می‌توانیم ببینیم که URL واقعاً در فهرست Google گنجانده شده است. می توانید این کار را با اضافه کردن متن “site:” قبل از URL انجام دهید.
اگر نشانی‌های اینترنتی گزارش‌شده در این وضعیت را مشاهده می‌کنید، توصیه می‌کنم با استفاده از عملگر جستجوی سایت شروع کنید تا مشخص کنید آیا URL ایندکس شده است یا خیر. گاهی اوقات، این موارد مثبت کاذب هستند.
راه حل: هیچ کاری نکنید! شما خوب هستید.
2. URL های فید RSS
اولویت: کم
این یکی از رایج ترین نمونه هایی است که می بینیم. اگر سایت شما از فید RSS استفاده می کند، ممکن است URL هایی را پیدا کنید که در گزارش «خزیده شده – در حال حاضر فهرست نشده» گوگل ظاهر می شوند. بسیاری از اوقات این URL ها دارای رشته “/feed/” به انتها هستند. آنها می توانند در گزارش به این شکل ظاهر شوند:
گوگل این URL های فید RSS را پیدا می کند که از صفحه اصلی پیوند داده شده اند. آنها اغلب با استفاده از عنصر “rel=alternate” مرتبط می شوند. افزونه های وردپرس مانند Yoast می توانند به طور خودکار این URL ها را تولید کنند.
راه حل: هیچ کاری نکنید! شما خوب هستید.
احتمالاً گوگل به طور انتخابی این URL ها را فهرست نمی کند و دلیل خوبی هم دارد. اگر به یک URL فید RSS بروید، یک سند XML مانند شکل زیر خواهید دید:
در حالی که این سند XML برای فیدهای RSS مفید است، نیازی نیست که Google آن را در فهرست قرار دهد. این یک تجربه بسیار ضعیف است زیرا محتوا برای کاربران در نظر گرفته نشده است.
3. URL های صفحه بندی شده
اولویت: کم
یکی دیگر از دلایل بسیار رایج برای حذف “Crawled — در حال حاضر فهرست نشده” صفحه بندی است. اغلب شاهد نمایش تعداد زیادی URL صفحه بندی شده در این گزارش خواهیم بود. در اینجا می‌توانیم برخی از URLهای صفحه‌بندی شده را که از یک سایت تجارت الکترونیک بسیار بزرگ ظاهر می‌شوند، ببینیم:
راه حل: هیچ کاری نکنید! شما خوب هستید.
گوگل باید از طریق URL های صفحه بندی شده برای خزیدن کامل سایت بخزد. این مسیری است که به محتوایی مانند صفحات دسته بندی عمیق تر یا صفحات توضیحات محصول می رسد. با این حال، در حالی که گوگل از صفحه بندی به عنوان مسیری برای دسترسی به محتوا استفاده می کند، لزوماً نیازی به ایندکس کردن URL های صفحه بندی شده ندارد.
در هر صورت، مطمئن شوید که کاری انجام نمی دهید که بر خزیدن صفحه بندی فردی تأثیر بگذارد. اطمینان حاصل کنید که تمام صفحه‌بندی شما حاوی یک برچسب متعارف خود ارجاع است و عاری از هر گونه برچسب “nofollow” است. این صفحه‌بندی به‌عنوان راهی برای Google عمل می‌کند تا سایر صفحات کلیدی سایت شما را بخزد، بنابراین قطعاً می‌خواهید Google به خزیدن آن ادامه دهد.
4. محصولات تاریخ مصرف گذشته
اولویت: متوسط
هنگام بررسی دقیق صفحات فردی که در گزارش فهرست شده‌اند، مشکل رایجی که در بین مشتریان مشاهده می‌کنیم، نشانی‌های اینترنتی است که حاوی متن‌هایی هستند که به محصولات «منقضی شده» یا «تمام‌شده» اشاره می‌کنند. به خصوص در سایت های تجارت الکترونیک، به نظر می رسد که گوگل در دسترس بودن یک محصول خاص را بررسی می کند. اگر تشخیص دهد که محصولی در دسترس نیست، اقدام به حذف آن محصول از فهرست می کند.
این از منظر UX منطقی است زیرا ممکن است گوگل نخواهد محتوایی را در فهرستی که کاربران قادر به خرید آن نیستند قرار دهد.
با این حال، اگر این محصولات واقعاً در سایت شما موجود باشند، می‌تواند منجر به از دست رفتن فرصت‌های سئو شود. با حذف صفحات از فهرست، به محتوای شما اصلاً فرصتی برای رتبه بندی داده نمی شود.
علاوه بر این، گوگل فقط محتوای قابل مشاهده در صفحه را بررسی نمی کند. مواردی وجود داشته است که در محتوای قابل مشاهده هیچ نشانه ای مبنی بر در دسترس نبودن محصول پیدا نکرده ایم. با این حال، هنگام بررسی داده‌های ساخت‌یافته، می‌توانیم ببینیم که ویژگی «availability» روی «OutOfStock» تنظیم شده است.
به نظر می رسد که گوگل از محتوای قابل مشاهده و داده های ساختاری در مورد در دسترس بودن یک محصول خاص سرنخ می گیرد. بنابراین، مهم است که هم محتوا و هم طرحواره را بررسی کنید.
راه حل: در دسترس بودن موجودی خود را بررسی کنید.
اگر محصولاتی را پیدا می‌کنید که واقعاً در دسترس هستند و در این گزارش فهرست می‌شوند، می‌خواهید همه محصولات خود را که ممکن است به اشتباه به‌عنوان غیرقابل دسترس فهرست شده‌اند بررسی کنید. یک خزیدن در سایت خود انجام دهید و از یک ابزار استخراج سفارشی مانند Screaming Frog برای حذف داده ها از صفحات محصول خود استفاده کنید.
به عنوان مثال، اگر می‌خواهید همه URLهای خود را با طرحی که روی «OutOfStock» تنظیم شده است، در مقیاس ببینید، می‌توانید «Regex» را روی: «availability»:
این: “class=”redactor-autoparser-object”>http://schema.org/OutOfStock” باید به طور خودکار همه URL های دارای این ویژگی را خراش دهد:
می توانید این فهرست و ارجاع متقابل را با داده های موجودی با استفاده از اکسل یا ابزارهای هوش تجاری صادر کنید. این باید به سرعت به شما امکان دهد اختلافات بین داده های ساختار یافته در سایت خود و محصولاتی که واقعاً در دسترس هستند را پیدا کنید. همین روند را می توان برای یافتن مواردی تکرار کرد که محتوای قابل مشاهده شما نشان می دهد که محصولات منقضی شده اند.
5. 301 تغییر مسیر
اولویت: متوسط
یکی از مثال‌های جالبی که دیده‌ایم در این وضعیت نشان‌های اینترنتی مقصد صفحات هدایت‌شده است. اغلب، می‌بینیم که Google URL مقصد را می‌خزد اما آن را در فهرست قرار نمی‌دهد. با این حال، با نگاهی به SERP، متوجه می‌شویم که گوگل یک URL تغییر مسیر را فهرست می‌کند. از آنجایی که URL تغییر مسیر همان URL است که ایندکس شده است، URL مقصد در گزارش “خزیده شده – در حال حاضر فهرست نشده” قرار می گیرد.
مشکل اینجاست که ممکن است گوگل هنوز تغییر مسیر را تشخیص ندهد. در نتیجه، URL مقصد را به عنوان یک “تکراری” می بیند زیرا هنوز در حال فهرست کردن URL تغییر مسیر است.
راه حل: یک sitemap.xml موقت ایجاد کنید.
اگر این مورد در تعداد زیادی از URL ها رخ می دهد، ارزش آن را دارد که اقدامات لازم را برای ارسال سیگنال های یکپارچه سازی قوی تر به Google انجام دهید.
تغییر مسیرهای شما را به موقع تشخیص نمی دهد، که منجر به سیگنال های محتوای یکپارچه نمی شود.
یکی از گزینه ها ممکن است تنظیم “نقشه سایت موقت” باشد. این یک نقشه سایت است که می توانید برای تسریع در خزیدن این URL های هدایت شده ایجاد کنید. این یک استراتژی است که جان مولر قبلا توصیه کرده بود.
برای ایجاد یک، باید تغییر مسیرهایی را که در گذشته ایجاد کرده‌اید، مهندسی معکوس کنید:
همه نشانی‌های وب را از گزارش «خزیده شده – در حال حاضر فهرست‌بندی نشده» صادر کنید.
آنها را در اکسل با تغییر مسیرهایی که قبلاً تنظیم شده اند مطابقت دهید.
همه ریدایرکت‌هایی را که نشانی اینترنتی مقصد دارند در سطل «Crawled — در حال حاضر ایندکس نشده» پیدا کنید.
یک sitemap.xml ثابت از این URL ها با Screaming Frog ایجاد کنید.
نقشه سایت را آپلود کنید و گزارش «خزیده شده – در حال حاضر فهرست نشده» را در کنسول جستجو نظارت کنید.
هدف در اینجا این است که گوگل آدرس‌های اینترنتی موجود در sitemap.xml موقت را بیشتر از آنچه در غیر این صورت انجام می‌داد بخزد. این منجر به تجمیع سریعتر این تغییر مسیرها می شود.
6. محتوای نازک Thin content
اولویت: متوسط
گاهی اوقات ما URL هایی را در این گزارش می بینیم که از نظر محتوا بسیار نازک هستند. این صفحات ممکن است تمام عناصر فنی را به درستی تنظیم کرده باشند و حتی ممکن است به درستی به صورت داخلی به آنها پیوند داده شده باشند، با این حال، زمانی که Google با این URL ها اجرا می شود، محتوای واقعی بسیار کمی در صفحه وجود دارد. در زیر نمونه ای از صفحه دسته بندی محصول وجود دارد که در آن متن منحصر به فرد بسیار کمی وجود دارد:
این صفحه فهرست محصول به‌عنوان «خزیده شده – در حال حاضر فهرست‌بندی نشده» پرچم‌گذاری شد. این ممکن است به دلیل محتوای بسیار نازک در صفحه باشد.
این صفحه احتمالاً برای Google بسیار نازک است که نمی تواند مفید باشد یا محتوای آن به قدری کم است که Google آن را تکراری از صفحه دیگری می داند. نتیجه این است که گوگل محتوا را از فهرست حذف می کند.
در اینجا مثال دیگری وجود دارد: Google توانست یک صفحه مؤلفه گواهی را در سایت Go Fish Digital (نشان داده شده در بالا) بخزد. در حالی که این محتوا برای سایت ما منحصر به فرد است، گوگل احتمالاً معتقد نیست که گواهی یک جمله به تنهایی به عنوان یک صفحه قابل نمایه سازی باشد.
بار دیگر، گوگل تصمیم اجرایی برای حذف صفحه از ایندکس به دلیل بی کیفیتی گرفته است.
راه حل: محتوای بیشتری اضافه کنید یا سیگنال های نمایه سازی را تنظیم کنید.
مراحل بعدی به ایندکس کردن این صفحات برای شما بستگی دارد.
اگر فکر می کنید که صفحه باید حتماً در فهرست قرار گیرد، به اضافه کردن محتوای اضافی فکر کنید. این به Google کمک می کند تا صفحه را به عنوان تجربه بهتری برای کاربران ببیند.
اگر نمایه‌سازی برای محتوایی که پیدا می‌کنید ضروری نباشد، سؤال بزرگتر این است که آیا باید اقدامات اضافی را انجام دهید تا به شدت نشان دهید که این محتوا نباید نمایه شود. گزارش «خزیده شده —در حال حاضر نمایه نشده» نشان می دهد که محتوا واجد شرایط ظاهر شدن در فهرست Google است، اما Google تصمیم می گیرد آن را درج نکند.
همچنین ممکن است صفحات بی کیفیت دیگری وجود داشته باشد که گوگل این منطق را در آنها اعمال نمی کند. می‌توانید یک جستجوی کلی «سایت:» انجام دهید تا محتوای نمایه‌شده‌ای را پیدا کنید که معیارهای مشابه مثال‌های بالا را دارد. اگر متوجه شدید که تعداد زیادی از این صفحات در ایندکس ظاهر می شوند، ممکن است بخواهید ابتکارات قوی تری را برای اطمینان از حذف این صفحات از نمایه در نظر بگیرید، مانند برچسب “noindex”، خطای 404، یا حذف آنها از فهرست ساختار پیوند داخلی به طور کامل
7. محتوای تکراری Duplicate content
اولویت: بالا
هنگام ارزیابی این محرومیت در تعداد زیادی از مشتریان، این بالاترین اولویتی است که دیده‌ایم. اگر Google محتوای شما را تکراری ببیند، ممکن است محتوا را بخزد اما تصمیم بگیرد آن را در فهرست قرار ندهد. این یکی از راه هایی است که گوگل از تکرار SERP جلوگیری می کند. با حذف محتوای تکراری از فهرست، گوگل تضمین می‌کند که کاربران دارای تنوع بیشتری از صفحات منحصر به فرد برای تعامل هستند. گاهی اوقات گزارش این نشانی‌های اینترنتی را با وضعیت «تکراری» برچسب‌گذاری می‌کند («تکرری، Google استانداردهای متعارف دیگری را نسبت به کاربر انتخاب کرد»). در هر صورت، همیشه صادق نخواهد بود.
این موضوع به ویژه در بسیاری از سایت‌های تجارت الکترونیکی از اولویت بالایی برخوردار است. صفحات کلیدی مانند صفحات توضیحات محصول اغلب شامل توضیحات محصول مشابه یا مشابه بسیاری از نتایج دیگر در سراسر وب هستند. اگر گوگل این صفحات را به‌عنوان صفحات داخلی یا خارجی بسیار شبیه به سایر صفحات تشخیص دهد، ممکن است آنها را با هم از فهرست حذف کند.
راه حل: عناصر منحصر به فرد را به محتوای تکراری اضافه کنید.
اگر فکر می‌کنید که این وضعیت در مورد سایت شما صدق می‌کند، در اینجا نحوه آزمایش آن را آورده‌اید:
یک قطعه از متن تکراری احتمالی را بردارید و آن را در Google جای‌گذاری کنید.
در URL SERP، رشته زیر را به انتها اضافه کنید: “&num=100”. این 100 نتیجه برتر را به شما نشان می دهد.
از عملکرد “یافتن” مرورگر خود استفاده کنید تا ببینید آیا نتیجه شما در 100 نتیجه برتر ظاهر می شود یا خیر. اگر اینطور نیست، ممکن است نتیجه شما از فهرست فیلتر شود.
به URL SERP برگردید و رشته زیر را به انتها اضافه کنید: “&filter=0”. این باید نتیجه فیلتر نشده گوگل را به شما نشان دهد (با تشکر از پاتریک استاکس، برای نکته).
از تابع “یافتن” برای جستجوی URL خود استفاده کنید. اگر می بینید که صفحه شما اکنون ظاهر می شود.
نشان می دهد که محتوای شما در حال فیلتر شدن از فهرست است.
این فرآیند را برای چند URL با محتوای تکراری احتمالی یا بسیار مشابه که در گزارش «خزیده شده – در حال حاضر فهرست نشده» می‌بینید، تکرار کنید.
اگر دائماً مشاهده می کنید که URL های خود از فهرست فیلتر می شوند، باید اقداماتی را انجام دهید تا محتوای خود را منحصر به فردتر کنید.
در حالی که هیچ استاندارد یکسانی برای دستیابی به این هدف وجود ندارد، در اینجا چند گزینه وجود دارد:
محتوا را بازنویسی کنید تا در صفحات با اولویت بالا منحصر به فرد باشد.
از ویژگی های پویا برای تزریق خودکار محتوای منحصر به فرد به صفحه استفاده کنید.
مقادیر زیادی از محتویات غیر ضروری دیگ بخار را حذف کنید. ممکن است صفحاتی که متن قالب‌دار بیشتری نسبت به متن منحصربه‌فرد دارند، تکراری خوانده شوند.
اگر سایت شما به محتوای تولید شده توسط کاربر وابسته است، به مشارکت کنندگان اطلاع دهید که تمام محتوای ارائه شده باید منحصر به فرد باشد. این ممکن است به جلوگیری از مواردی که مشارکت‌کنندگان از یک محتوا در چندین صفحه یا دامنه استفاده می‌کنند کمک کند.
8. محتوای خصوصی
اولویت: بالا
مواردی وجود دارد که خزنده‌های Google به محتوایی دسترسی پیدا می‌کنند که نباید به آن دسترسی داشته باشند. اگر Google در حال یافتن محیط های توسعه دهنده است، می تواند آن URL ها را در این گزارش شامل شود. ما حتی نمونه هایی از خزیدن گوگل در زیر دامنه یک مشتری خاص را دیده ایم که برای بلیط های JIRA تنظیم شده است. این باعث خزیدن انفجاری در سایت شد، که روی URL هایی متمرکز شد که هرگز نباید برای نمایه سازی در نظر گرفته شوند.
مسئله در اینجا این است که خزیدن گوگل در سایت متمرکز نیست و وقت خود را صرف خزیدن (و احتمالاً نمایه سازی) URL هایی می کند که برای جستجوگران در نظر گرفته نشده اند. این می تواند پیامدهای زیادی برای بودجه خزیدن یک سایت داشته باشد.
راه حل: ابتکارات خزیدن و نمایه سازی خود را تنظیم کنید.
این راه حل کاملاً به موقعیت و آنچه گوگل قادر به دسترسی است بستگی دارد. به طور معمول، اولین کاری که می خواهید انجام دهید این است که تعیین کنید گوگل چگونه می تواند این URL های خصوصی را کشف کند، به خصوص اگر از طریق ساختار پیوند داخلی شما باشد.
یک خزیدن را از صفحه اصلی زیر دامنه اصلی خود شروع کنید و ببینید آیا Screaming Frog می تواند از طریق یک خزیدن استاندارد به زیر دامنه های نامطلوب دسترسی پیدا کند یا خیر. اگر چنین است، می توان گفت که Googlebot ممکن است دقیقا همان مسیرها را پیدا کند. برای قطع دسترسی Google، می‌خواهید پیوندهای داخلی این محتوا را حذف کنید.
مرحله بعدی بررسی وضعیت نمایه سازی URL هایی است که باید حذف شوند. آیا گوگل به اندازه کافی همه آنها را خارج از ایندکس نگه می دارد یا برخی از آنها در فهرست گیر افتاده اند؟ اگر Google مقدار زیادی از این محتوا را فهرست‌بندی نمی‌کند، ممکن است فایل robots.txt خود را برای جلوگیری از خزیدن فوراً تنظیم کنید. در غیر این صورت، برچسب‌های noindex، canonical و صفحات محافظت شده با رمز عبور همه روی میز هستند.
مطالعه موردی: محتوای تکراری تولید شده توسط کاربر
برای مثال در دنیای واقعی، این نمونه‌ای است که ما مشکل را در سایت مشتری تشخیص داده‌ایم. این مشتری شبیه به یک سایت تجارت الکترونیکی است زیرا بسیاری از محتوای آنها از صفحات توضیحات محصول تشکیل شده است. با این حال، این صفحات توضیحات محصول همه محتوای تولید شده توسط کاربر هستند.
اساسا، اشخاص ثالث مجاز به ایجاد لیست در این سایت هستند. با این حال، اشخاص ثالث اغلب توضیحات بسیار کوتاهی را به صفحات خود اضافه می کردند که در نتیجه محتوای نازکی ایجاد می شد. مشکلی که اغلب رخ می‌دهد این بود که این صفحات توضیحات محصول تولید شده توسط کاربر در گزارش «خزیده‌شده – در حال حاضر فهرست‌بندی نشده» گرفتار می‌شوند. این منجر به از دست رفتن فرصت SEO شد زیرا صفحاتی که قادر به ایجاد ترافیک ارگانیک بودند به طور کامل از فهرست حذف شدند.
هنگام گذراندن فرآیند بالا، متوجه شدیم که صفحات توضیحات محصول مشتری از نظر محتوای منحصر به فرد بسیار نازک است. صفحاتی که حذف می شدند فقط یک پاراگراف یا کمتر از متن منحصر به فرد داشتند. علاوه بر این، بخش عمده ای از محتوای روی صفحه، متن قالبی بود که در همه این انواع صفحه وجود داشت. از آنجایی که محتوای منحصربه‌فرد بسیار کمی در صفحه وجود داشت، محتوای قالب‌بندی شده ممکن است باعث شود Google این صفحات را تکراری ببیند. نتیجه این بود که گوگل این صفحات را با استناد به وضعیت “Crawled — در حال حاضر فهرست نشده” از فهرست حذف کرد.
برای حل این مشکلات، ما با مشتری کار کردیم تا مشخص کنیم کدام یک از محتوای قالب در هر صفحه توضیحات محصول وجود ندارد. ما توانستیم محتوای قالب غیر ضروری را از هزاران URL حذف کنیم. این منجر به کاهش قابل توجهی در صفحات “خزیده شده – در حال حاضر فهرست نشده” شد زیرا Google شروع به دیدن هر صفحه به عنوان منحصر به فردتر کرد.
منبع : سایت Moz
نتیجه
امیدواریم، این به بازاریابان جستجو کمک کند تا وضعیت مرموز “Crawled — در حال حاضر فهرست نشده” را در گزارش پوشش شاخص بهتر درک کنند. البته، احتمالاً دلایل زیادی وجود دارد که Google برای دسته‌بندی آدرس‌های اینترنتی مانند این انتخاب می‌کند، اما اینها رایج‌ترین مواردی هستند که تا به امروز با مشتریان خود دیده‌ایم.
به طور کلی، گزارش Index Coverage یکی از قدرتمندترین ابزارها در کنسول جستجو است. من بازاریابان جست و جو را به شدت تشویق می کنم تا با داده ها و گزارش ها آشنا شوند، زیرا ما به طور معمول خزیدن کمتر از حد مطلوب را پیدا می کنیم.
رفتار نمایه سازی، به ویژه در سایت های بزرگتر. اگر نمونه‌های دیگری از نشانی‌های اینترنتی را در گزارش «خزیده شده – در حال حاضر فهرست‌بندی نشده» دیده‌اید، در نظرات به من اطلاع دهید!
دیدگاهتان را بنویسید