متا تگ های روبات ها مقادیر یا پارامترهای اضافی هستند که در یک تگ HTML قرار می گیرند. متا تگ‌های روبات‌ها دستورالعمل‌های موتور جستجو را ارائه می‌دهند که آیا می‌خواهید آنها قسمت‌هایی از وب‌سایت شما را بخزند یا فهرست کنند.
می توانید آنها را به تنهایی یا با هم (با کاما از هم جدا) در ویژگی content قرار دهید.
تمام صفحات و لینک هایی که در صفحات وب خود ایجاد می کنید به طور پیش فرض توسط ربات های جستجو و خزنده های وب ایندکس می شوند. برخی از پارامترهای رایج عبارتند از:
Index: این به خزنده های وب می گوید که صفحه را فهرست کنند. اگر صفحه ای ایندکس شده باشد، توسط افرادی که از موتورهای جستجو استفاده می کنند قابل مشاهده است. اگر چیزی به کد اضافه نکنید، این پیش فرض است.
Noindex: این به موتورهای جستجو دستور می دهد که صفحه وب را به فهرست خود اضافه نکنند.
به این معنی که صفحه در صفحه نتایج جستجو نشان داده نشود.
دنبال کردن: این به موتورهای جستجو اجازه می دهد پیوندهایی را که در صفحات وب خود قرار داده اید دنبال کنند و خواننده را به صفحات دیگر هدایت کند. اگر هیچ پارامتری به کد منبع اضافه نکنید، این نیز پیش‌فرض است.
Nofollow: این به ربات‌های موتور جستجو دستور می‌دهد که لینک‌ها را در صفحه جستجو نکنند و شما پیوندها را تأیید نکنید. برخی از سایت ها از آن به عنوان یک شبکه ایمنی استفاده می کنند تا به موتورهای جستجو اطلاع دهند که از تکنیک های پیوند هرزنامه استفاده نمی کنند.
Noarchive: این به موتورهای جستجو اطلاع می دهد که صفحه را کش یا نمایش ندهند.
یک متا تگ ربات که به خزنده‌های وب دستور می‌دهد یک صفحه را ایندکس نکنند، به شکل زیر است:
<meta name=”robots” content=”noindex”/>
کد را به قسمت هدر صفحه وب خود اضافه کنید. اگر از وردپرس استفاده می کنید، افزونه های زیادی وجود دارد که می تواند کمک کند. به عنوان مثال، تنظیمات پیشرفته Yoast را می توان برای تنظیم متا تگ های روبات ها تغییر داد. سایر سیستم های مدیریت محتوا (CMS) مانند Squarespace و Wix نیز گزینه های مشابهی دارند.
نکات و ترفندهای متا تگ ربات ها
متا تگ های روبات ها نحوه خزیدن گوگل یک صفحه در وب سایت شما را محدود می کنند. شما می خواهید این کار را انجام دهید تا از جریمه محتوای تکراری جلوگیری کنید. در اینجا موارد دیگری وجود دارد که می توانید از تگ های nofollow استفاده کنید:
اگر بخش نظرات وب سایت شما تعدیل نمی شود، می توانید تگ های nofollow را در صفحات اضافه کنید تا از دریافت بک لینک از سایت شما توسط نظر دهندگان جلوگیری شود.
می‌توانید تگ‌های nofollow را به ویجت‌ها و اینفوگرافیک‌های سایت‌های دیگری که کاملاً تأیید نمی‌کنید اضافه کنید.
می‌توانید به هر پیوندی در صفحات وب خود که نمی‌خواهید Google فکر کند شما آن را تأیید می‌کنید، یک برچسب nofollow اضافه کنید.
اگر به پشتیبانی و اطلاعات بیشتری در مورد سئوی فنی نیاز دارید، مانند خزیدن یا پروتکل های امنیتی HTTPS، از جعبه ابزار SEO ما استفاده کنید. وب سایت شما را با بیش از 60 بررسی داخلی و فنی سئو بررسی می کند. همچنین به مهم‌ترین مشکلاتی که نیاز به اصلاح دارند اشاره می‌کند تا بتوانید ابتدا روی صفحات پول‌ساز خود کار کنید.