به‌روزرسانی‌ دستورالعمل های Robots.txt توسط Google

به‌روزرسانی‌ دستورالعمل های Robots.txt توسط Google به چه معناست؟ آیا از این بروز رسانی خبر دارید؟

گوگل پشتیبانی دستورالعمل های robots.txt را به چهار قسمت محدود می کند و موضع خود را در مورد دستورالعمل های پشتیبانی نشده روشن می کند و فیلدهای پشتیبانی‌نشده نادیده گرفته می‌شوند.

به طور کلی گوگل فقط از چهار فیلد robots.txt خاص پشتیبانی می کند و دستورالعمل های پشتیبانی نشده در robots.txt نادیده گرفته می شوند. پس با توجه به این به‌روزرسانی، فایل‌های robots.txt خود را بازنگری کنید.

به‌روزرسانی‌ دستورالعمل های Robots.txt توسط Google

گوگل در به‌روزرسانی اخیر، موضع خود را در مورد فیلدهای پشتیبانی نشده در فایل‌های robots.txt روشن کرده است و اعلام کرده است که خزنده‌هایش از فیلدهایی که در اسناد robots.txt فهرست نشده‌اند، پشتیبانی نمی‌کنند.

این شفاف‌سازی بخشی از تلاش‌های Google برای ارائه راهنمایی‌های بدون ابهام به مالکان و توسعه‌دهندگان وب‌سایت ها است. این به روز رسانی باید سردرگمی را از بین ببرد و از تکیه وب سایت ها به دستورالعمل های پشتیبانی نشده جلوگیری کند.

به‌روزرسانی‌ دستورالعمل های Robots.txt توسط Google به چه معناست؟

به این معناست که به فیلدهای پشتیبانی شده پایبند باشید و فقط از فیلدهایی که به صراحت در اسناد Google ذکر شده است استفاده کنید. پس همین حالا فایل‌های robots.txt فعلی را بررسی کنید تا مطمئن شوید حاوی دستورالعمل‌های پشتیبانی‌نشده نیستند، چون خزنده های Google ممکن است برخی دستورالعمل های شخص ثالث یا سفارشی را تشخیص ندهند.

دستورالعمل‌های پشتیبانی‌ شده گوگل در مورد Robots.txt

طبق اسناد به روز شده، گوگل به طور رسمی از فیلدهای زیر در فایل های robots.txt پشتیبانی می کند:

• user-agent
• allow
• disallow
• sitemap

اگر چه حذفیات قابل توجه به صراحت بیان نشده است، اما این توضیح به این معنی است که Google دستورالعمل‌های رایجی مانند «crawl-delay »را پشتیبانی نمی‌کند، اگرچه سایر موتورهای جستجو ممکن است آنها را تشخیص دهند، علاوه بر این، شایان ذکر است که گوگل به تدریج پشتیبانی از دستورالعمل “noarchive” را نیز متوقف می کند.

به طور کلی این به‌روزرسانی ها بیانگر این است که با دستورالعمل‌های رسمی و بهترین شیوه‌های سئوی سایت در گوگل پیش روید، برای اطلاعات دقیق تر در مورد اجرای robots.txt با بهترین شیوه، حتما با داکیومنت جستجوی Google در مورد فایل Robots.txt مشورت کنید.