اگر می‌خواهید سایتتان در جواب دستیارهای هوش مصنوعی دیده شود، باید دست‌کم ربات‌های «جستجو» و «درخواست کاربر» را آزاد بگذارید. ربات‌های «آموزش مدل» بحث جدایی‌اند: بستنشان شما را از جستجوی زنده حذف نمی‌کند. برای بیشتر کسب‌وکارها که از دیده شدن سود می‌برند، آزاد گذاشتن همه منطقی است.

سه نوع ربات

نوع کار نمونه
آموزش جمع‌آوری متن برای آموزش مدل‌های آینده GPTBot، ClaudeBot، Google-Extended، Applebot-Extended
جستجو ساخت فهرست برای جستجوی دستیار OAI-SearchBot، Claude-SearchBot، PerplexityBot
درخواست کاربر وقتی کاربری از دستیار می‌خواهد صفحه‌ای را بخواند ChatGPT-User، Claude-User، Perplexity-User

نام‌ها و رفتار این ربات‌ها عوض می‌شود؛ فهرست رسمی هر شرکت را مرجع بگیرید. Google-Extended روی نمایش سایت در جستجوی گوگل اثری ندارد؛ فقط استفاده برای آموزش مدل‌های گوگل را کنترل می‌کند.

چه تصمیمی بگیریم؟

سایت شما پیشنهاد
فروشگاه، شرکت خدماتی، هر کسب‌وکاری که مشتری می‌خواهد همه آزاد
رسانه یا ناشری که محتوا خودِ محصول است آموزش بسته، جستجو و کاربر آزاد
محتوای پولی یا خصوصی با ورود کاربر محافظت کنید؛ robots.txt قفل نیست

نمونه: همه آزاد

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

اگر قانون عمومی شما چیزی را نبسته، نوشتن Allow جدا لازم نیست؛ فقط تصمیم را روشن می‌کند.

نمونه: آموزش بسته، جستجو آزاد

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

robots.txt کافی نیست

  • فایروال و افزونه‌ی امنیتی: ممکن است همین ربات‌ها را به‌عنوان مزاحم ببندد، حتی وقتی robots.txt آزادشان گذاشته.
  • ربات‌های بی‌نام: بعضی خزنده‌ها robots.txt را رعایت نمی‌کنند. برای آن‌ها مسدود کردن آی‌پی لازم است.
  • CDN: بعضی سرویس‌ها به‌طور پیش‌فرض ربات‌های هوش مصنوعی را می‌بندند؛ تنظیماتش را ببینید.

اثر روی منابع هاست

این ربات‌ها گاهی پرتعداد می‌آیند. اگر مصرف منابع بالا رفت، با Crawl-delay (برای آن‌هایی که رعایت می‌کنند) یا محدود کردن مسیرهای سنگین مثل جستجوی سایت کنترلشان کنید. (مصرف منابع ربات‌های هوش مصنوعی)

کجا ویرایش کنیم؟

در وردپرس، robots.txt معمولاً مجازی است و افزونه‌ی سئو آن را می‌سازد. اگر فایل واقعی در public_html باشد، همان اولویت دارد. بعد از تغییر، دامنه/robots.txt را باز کنید و نتیجه را ببینید.

سوال‌های رایج

بستن GPTBot سایت را از ChatGPT حذف می‌کند؟

از آموزش مدل، بله. برای جستجوی زنده، ربات‌های دیگری کار می‌کنند.

آزاد گذاشتن ربات‌ها به سئوی گوگل آسیب می‌زند؟

نه.

بقیه‌ی کارهای دیده شدن چیست؟

هفت کار عملی.