ربات‌های هوش مصنوعی چقدر از منابع هاست مصرف می‌کنند و چطور کنترلشان کنیم؟

ربات‌های هوش مصنوعی مثل هر خزنده‌ی دیگری از منابع هاست مصرف می‌کنند، و چون بعضی‌شان پرشتاب می‌خزند، در سایت‌های بزرگ می‌توانند مصرف را محسوس بالا ببرند. راه‌حل، بستن همه‌شان نیست: با کش صفحه بیشتر بارشان خنثی می‌شود و فقط مسیرهای سنگین و ربات‌های بی‌قاعده را باید محدود کرد.

اول ببینید واقعاً مشکل از آن‌هاست

1. در Resource Usage ساعت‌های مصرف بالا را پیدا کنید.
2. در Visitors یا Awstats ببینید در همان ساعت‌ها چه User-Agentهایی بیشترین درخواست را داشته‌اند.
3. ببینید کدام آدرس‌ها را می‌خوانند.

چرا بعضی سایت‌ها بیشتر آسیب می‌بینند؟

سطح ۱: کش

با کش صفحه، وب‌سرور بدون اجرای PHP جواب ربات را می‌دهد. روی هاست رایکت با LiteSpeed Cache. (LiteSpeed)

سطح ۲: robots.txt

مسیرهای سنگین و بی‌ارزش را برای همه‌ی ربات‌ها ببندید، نه خود ربات‌ها را:

User-agent: *
Disallow: /?s=
Disallow: /search/
Disallow: /*?filter_
Disallow: /*?orderby=
Disallow: /cart/
Disallow: /checkout/

این کار به سئو هم کمک می‌کند. تصمیم درباره‌ی خود ربات‌ها: آزاد بگذاریم یا ببندیم.

سطح ۳: محدود یا مسدود کردن

برای ربات‌هایی که robots.txt را رعایت نمی‌کنند:

• بر اساس User-Agent در htaccess.:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (BadBotName|AnotherBot) [NC]
RewriteRule .* - [F,L]

• بر اساس آی‌پی: IP Blocker در سی‌پنل.

مراقب باشید چه کسی را می‌بندید

• Googlebot و Bingbot را نبندید.
• ربات‌های «درخواست کاربر» (وقتی کسی از دستیار می‌خواهد صفحه‌ی شما را بخواند) بار کمی دارند و بستنشان یعنی حذف از جواب.
• هر کسی می‌تواند خودش را با نام یک ربات معروف جا بزند؛ برای ربات‌های مهم، آی‌پی را هم با فهرست رسمی همان شرکت مقایسه کنید.

اگر بعد از همه‌ی این‌ها مصرف بالاست

یعنی بازدید واقعی سایت رشد کرده است. (کندی در ساعات شلوغ، هاست پربازدید)

سوال‌های رایج

Crawl-delay کار می‌کند؟

بعضی ربات‌ها رعایتش می‌کنند؛ گوگل نه.

ربات‌ها پهنای باند را تمام می‌کنند؟

در پلن‌های رایکت پهنای باند نامحدود است؛ محدودیت، منابع پردازشی است.

افزونه‌ی امنیتی برای این کار نصب کنم؟

اگر دارید، بخش ربات‌هایش را تنظیم کنید؛ فقط مراقب باشد ربات‌های مفید را نبندد.