فایل robots.txt چیست و چطور درست بنویسیمش؟
robots.txt یک فایل متنی ساده در ریشهی سایت است که به رباتهای موتور جستجو میگوید کدام مسیرها را نخزند. دو چیز را باید دربارهاش بدانید. اول،…
۴ دقیقه مطالعه
