انتقل إلى المحتوى
تمايز للتسويق وتطوير المتاجر الإلكترونيةتقنية وتسويقالعودة للمتجر
القائمة

تمايز / معلومات تهمك

كيف تمنع robots.txt من حجب CSS وJavaScript عن Google؟

دليل لفحص robots.txt ومنع حجب ملفات CSS وJavaScript اللازمة لعرض صفحات المتجر أمام Google مع اختبار آمن قبل النشر.

قد تبدو صفحة المنتج سليمة للعميل، بينما يراها Google بلا صور أو أسعار أو روابط لأن ملف robots.txt يمنع ملفات CSS أو JavaScript اللازمة للعرض. الملف ينظم الزحف إلى المسارات، ولا يصلح لإخفاء صفحات حساسة أو لإزالة عنوان من نتائج البحث. تعديل قاعدة عامة دون اختبار قد يحجب القالب كله.

توضح مواصفات Google لتفسير robots.txt أن القواعد تطبق بحسب المستخدم والمسار وأن Google يحتاج أحيانًا إلى ملفات CSS وJS للعرض. وتشرح أساسيات JavaScript SEO أن Google يزحف ثم يعرض الصفحة، وأن الملفات المحجوبة قد تمنعه من تنفيذ JavaScript ورؤية المحتوى الناتج.

يمكن تضمين الفحص في باقة SEO، ثم متابعة ما تراه Google عبر خدمة ربط Search Console. وللفرق بين الحجب ومنع الفهرسة راجع استخدام X-Robots-Tag للملفات.

افهم نطاق robots.txt قبل التعديل

يوضع الملف في جذر المضيف مثل https://example.com/robots.txt، وتطبق قواعده على البروتوكول والمضيف والمنفذ نفسه. ملف النطاق الرئيسي لا يتحكم تلقائيًا في نطاق فرعي آخر. كما أن المسارات حساسة لحالة الأحرف.

قاعدة Disallow: /assets/ قد تحجب كل ملفات القالب والصور إذا كانت داخل هذا المسار. وقد توجد مجموعة خاصة بـ Googlebot تعلو على مجموعة النجمة بحسب المطابقة. اجمع القواعد الفعلية ولا تقرأ سطرًا منفردًا خارج مجموعته.

ثلاث خطوات لفحص حجب CSS وJavaScript

  1. اجمع أصول صفحة ممثلة: افتح صفحة منتج وفئة ومقال، وسجّل ملفات CSS وJS والصور وواجهات البيانات التي تحتاجها الصفحة لعرض المحتوى الأساسي.
  2. قارن المسارات بالقواعد: اختبر كل عنوان مهم مقابل مجموعة Googlebot والمجموعة العامة. انتبه للنجمة وعلامة نهاية المسار وللقاعدة الأكثر تحديدًا.
  3. اختبر قبل النشر وبعده: استخدم بيئة تجريبية أو أداة اختبار مناسبة، ثم افحص الصفحة الحية بأداة فحص عنوان URL أو عرض HTML النهائي. تأكد أن النص والسعر والروابط الأساسية مرئية دون اعتماد على تفاعل معقد.

إذا وجدت قاعدة عامة تحجب مجلدًا كبيرًا، لا تحذفها فورًا. أضف Allow لمسار الأصول الضرورية أو انقل الملفات العامة إلى مسار واضح، مع إبقاء endpoints غير اللازمة للزحف خارج النطاق المسموح.

مثال افتراضي

مثال افتراضي: متجر WordPress يملك قاعدة Disallow: /wp-content/ ظنًا أنها تحمي ملفات النظام. لكن القالب والإضافات يحمّلان CSS وJavaScript من هذا المجلد. يرى Google HTML أوليًا بلا شبكة المنتجات، فتظهر الصفحة ناقصة.

يحدد الفريق المسارات العامة للقالب والملفات المجمعة ويضيف سماحًا دقيقًا لها، ويبقي مجلدات النسخ الاحتياطية غير عامة ومحميّة فعليًا على الخادم. بعد النشر يفحص صفحة منتج وفئة، ويتأكد أن الملفات تعيد 200 وأن المحتوى يظهر في العرض. لا يعتمد على robots.txt لحماية النسخة الاحتياطية؛ يمنع الوصول إليها بالمصادقة أو إعداد الخادم.

لا تستخدم robots.txt كأداة أمن

العنوان المحجوب قد يظل مكتشفًا من روابط أخرى، والملف نفسه علني ويكشف المسارات المكتوبة فيه. البيانات الخاصة يجب أن تكون خلف مصادقة وصلاحيات. وإذا أردت منع صفحة عامة من الفهرسة، استخدم توجيه noindex مع السماح للزاحف بقراءته.

لا تحجب واجهة API لمجرد أنها تحمل كلمة api. قد تعتمد واجهة المتجر عليها لعرض المنتجات. اختبر هل المحتوى الأساسي موجود في HTML الأولي أو يحتاج طلبًا لاحقًا، وهل Google يستطيع الوصول إلى ذلك الطلب دون جلسة أو رمز خاص.

قائمة مراجعة قبل نشر الملف

  • [ ] الملف موجود في جذر المضيف الصحيح.
  • [ ] مجموعات user-agent مقروءة كاملة.
  • [ ] قواعد النجمة ونهاية المسار راجعت.
  • [ ] CSS وJavaScript الضروريان يعيدان 200.
  • [ ] الصور الأساسية قابلة للزحف.
  • [ ] صفحة المنتج والفئة تظهران في العرض.
  • [ ] الصفحات الخاصة محمية بصلاحيات لا بالملف.
  • [ ] noindex يستخدم لمنع الفهرسة عند الحاجة.
  • [ ] رابط sitemap صحيح وكامل.
  • [ ] النسخة القديمة من الملف محفوظة للرجوع.

تغيير robots.txt لا يضمن الفهرسة أو الترتيب، لكنه يزيل عائقًا تقنيًا قد يمنع Google من رؤية الصفحة كما صُممت. الأفضل قواعد قليلة واضحة يمكن اختبارها بدل قائمة طويلة متراكمة.

المراجع والمصادر

محتوى إرشادي أُعد بمساعدة الذكاء الاصطناعي. الأمثلة افتراضية للتوضيح، وليست نتائج لعملاء تمايز.

نسمعك

اكتب سؤالك أو ملاحظتك. يُنشر التعليق بعد المراجعة، ويبقى البريد خاصًا.