انتقل إلى المحتوى
تمايز للتسويق وتطوير المتاجر الإلكترونيةتقنية وتسويقالعودة للمتجر
القائمة

تمايز / معلومات تهمك

كيف تخصّص ملف robots.txt في Shopify دون حجب صفحات مهمة؟

دليل عملي لتعديل robots.txt.liquid في Shopify مع الحفاظ على القواعد الافتراضية واختبار الزحف قبل اعتماد أي حظر جديد.

ملف robots.txt يوجّه برامج الزحف إلى المسارات التي يُسمح لها بطلبها أو يُفضّل تجنبها، لكنه لا يضمن حذف عنوان من نتائج البحث. في Shopify يُنشأ الملف الافتراضي تلقائيًا، وتوضح وثائق قالب robots.txt.liquid الرسمية أنه مناسب لمعظم المتاجر ولا يظهر في القوالب افتراضيًا. لذلك يبدأ القرار الصحيح بالسؤال: هل توجد مشكلة زحف محددة يمكن إثباتها، أم أن التعديل مجرد تخمين؟

إذا احتاج المتجر إلى بناء أو مراجعة تقنية أوسع، يمكن ربط هذا العمل بخدمة إنشاء متجر Shopify. ولمن يعمل على أسواق ونطاقات متعددة، يفيد أيضًا شرح إدارة نطاقات Shopify Markets حتى لا تُعالج مشكلة النطاقات بحظر عشوائي في ملف الروبوت.

متى يكون تخصيص robots.txt في Shopify مبررًا؟

التخصيص مفيد عندما يظهر في سجل الزحف أو أدوات الفحص أن روبوتًا يستهلك موارد في مسارات غير نافعة، أو عندما يولّد تطبيق مسارات داخلية لا ينبغي زحفها. قبل التعديل يجب تحديد المسار، ووكيل المستخدم المقصود، والنتيجة المرغوبة. لا يكفي أن تكون الصفحة غير مهمة؛ فقد تحمل روابط تساعد اكتشاف منتجات أو تصنيفات أخرى.

توضح وثائق Shopify لتخصيص robots.txt أن إضافة قالب robots.txt.liquid تستبدل المخرجات المولدة. ولهذا يجب الحفاظ على القواعد الافتراضية عبر كائنات Liquid المخصصة بدل نسخ ملف ثابت قد يتقادم. الخطأ الشائع هو كتابة مجموعة قواعد من الصفر ثم نسيان قواعد أضافتها المنصة لحماية البحث الداخلي أو سلة التسوق أو مسارات الحساب.

ما الفرق بين منع الزحف ومنع الفهرسة؟

تعليمة Disallow تمنع الروبوت المتوافق من طلب المسار، لكنها لا تمحو بالضرورة عنوان URL عرفه محرك البحث من رابط خارجي. وإذا كان الهدف إزالة صفحة من الفهرس، فقد يلزم السماح بالزحف كي يرى المحرك توجيه noindex أو حالة HTTP المناسبة. لذلك لا تستخدم robots.txt كأداة حذف عامة.

كذلك لا تحظر ملفات CSS أو JavaScript الضرورية لعرض الصفحة؛ فمحرك البحث قد يحتاجها لفهم التخطيط والمحتوى. ولا تحظر صفحات المنتجات أو التصنيفات الأساسية لمجرد وجود معلمات في بعض عناوينها. راجع الشكل القانوني للعنوان، والتحويلات، ووسوم canonical قبل إضافة قاعدة واسعة.

خطوات تعديل robots.txt.liquid بأقل مخاطرة

  1. افتح عنوان /robots.txt الحالي واحفظ نسخة نصية، ثم دوّن المسار المحدد الذي تريد معالجته وسبب المعالجة ودليلها.
  2. أنشئ قالب robots.txt.liquid في نسخة غير منشورة من القالب، واطبع مجموعات القواعد الافتراضية أولًا، ثم أضف القاعدة المحددة بأضيق نمط ممكن.
  3. اعرض المخرجات النهائية كنص، واختبر عناوين مسموحة ومحظورة، ثم انشر التغيير وراقب سجلات الزحف وتقارير Search Console خلال فترة كافية.

لا تفترض أن النجمة أو علامة نهاية السطر تُفسّر بالطريقة نفسها في كل روبوت. استخدم الصياغة التي توثقها Shopify، وتجنب قواعد عامة مثل Disallow: / أو حظر مجلد كامل لأن صفحة واحدة داخله غير مطلوبة.

مثال افتراضي

مثال افتراضي: أنشأ تطبيق معاينة مسارًا باسم /apps/preview/ تظهر تحته آلاف العناوين المؤقتة. بعد التأكد من أن هذه العناوين لا تحتوي صفحات يحتاجها العميل ولا روابط اكتشاف مهمة، يضيف فريق المتجر قاعدة موجهة لهذا المسار فقط. يترك صفحات المنتجات والتصنيفات وملفات القالب متاحة، ثم يقارن عدد طلبات الزحف للمسار قبل التغيير وبعده. إذا بقيت العناوين ظاهرة في البحث، لا يوسع الحظر؛ بل يراجع سبب اكتشافها وحالة الفهرسة والتحويلات.

كيف تختبر التعديل وتعود عنه؟

افحص الملف المنشور من نافذة خاصة للتأكد من أن الخادم يعيد نصًا صحيحًا بحالة 200. اختبر عدة عناوين حقيقية، لا مثالًا واحدًا. راقب ما إذا انخفض الزحف غير المفيد من دون هبوط اكتشاف المنتجات. احتفظ بتاريخ التغيير والقاعدة والسبب، لأن أثر الزحف قد لا يظهر فورًا.

إذا ظهرت آثار جانبية، أزل القاعدة المضافة أو ارجع إلى النسخة السابقة من القالب. لا تعالج المشكلة بإضافة استثناءات متلاحقة إلى ملف غير مفهوم؛ الأفضل العودة إلى المخرجات الافتراضية ثم بناء قاعدة صغيرة يمكن تفسيرها.

قائمة مراجعة قبل النشر

  • [ ] توجد مشكلة زحف محددة وليست افتراضًا عامًا.
  • [ ] حُفظت نسخة من ملف robots.txt الحالي.
  • [ ] بقيت قواعد Shopify الافتراضية ضمن المخرجات.
  • [ ] القاعدة الجديدة تستهدف أضيق مسار ممكن.
  • [ ] لم تُحجب صفحات المنتجات أو التصنيفات أو ملفات العرض المهمة.
  • [ ] اختُبرت عناوين مسموحة ومحظورة فعلية.
  • [ ] وُثّق تاريخ التغيير وخطة الرجوع.
  • [ ] ستُراجع تقارير الزحف بعد النشر بدل افتراض النتيجة.

التخصيص الجيد لا يهدف إلى منع أكبر عدد من الروبوتات، بل إلى توجيه الزحف بناءً على دليل مع إبقاء المحتوى التجاري المهم قابلًا للاكتشاف.

المراجع والمصادر

محتوى إرشادي أُعد بمساعدة الذكاء الاصطناعي. الأمثلة افتراضية للتوضيح، وليست نتائج لعملاء تمايز.

نسمعك

اكتب سؤالك أو ملاحظتك. يُنشر التعليق بعد المراجعة، ويبقى البريد خاصًا.