أفضل طريقة لاختبار ملف robots txt في موقع بلوجر

robots.txt شرح

تحدد ملفات Robots.txt أن محركات البحث يمكنها الوصول إلى عنوان عنوان URL على موقع الويب الخاص بك، وعادةً ما يتم استخدام هذه المعلومات لتجنب تنزيل الأحمال الزائدة على موقع الويب الخاص بك عن طريق طلبات الزحف.

أفضل طريقة لاختبار ملف robots txt في موقع بلوجر

ولا يتم إخفاءها على Google لإخفاء آلية صفحة الويب الخاصة بنتائج البحث، إذا كنت ترغب في إخفاء صفحة ويب من نتائج بحث Google ، فيجب عليك استخدام رمز Noindex لمنع الفهرس أو استخدام كلمة مرور لحماية الصفحة.

نبذة عن ملف robots txt

بالرجوع إلى الذاكرة إلى الأعوام الماضية حيث كانت شبكة الإنترنت في بداياتها وذات إمكانيات محدودة جدّاً، ما دفع المطورين بابتكار طريقة سهلة للزحف والفهرسة إلى الصفحات الجديدة على شبكة الإنترنت، وأطلقوا عليها مسمّى "العناكب\ الروبوتات".

ومن حين لآخر، تتجول هذه العناكب في مواقع شبكة الإنترنت التي من المفترض لم يزحف إليها أو يتم فهرستها، كالمواقع الخاضعة للصيانة، منها هنا أوصى مؤسس "علي ويب" الذي يعد أقدم محرك بحث على شبكة الإنترنت، بإنشاء نظام جديد، يتوجّب على العناكب من اتباعه.

وبالفعل تمّ الوصول لحل مناسب في سنة 1994م وبالتحديد في شهر يونيو، من قبل مجموعة من المطورين الماهرين على شبكة الإنترنت، بحيث قام هؤلاء التقنيين بإنشاء نظام ذكيّ، أطلق عليه بـ (بروتوكول استبعاد الروبوتات).

ملف روبوتس تكست يعدّ تنفيذاً لهذا البروتوكول الذكي، حيث يقوم هذا الملف بتحديد مجموعة من الإرشادات التي يتوجّب على كل روبوت من اتّباعها، بما في ذلك روبوتات Google، لكن الروبوتات الضارة كبرامج التجسس، والبرامج الضارة تعمل خارج إطار قواعد ملف روبوتس تكست.

على العموم! يمكنك عزيزي القارئ من إلقاء نظرة حول "ملف روبوتس تكست" من خلال كتابة نطاق الموقع URL ثم إضافة "/robots.txt" في النهاية.

ما يظهر عن ذلك؛ الشكل الافتراضي لملف روبوتس تكست؛

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /wp-admin/

Sitemap: https://example.com/sitemap_index.xml

ملف روبوت تكست يعتبر البروتوكول الّذي يأمر العناكب أو الروبوتات بعدم فهرسة أو أرشفة صفحات معينة داخل الموقع الإلكتروني الخاص بك، ومن الجدير بالذّكر! أن الروبوتات الخاصة بمحركات البحث تقوم باستشارة ملف روبوتس تكست قبل قيامها بفهرسة الموقع.

الغرض من ملف robots txt

يتمّ استخدام ملف روبوتس تكست بشكل رئيسي لإدارة مقدار عدد زيارات عمليات الزحف إلى الموقع الإلكتروني الخاص بك، وغالباً ما يستخدم لإخفاء ملف من نتائج البحث على محرك البحث جوجل، بناءًا على نوع الملف.

وهذا يعني؛ أنّه في حال عدم امتلاكك لملف روبوتس تكست، فإنّ محركات البحث ستزحف إلى موقعك الإلكتروني ويفهرسه، لكنّه لن يكون قادراً على إخبار هذه المحركات بالمجلدات والصفحات التي ممنوع الزحف إليها، لن يكون لملف روبوتس تكست ذلك التأثير الكبير.

في بداية إنشاء موقعك الإلكتروني لأول مرة، وخاصة عندما لا تمتلك الكثير من المقالات، لكن مع نمو موقعك الإلكتروني، وزيادة حجم محتويات موقعك، فإنه ومن الممكن أن تتحكّم عزيزي القارئ على كيفية زحف العناكب إلى الموقع الخاص بك وفهرسته.

روبوتات البحث تزحف لعدد معين من صفحات موقعك خلال جلسة عملية الزحف، وفي حال إذا لم تنتهي عناكب البحث من عملية الزحف لكافة صفحات موقعك الإلكتروني، فإنّ هذه العناكب ستعود وستستأنف عملية الزحف لموقعك في المرة المقبلة.

ويمكن إصلاح ذلك من خلال منع عناكب البحث من محاولة البحث لصفحات موقعك الغير ضرورية، كصفحات ملفات الـ WP، وملفات ثيمات الووردبريس، وإضافات الـ WordPress.

وبإلغاء السماح للعناكب بالوصول للصفحات الغير اللازمة في موقعك، سيكون من المتاح لك من تحديد الصفحات الضرورية في الموقع الخاص بك، هذا الأمر يساعد المحركات في الزحف إلى العديد من صفحات موقعك والقيام بفهرستها في أسرع وقت.

أيضاً هنالك غرض آخر لاستخدام ملف روبوتس تكست، وهو استعماله عند الرغبة بمنع المحركات من فهرسة صفحة أو مقالة في موقعك الإلكتروني.

تم الحظر باستخدام robots txt

يحصل أن ترى "تم الحظر باستخدام robots txt" في موقعك الإلكتروني! لكن هل تعلم ما الّذي تعنيه هذه الجملة؟! عزيزي القارئ إنّ هذه الصفحة هي واحدة من أنواع الصفحات المستبعدة في التقرير الخاص بتغطية الفهرسة.

هذه الصفحة ممنوعة على كافة المحركات بفهرستها، وإظهار في الصفحات الأولى من البحث، لأنّ هنالك أوامر في ملف روبوتس تكست تمنع من فهرسة هذه الصفحة، وظهورها في محركات البحث.

وللعلم! أنّ هذه الصفحة لا تعني وجود مشكلة ما في موقعك، ولكن تعني؛ أنّ هنالك بعض الصفحات التي تكون من المفترض استبعادها من صفحات البحث، وذلك للمحافظة على الحالة الجيدة لموقعك الإلكتروني.

ومن الجدير بالذّكر! أنّ أنواع ملفات روبوتس تكست تختلف باختلاف متطلبات مشرفي المواقع، هذا بجانب اختلافها بحسب الموقع الإلكتروني أو المدونة الإلكترونية.

ملاحظة هامّة!

إذا كانت مدونتك على موقع بلوجر، وكانت تضمّ أقل من خمسمائة صفحة مميزة، فلا داعي أبداً لإنشاء ملف روبوتس تكست، ذلك لأنّ موقع بلوجر يوفّر هذا الملف بشكل تلقائي، بحيث يقوم هذا الملف بحظر الصفحات الغير المناسبة، وتمنعها من ظهورها في نتائج البحث قوقل.

كيفية تعديل ملف robots txt

في حالة استخدامك لخدمة "استضافة المواقع الإلكترونية" مثل؛ بلوجر أو دروبال أو ويكس، فإنّك على الأرجح لن تحتاج لتعديل ملف robots txt بشكل مباشر، وعوضاً عن ذلك، قد تقوم موفر الخدمة بتوفير "صفحة لإعدادت البحث" لتوجيه المحركات بالزحف لصفحة موقعك الإلكتروني أو عدم الزحف إليها.

لكن في حال استخدام خدمة الووردبريس، فإنّك تستطيع تعديل ملف روبوتس تكست من خلال إضافة Yoast SEO، التي ستجده في الصفحة الخاصة بإضافة يوست السيو، بحيث إذا انتهيت من التعديلات، يتوجب عليك من حفظ التغييرات.