لكي تضمن فهرسة صفحات موقعك وأرشفتها بسهولة عليك التأكد أولاً من زحف محركات البحث إلى موقعك. بمجرد أن تتأكد من الزحف إلى موقعك ، فإن الخطوةالتالية هي التأكد من إمكانية فهرسته. ولكن اكتشاف موقعك والزحف إليه بواسطة محركات البحث لا يعني بالضرورة أنه سيتم تخزينه في فهرسهم. في الدرس السابق حول الزحف ، ناقشنا كيفية اكتشاف محركات البحث لصفحات الويب الخاصة بك. فهرس محركات البحث هو المكان الذي يتم فيه تخزين صفحاتك المكتشفة. بعد أن يعثر الزاحف على صفحة من صفحات موقعك ، يقوم محرك البحث بعرضها تماماً كما يفعل المتصفح.ثم يقوم محرك البحث بتحليل محتويات تلك الصفحة ليتم تخزين كل هذه المعلومات في فهرس مُحرّك البحث وهي ما تُعرف بعملية فهرسة المواقع.
هل تعرف كيف يرى زاحف Googlebot صفحات موقعك؟
بالتأكيد يمكنك
ذلك. حين يزحف محرك بحث Google إلى
صفحات الويب يخزنها مؤقتاً في فهرس محرك البحث.وهنا تعكس النسخة المخبأة للصفحات
لقطة لآخر مرة زحف فيها Googlebot إلي
هذه الصفحة وهي ما تُسمّى بعملية أرشفة صفحات الموقع. يمكنك عرض الشكل الذي تبدو
عليه النسخة المخبأة من الصفحة عن طريق النقر على السهم المنسدل بجوار عنوان URL في صفحة نتائج محرك البحث واختيار "نسخة مخبأة"
هذا هو الفرق
بين فهرسة الموقع وأرشفته. وسنتعرف بالتفصيل خلال هذا المقال على العلامات
الوصفية لفهرسة المواقع وأرشفتها واستخدامات كلاً منها. فقط
تابع معي حتى النهاية
بالطبع سيتم الزحف إلى المواقع الأكثر رسوخاً وشهرة التي تنشر موضوعات بشكل متكرر أكثر من المواقع الأقل شهرة والتي تنشر بشكل متقطع
هل يمكن إزالة الصفحات من فهرس محركات البحث؟
نعم ، يمكن إزالة الصفحات من الفهرس!ولكن لماذا؟ هناك عدة أسباب رئيسية وراء إمكانية إزالة عنوان URL من فهرس محركات البحث:
1-يعرض
عنوان URL خطأ "لم يتم العثور عليه" (4XX)
أو خطأ في الخادم (5XX) - قد يكون هذا عرضياً (تم نقل الصفحة ولم يتم إعداد إعادة
التوجيه 301 إلى عنوان URL الجديد)
أو متعمداً(تم
حذف الصفحة و تظهر صفحة الخطأ 404 بسبب إزالته من الفهرس)
2-تمت إضافة
علامة تعريف noindex "عدم الفهرسة" إلى
عنوان URL - يمكنك إضافة هذه العلامة من الإعدادات في بلوجر Blogger لإرشاد محرك البحث إلى حذف الصفحة من فهرسها.
3-تمت معاقبة
عنوان URL يدوياً لانتهاكه إرشادات مشرفي المواقع الخاصة بمحرك البحث ،
ونتيجة لذلك ، تمت إزالته من الفهرس الخاص بمحرك البحث .
4-تم حظر
عنوان URL من الزحف بسبب إضافة كلمة مرور مطلوبة قبل أن يتمكن الزوار
من الوصول إلى الصفحة.
إذا كنت تعتقد أن صفحة على موقع الويب الخاص بك كانت موجودة مسبقاً في فهرس Google لم تعد تظهر ، فيمكنك استخدام أداة فحص عنوان URL الموجودة في Google search console للتعرف على حالة الصفحة، و استخدام ميزة "طلب الفهرسة" حيث يمكنك إرسال عناوين URL الفردية إلى الفهرس. ( تحتوي هذه الأداة من GSC أيضاً على خيار "عرض صفحة الزحف" الذي يسمح لك بمعرفة ما إذا كانت هناك أية مشكلات تتعلق بكيفية تفسير Google لصفحتك).
أخبر محركات البحث بكيفية فهرسة موقعك
التوجيهات
الوصفية للروبوتات "Robots meta directives"
التوجيهات الوصفية (أو "العلامات الوصفية") هي إرشادات يمكنك تقديمها لمحركات البحث فيما يتعلق بالطريقة التي تريد أن تُعامَل بها صفحة الويب الخاصة بك.
يمكنك إخبار برامج الزحف لمحركات البحث بأشياء مثل "عدم فهرسة هذه الصفحة في نتائج البحث" باستخدام توجيه "noindex" أو "عدم تمرير أي ملكية ارتباط إلى أي روابط على الصفحة" باستخدام توجيه "nofollow"
العلامات الوصفية المستخدمة في الفهرسة "Robots meta tag"
يمكن استخدام العلامات الوصفية لبرامج الروبوت داخل الوسم <head> من تعديل HTML لصفحة الويب الخاصة بك أو من إعدادات بلوجر كما ذكرنا. يمكن لهذه العلامات أن تستبعد كل أو بعض محركات البحث من فهرسة عناوين URL الخاصة بموقعك. فيما يلي العلامات الوصفية الأكثر شيوعاً ، مع الحالات التي قد تُستخدم فيها:
1-يخبر index / noindex المحركات ما إذا كان يجب الزحف إلى الصفحة والاحتفاظ بها في فهرس محركات البحث لاسترجاعها. إذا اخترت استخدام "noindex" ، فأنت بذلك تخبر برامج الزحف بأنك تريد استبعاد الصفحة من نتائج البحث. بشكل افتراضي ، تفترض محركات البحث أنها تستطيع فهرسة جميع الصفحات ، لذا فإن استخدام قيمة "index" ليس ضرورياً.
متى يمكنك استخدام "noindex":
يمكنك اختيار وضع علامة "noindex" على بعض الصفحات (على سبيل المثال: صفحات الملف الشخصي التي ينشئها المستخدم) إذا كنت تريد منع محرك البحث من فهرستها ولكنك لا تزال تريد وصول الزوار إليها.
2-يخبر Follow / nofollow محركات البحث بما إذا كان يجب اتباع الروابط الموجودة على الصفحة أو عدم متابعتها. ينتج عن استخدام "Follow" تتبع روبوتات الزحف للروابط الموجودة على صفحتك وتمرير ملكية الرابط من خلال عناوين URL هذه. أو ، إذا اخترت استخدام "nofollow" ، فلن تتبع محركات البحث أو تمرر أي ملكية ارتباط إلى الروابط الموجودة على الصفحة. بشكل افتراضي ، من المفترض أن تحتوي جميع الصفحات على السمة "متابعة" أو "Follow".
متى يمكنك استخدام "nofollow":
غالبًا ما يتم استخدام nofollow مع noindex عندما تحاول منع فهرسة صفحة وكذلك منع الزاحف من تتبع
الروابط الموجودة على الصفحة.
3-يخبر "noarchive" محركات البحث بعدم حفظ نسخة مخبأة من الصفحة. بشكل افتراضي ، ستحتفظ المحركات بنسخ مرئية لجميع الصفحات التي تمت فهرستها ، بحيث يمكن للباحثين الوصول إليها من خلال الرابط المخبأ في نتائج البحث.
متى يمكنك استخدام "noarchive":
على سبيل المثال، إذا كنت
تدير موقعاً للتجارة الإلكترونية وتتغير أسعارك بانتظام ، فقد تفكر في علامة noarchive لمنع الباحثين من رؤية أسعارك القديمة.
نصيحة لمستخدمي WordPress:
في لوحة التحكم الرئيسية> الإعدادات> القراءة ، تأكد من عدم تحديد مربع "رؤية محرك البحث". هذا يمنع محركات البحث من القدوم إلى موقعك عبر ملف robots.txt الخاص بك!
تعليقات
إرسال تعليق