التأكد من الزحف إلى موقعك وفهرسته هو شرط أساسي للظهور في نتائج البحث SERPs. إذا كان لديك موقع ويب بالفعل ، فقد يكون من الجيد أن تبدأ بمعرفة عدد صفحاتك في الفهرس. سيؤدي ذلك إلى الحصول على بعض الإحصاءات الرائعة حول ما إذا كان محرك بحث Google يقوم بالزحف والعثور على جميع الصفحات التي تريدها أم لا.
كيف أتأكد أن محرك البحث يزحف إلى موقعي؟
إحدى طرق التحقق من صفحاتك المفهرسة هي التوجه إلى Google واكتب "رابط موقعك:site " في شريط البحث. سيؤدي هذا إلى عرض نتائج Google في فهرسها للموقع المحدد:
عدد النتائج التي يعرضها Google يمنحك فكرة قوية عن الصفحات التي تمت فهرستها على موقعك وكيفية ظهورها حالياً في نتائج البحث.
للحصول على نتائج أكثر دقة ، راقب واستخدم تقرير تغطية الفهرس في Google Search Console. يمكنك التسجيل للحصول على حساب Google Search Console مجاني إذا لم يكن لديك حساب حالياً. باستخدام هذه الأداة ، يمكنك إرسال خريطة موقعك (sitemap) ومراقبة عدد الصفحات المرسلة التي تمت إضافتها بالفعل إلى فهرس Google ، من بين أشياء أخرى.
لماذا لا يظهر موقعي في نتائج البحث؟
إذا كنت لا تظهر في أي مكان في نتائج البحث ، فهناك بعض الأسباب المحتملة لذلك:
1-موقعك جديد تماماً ولم يتم الزحف إليه بعد.
2-موقعك ليس مرتبطاً بأي مواقع خارجية.
3-صعوبةالتنقل في موقعك ، فيصعب على الروبوت الزحف إليه بشكل فعّال.
4-يحتوي موقعك على بعض ملفات robots.txt (توجيهات الزاحف) التي تحظر محركات البحث.
5-أن تكون Google قد عاقبت موقعك على الويب بسبب الأساليب غير المرغوب فيها.
أخبر محركات البحث بكيفية الزحف إلى موقعك
إذا استخدمت Google Search Console أو عامل البحث المتقدم "site: domain.com" ووجدت أن بعض صفحاتك المهمة مفقودة من الفهرس أو تمت فهرسة بعض صفحاتك غير المهمة عن طريق الخطأ ، فهناك بعض التحسينات التي يمكنك القيام بها لتوجيه Googlebot بشكل أفضل بالطريقة التي تريد الزحف بها إلى محتوى الويب الخاص بك. إخبار محركات البحث بكيفية الزحف إلى موقعك يمكن أن يمنحك تحكماً أفضل في فهرسة موقعك.
يفكر معظم الناس في التأكد من أن Google يمكنه العثور على صفحاتهم المهمة ، ولكن من المحتمل أن هناك صفحات لا تريد أن يعثر عليها Googlebot. قد يتضمن ذلك أشياء مثل عناوين URL القديمة أوعناوين URL مكررة .لتوجيه Googlebot بعيداً عن صفحات وأقسام معينة في موقعك ، استخدم ملف robots.txt.
ما هو ملف robots.txt؟
توجد ملفات Robots.txt في الدليل الجذر لمواقع الويب (على سبيل المثال ، yourdomain.com/robots.txt) وتقترح هذه الملفات أي أجزاء من موقعك يجب ألا تزحف إليها محركات البحث ، بالإضافة إلى السرعة التي تزحف بها إلى موقعك ، عبر توجيهات معينة لملف robots.txt.
كيف يتعامل Googlebot مع ملفات robots.txt؟
إذا لم يتمكن Googlebot من العثور على ملف robots.txt لأحد المواقع ، فسيواصل الزحف إلى الموقع.
إذا عثر Googlebot على ملف robots.txt لأحد المواقع ، فعادة ما يلتزم بالاقتراحات ويتابع الزحف إلى الموقع.
إذا واجه Googlebot خطأً أثناء محاولة الوصول إلى ملف robots.txt الخاص بالموقع ولم يتمكن من تحديد ما إذا كان الملف موجوداً أم لا ، فلن يقوم بالزحف إلى الموقع
ما المقصود بميزانية الزحف؟
تحسين ميزانية الزحف!
ميزانية الزحف هي متوسط عدد عناوين URL التي يزحف إليها Googlebot على موقعك قبل مغادرته ، لذلك يضمن تحسين ميزانية الزحف أن Googlebot لا يُضيّع الوقت في الزحف عبر صفحاتك غير المهمة ، وحماية صفحاتك المهمة من خطر التجاهل. تعتبر ميزانية الزحف أكثر أهمية في المواقع الكبيرة جداً التي تحتوي على عشرات الآلاف من عناوين URL .ولكن إذا تم حظر Googlebot من إحدى الصفحات ، فلن يتمكن من رؤية الإرشادات الواردة في تلك الصفحة.
هل تستطيع برامج الزحف العثور على كل المحتوى المهم الخاص بك؟
الآن بعد أن تعرفت على بعض الأساليب لضمان ابتعاد برامج الزحف بمحركات البحث عن المحتوى غير المهم ، فلنتعرف على التحسينات التي يمكن أن تساعد Googlebot في العثور على صفحاتك المهمة.
في بعض الأحيان ، يكون محرك البحث قادراً على العثور على أجزاء من موقعك عن طريق الزحف ، ولكن قد يتم حجب الصفحات أو الأقسام الأخرى لسبب أو لآخر. من المهم التأكد من أن محركات البحث قادرة على اكتشاف كل المحتوى الذي تريد فهرسته ، وليس صفحتك الرئيسية فقط.
اسأل نفسك هذا السؤال: هل يستطيع الروبوت الزحف عبر موقع الويب الخاص بك ، وليس فقط إليه؟
هل المحتوى الخاص بك مخفي وراء نماذج تسجيل الدخول؟
إذا طلبت من المستخدمين تسجيل الدخول أو ملء النماذج أو الإجابة على الاستطلاعات قبل الوصول إلى محتوى معين ، فلن ترى محركات البحث تلك الصفحات المحمية. بالتأكيد لن يقوم الزاحف بتسجيل الدخول.
هل النص مخفي داخل محتوى غير نصي؟
لا ينبغي استخدام نماذج الوسائط غير النصية (الصور ، الفيديو ، ملفات GIF ، إلخ) لعرض النص الذي ترغب في فهرسته. بينما تتحسن محركات البحث في التعرف على الصور ، ليس هناك ما يضمن أنها ستكون قادرة على قراءتها وفهمها حتى الآن ، لذلك من أهم قواعد سيو أن تضع نص بديل Alt text للتعبير عن الصور إذا تعثر عرضها
هل يمكن لمحركات البحث متابعة التنقل في موقعك؟
مثلما يحتاج الزاحف إلى اكتشاف موقعك عبر روابط من مواقع أخرى ، فإنه يحتاج إلى مسار من الروابط على موقعك لإرشاده من صفحة إلى أخرى. إذا كانت لديك صفحة تريد أن تجدها محركات البحث ولكنها غير مرتبطة من أي صفحات أخرى ، فهي جيدة ولكنها غير مرئية. ترتكب العديد من المواقع خطأً فادحاً في هيكلة التنقل بطرق يتعذر على محركات البحث الوصول إليها ، مما يعيق قدرتها على الإدراج في نتائج البحث.
ما هو ملف خرائط الموقع sitemap؟
ملف Sitemap هو ما يبدو عليه موقعك تماماً: قائمة عناوين URL على موقعك والتي يمكن أن تستخدمها برامج الزحف لاكتشاف المحتوى الخاص بك وفهرسته. تتمثل إحدى أسهل الطرق لضمان عثور Google على صفحاتك ذات الأولوية القصوى في إنشاء ملف يلبي معايير Google وإرساله من خلال Google Search Console. على الرغم من أن إرسال ملف Sitemap لا يحل محل الحاجة إلى التنقل الجيد في الموقع ، فإنه بالتأكيد يمكن أن يساعد برامج الزحف في تتبع مسار إلى جميع صفحاتك المهمة.
تأكد من أنك قمت فقط بتضمين عناوين URL التي تريد فهرستها بواسطة محركات البحث ، وتأكد من إعطاء الزواحف اتجاهات متسقة. على سبيل المثال ، لا تقم بتضمين عنوان URL في ملف Sitemap الخاص بك إذا قمت بحظر هذا العنوان عبر ملف robots.txt
تعرف على المزيد حول خرائط مواقع sitemap.xml
إذا لم يكن موقعك يحتوي على أي مواقع أخرى مرتبطة به ، فلا يزال بإمكانك فهرسته عن طريق إرسال خريطة موقع sitemap.xml في Google Search Console.
هل تحصل برامج الزحف على أخطاء عندما تحاول الوصول إلى عناوين URL الخاصة بك؟
في عملية الزحف إلى عناوين URL على موقعك ، قد يواجه الزاحف أخطاء. يمكنك الانتقال إلى تقرير "أخطاء الزحف" في Google Search Console لاكتشاف عناوين URL التي قد يحدث هذا فيها
خاتمة
احترس من سلاسل إعادة التوجيه!
قد يكون من الصعب على Googlebot الوصول إلى صفحتك إذا كان عليه المرور عبر عمليات إعادة توجيه متعددة. يطلق Google على هذه "سلاسل إعادة التوجيه" ويوصون بالحد منها قدر الإمكان. إذا أعدت توجيه example.com/1 إلى example.com/2 ، ثم قررت لاحقاً إعادة توجيهه إلى example.com/3 ، فمن الأفضل حذف الوسيط وإعادة توجيه example.com/1 إلى example.com/3.
والآن دعنا ننطلق إلى: كيف تفهرس محركات البحث صفحات موقعك وتؤرشفها؟
تعليقات
إرسال تعليق