شرح Googlebot وكيف يعمل

 ما هو Googlebot وكيف يعمل؟

شرح ما هو Googlebot وكيف يعمل بالتفصيل
ما هو Googlebot وكيف يعمل

Googlebot
هو زاحف الويب الذي تستخدمه Google لجمع المعلومات المطلوبة وإنشاء فهرس ويب قابل للبحث فيه. يحتوي 
Googlebot على برامج زحف للجوال و كذلك سطح المكتب، بالإضافة إلى برامج زحف متخصصة للأخبار والصور ومقاطع الفيديو وهو روبوت مصنوع بالذكاء الاصطناعي قادر على أن يتعرف بسهولة على نوع أي محتوى مفهرس في محرك بحث Google .

يوجد العديد من برامج الزحف التي تستخدمها Google لأداء مهام محددة، وسيعرف كل زاحف نفسه بسلسلة نصية مختلفة تسمى وكيل المستخدم"user agent". برنامج Googlebot دائم التحديث والتطور، هذا يعني أنه يرى مواقع الويب كما يراها المستخدمون في أغلب المتصفحات المتوفرة.

يعمل Googlebot على آلاف الأجهزة. إنهم يحددون مدى السرعة وما يجب الزحف إليه على مواقع الويب. لكنهم سوف يبطئون زحفهم حتى لا تهيمن على مواقع الويب الآخرى.

في ما يلي نظرة على كيفية عمل عمليتهم لبناء فهرس ويب كامل ومتوافق.

كيف يزحف Googlebot إلى الويب ويفهرسه

شاركت Google إصدارات قليلة من خط الأنابيب الخاص بها في الماضي. أدناه هو الأحدث.

كيف يبني google فهرس البحث الخاص به

دائما ما يبدأ Google بقائمة عناوين URL التي يجمعها من مصادره المتعددة، مثل الصفحات وخرائط المواقع وموجزات RSS وعناوين URL المقدمة في Google Search Console أو واجهة برمجة التطبيقات للفهرسة. يعطي الأولوية لما يريد الزحف إليه، وجلب الصفحات، وتخزين نسخ من الصفحات المكتشفة.

كما أنهيقوم بمعالجة هذه الصفحات للعثور على مزيد من الروابط، بما في ذلك روابط لأشياء مثل طلبات واجهة برمجة التطبيقات وجافا سكريبت و CSS التي يحتاجها Google لعرض الصفحة. 

يتم الزحف إلى كل هذه الطلبات الإضافية وتخزينها مؤقتا (تخزينها).دائما تستعمل Google خدمة عرض تستخدم هذه الموارد المخزنة مؤقتًا لعرض صفحات مشابهة للطريقة التي يستخدمها المستهلك على الويب.

يقوم بمعالجة هذا مرة أخرى ويبحث عن أي تغييرات على الصفحة أو الروابط الجديدة. محتوى الصفحات المعروضة هو ما يتم تخزينه ويمكن البحث فيه في فهرس Google. تعود أي روابط جديدة يتم العثور عليها إلى مجموعة عناوين URL للوصول إليها بشكل آمن.

في موقع عرب-تيك لدينا المزيد من التفاصيل حول هذه العملية في مقالتنا حول كيفية عمل محركات البحث وتحسين مراتب المواقع.

طريقة التحكم في Googlebot

تعطيك Google بعض الطرق للتحكم في ما يتم الزحف إليه وفهرسته على موقعك.

طرق التحكم في الزحف

Robots.txt - يتيح لك هذا الملف الموجود على موقع الويب الخاص بك التحكم في ما يتم الزحف إليه وما يتم تجاهله.

Nofollow - هي سمة ارتباط أو علامة تعريفية لبرامج الروبوت تقترح عدم اتباع الرابط. يعتبر مجرد تلميح ، لذلك يمكن تجاهله.

تغيير معدل الزحف - تتيح لك هذه الأداة الموجودة في Google Search Console إبطاء زحف Google.

طرق للتحكم في الفهرسة

حذف المحتوى الخاص بك - إذا حذفت صفحة، فلا يوجد شيء لفهرسته. الجانب السلبي لهذا هو أنه لا يمكن لأي شخص آخر الوصول إليه أيضا.

تقييد الوصول إلى المحتوى - لا تسجل Google الدخول إلى مواقع الويب، لذا فإن أي نوع من أنواع الحماية بكلمة المرور أو المصادقة سيمنعها من رؤية المحتوى.

Noindex - يشير noindex في علامة meta robots لمحركات البحث إلى عدم فهرسة صفحات معينة.

أداة إزالة عناوين URL - اسم هذه الأداة من Google مضلل قليلا، حيث أن الطريقة التي تعمل بها هي أنها ستخفي المحتوى مؤقتا. سيستمر محرك بحث Google في رؤية هذا المحتوى والزحف إليه، لكن الصفحات لن تظهر في نتائج البحث.

ملف Robots.txt (للصور فقط) - يعني حظر Googlebot Image من الزحف أنه لن تتم فهرسة صورك.

إذا لم تكن متأكدا من عنصر تحكم الفهرسة الذي يجب استخدامه، فراجع مخططنا الانسيابي في منشورنا حول إزالة عناوين URL من بحث Google.

هل هو Googlebot حقا؟

ستتظاهر العديد من أدوات تحسين محركات البحث وبعض برامج التتبع الضارة بأنها Googlebot. قد يسمح لهم ذلك بالوصول إلى مواقع الويب التي تحاول حظرهم.

في الماضي، كنت بحاجة إلى تشغيل بحث DNS للتحقق من Googlebot. ولكن في الآونة الأخيرة، سهلت Google الأمر وقدمت قائمة بعناوين IP العامة التي يمكنك استخدامها للتحقق من أن الطلبات من Google. يمكنك مقارنة ذلك بالبيانات الموجودة في سجلات الخادم الخاص بك.

تستطيع أيضا الوصول إلى تقرير "إحصائيات الزحف" في Google Search Console. إذا انتقلت إلى الإعدادات> إحصائيات الزحف، فإن التقرير يحتوي على الكثير من المعلومات حول كيفية قيام Google بالزحف إلى موقع الويب الخاص بك. يمكنك معرفة أي Googlebot يقوم بالزحف إلى الملفات ومتى وصل إليها.

رسم بياني خطي يعرض إحصائيات الزحف

رسم بياني خطي يعرض إحصائيات الزحف. ملخص البيانات الرئيسية أعلاه

افكار اضافية

الويب بحر كبير ومشتت. يجب أن يتنقل Googlebot في جميع الإعدادات المختلفة، جنبا إلى جنب مع أوقات التعطل والقيود، لجمع البيانات التي تحتاجها Google حتى يعمل محرك البحث الخاص بها.

من الحقائق الممتعة لإنهاء الأمور أن Googlebot يُصور عادة على أنه روبوت ويشار إليه على نحو مناسب باسم "Googlebot". هناك أيضا شبكة عنكبوت تُدعى  كرولي "Crawley." اذا أستفدت من المقال ضع تعليق محفز وشكرا.

تعليقات
ليست هناك تعليقات
إرسال تعليق



    وضع القراءة :
    حجم الخط
    +
    16
    -
    تباعد السطور
    +
    2
    -