چرا گوگل بعضی سایت ها را دیر ایندکس میکند؟

جواب این سوال را زمانی خواهیم فهمید که با بودجه بندی خزنده گوگل (googlebot crawl budget) آشنا شویم.

خزنده گوگل یا همان Google Bot وظیفه اش اینست که بین صفحات بخزد و آنها را شناسایی کند تا در لیست رتبه بندی قرار بگیرند.

اما از آنجایی که جهان وب هر روز در حال بزرگ شدن است، ربات گوگل هم با محدودیت های منابع رو به رو میشود. بار پردازشی هر روز بیشتر میشود، در نتيجه انرژی مصرفی، حافظه کش، رم، پهنای باند و پردازنده هر روز باید از عهده حجم بزرگتری از داده ها بر بیایند.

گوگل در این موقعیت استراتژی های دیگری پیش گرفته.

گوگل حتی برای خزیدن بین سایت ها بودجه بندی می کند. اگر پردازش هر صفحه سایت شما بیش از 300-400 میلی ثانیه زمان میبرد پس برای خزنده گوگل بار زیادی ایجاد می کند. در نیتجه ممکن است بخشی از سایت شما را بخزد و سپس رها کند. (به همین جهت پیشنهاد می شود به Core Web Vitals اهمیت زیادی داده شود.)

مورد دیگر کیفیت سایت هست. چنانچه Quality Score سایت بالا باشد اولویت خزیدن بالاتر خواهد بود. چون احتمال اینکه خزیدن به نتیجه نهایی برسد بسیار بیشتر است. همچنین سرعت انتشار محتوا را هم در نظر میگیرد. برای مثال دو سایت با کیفیت را در نظر بگیرید که یکی هر ساعت خبر جدید منتشر میکند و دیگری هفته ای یک بار منتشر می کند. گوگل سرعت انتشار را در نظر میگیرد و در بازه زمانی مناسب به آن سایت ها سر میزند.

این مورد خصوصا در مورد سایت های جدید بسیار به چشم می آید. سایت های جدید حتی با وجود ثبت sitemap سایت خود در Search Console همچنان در لیست گوگل قرار ندارند و باید زمان بیشتری صبر کنند.

تمام این موارد به خاطر منابع محدود گوگل و افزایش نا محدود دنیای وب است.

برای مطالعه بیشتر به این لینک مراجعه کنین که بیشتر در مورد خزیدن در سایت های بزرگ توضیح داده شده اما حتی برای سایت های کوچک هم کاربرد دارد.

دیدگاهتان را بنویسید