موتورهای جستجو هر روز میلیاردها صفحه وب را بررسی میکنند تا اطلاعات موجود در اینترنت را پیدا، دستهبندی و در اختیار کاربران قرار دهند. اما واقعاً نحوه کار موتورهای جستجو به چه صورت است؟ شناخت نحوه عملکرد موتورهای جستجو برای هر کسی که با سئو سایت سروکار دارد اهمیت زیادی دارد. وقتی بدانید موتور جستجو چگونه صفحات را پیدا، بررسی، ذخیره و رتبهبندی میکند، راحتتر میتوانید محتوای سایت را برای دیدهشدن در نتایج جستجو بهینه کنید.
در این مقاله قدمبهقدم بررسی میکنیم که موتورهای جستجو در پشت صحنه چه مراحلی را طی میکنند و هر مرحله چه نقشی در نمایش نتایج جستجو دارد.
موتورهای جستجو چیستند؟ بررسی نحوه کار موتورهای جستجو
موتورهای جستجو را میتوان پایگاههای دادهای بزرگی از محتوای موجود در وب در نظر گرفت. آنها صفحات مختلف اینترنت را پیدا و اطلاعات مربوط به آنها را سازماندهی میکنند تا وقتی کاربر عبارتی را جستجو میکند، بتوانند نتایج مرتبط را در کوتاهترین زمان نمایش دهند.
نحوه کار موتورهای جستجو بر پایه چند بخش اصلی شکل میگیرد. از یک طرف، موتور جستجو به یک فهرست یا ایندکس از صفحات و اطلاعات وب نیاز دارد و از طرف دیگر، الگوریتمهایی دارد که از این اطلاعات برای پیدا کردن و مرتبسازی نتایج مرتبط با جستجوی کاربر استفاده میکنند.
هدف اصلی موتورهای جستجو ارائه نتایجی مرتبط و مفید برای کاربران است. برای رسیدن به این هدف، موتور جستجو باید ابتدا صفحات موجود در وب را پیدا کند، محتوای آنها را بررسی و اطلاعات مهم را در ایندکس خود ذخیره کند و در نهایت هنگام جستجوی کاربر، نتایج مناسب را از میان اطلاعات موجود انتخاب و نمایش دهد.
بهطور کلی، موتورهای جستجو این فرایند را در سه مرحله اصلی انجام میدهند:
۱. خزیدن (Crawling)
در این مرحله، خزندههای موتور جستجو در وب حرکت میکنند و با دنبال کردن لینکها، صفحات جدید یا بهروزشده را پیدا میکنند. خزندهها با ورود به URLهای مختلف، محتوای صفحات را دریافت و اطلاعات اولیه آنها را بررسی میکنند. آنها همچنین لینکهای موجود در هر صفحه را دنبال میکنند تا بتوانند به صفحات دیگری که هنوز برای موتور جستجو شناختهشده نیستند دسترسی پیدا کنند.
۲. ایندکس کردن (Indexing)
پس از پیدا شدن یک صفحه، موتور جستجو محتوای آن را بررسی و اطلاعات مربوط به صفحه را تحلیل میکند. در این مرحله، مواردی مانند متن، ساختار صفحه و اطلاعات مهم محتوا بررسی میشوند تا موتور جستجو درک بهتری از موضوع صفحه به دست آورد.
در صورت مناسب بودن شرایط، اطلاعات پردازششده صفحه در ایندکس موتور جستجو ذخیره میشود تا هنگام جستجوی کاربران، در صورت مرتبط بودن با عبارت جستجو، امکان نمایش آن در نتایج وجود داشته باشد. به همین دلیل است که تمرکز روی تولید محتوا مناسب و بهبود سئو سایت، اهمیت زیادی در رشد کسبوکار آنلاین دارند.
۳. نمایش نتایج جستجو (Serving Search Results)
وقتی کاربر عبارتی را جستجو میکند، موتور جستجو اطلاعات موجود در ایندکس را بررسی میکند و صفحات مرتبط با جستجو را پیدا میکند. سپس با استفاده از سیستمها و الگوریتمهای رتبهبندی، نتایج را بر اساس میزان ارتباط و عوامل مختلف دیگر ارزیابی و مرتب میکند.
در نهایت، نتایجی که بیشترین ارتباط را با جستجوی کاربر دارند در صفحه نتایج نمایش داده میشوند تا کاربر بتواند پاسخ یا اطلاعات مورد نیاز خود را پیدا کند.
نکته مهم این است که این سه مرحله برای همه صفحات وب الزاماً به پایان نمیرسند. پیدا شدن یک صفحه توسط خزنده به این معنی نیست که آن صفحه حتماً ایندکس میشود یا در نتایج جستجو قرار میگیرد. موتورهای جستجو در هر مرحله عوامل مختلفی را بررسی میکنند و همین موضوع باعث میشود فرایند رسیدن یک صفحه از وب به نتایج جستجو پیچیدهتر از صرفاً پیدا کردن آن باشد.
پس در اینجا لازم است به بررسی چند موضوع مهم دیگر نیز بپردازیم:
- موتورهای جستجو چگونه ایندکس خود را میسازند؟
- موتورهای جستجو چگونه صفحات را رتبهبندی میکنند؟
- موتورهای جستجو چگونه نتایج را شخصیسازی میکنند؟
موتورهای جستجو چگونه ایندکس خود را میسازند؟
برای اینکه موتور جستجو بتواند هنگام جستجوی کاربر نتایج مرتبط را نمایش دهد، ابتدا باید صفحات وب را پیدا و اطلاعات آنها را در ایندکس خود سازماندهی کند. این فرایند از پیدا کردن URLها شروع میشود و پس از چند مرحله به ذخیره اطلاعات صفحه در ایندکس میرسد.
پیدا کردن URLها
موتورهای جستجو برای شروع کار به فهرستی از URLهای شناختهشده نیاز دارند. این URLها میتوانند از مسیرهای مختلفی پیدا شوند.
یکی از رایجترین روشها، دنبال کردن لینکهاست. وقتی صفحهای که موتور جستجو آن را میشناسد به صفحه دیگری لینک میدهد، خزنده میتواند از طریق همان لینک به URL جدید برسد. به همین دلیل لینکسازی داخلی و وجود لینکهای قابل دسترسی در سایت، در کشف صفحات اهمیت دارد. به همین دلیل، در سئو داخلی سایت، تأکید زیادی به لینکسازی داخلی شده است.
Sitemap نیز راه دیگری برای معرفی URLهای سایت به موتورهای جستجو است. این فایل فهرستی از صفحات و فایلهایی را در اختیار موتور جستجو قرار میدهد که صاحب سایت میخواهد آنها را برای بررسی و کشف در دسترس قرار دهد.
صاحبان سایت همچنین میتوانند از ابزارهایی مانند Google Search Console برای درخواست بررسی یک URL مشخص استفاده کنند. البته ارسال یا کشف یک URL به معنی ایندکس شدن قطعی آن نیست و موتور جستجو همچنان شرایط صفحه را بررسی میکند.
خزیدن در صفحات وب
پس از اینکه یک URL برای موتور جستجو شناخته شد، مرحله Crawling یا خزیدن آغاز میشود. در این مرحله، رباتهای موتور جستجو که به آنها خزنده یا Spider گفته میشود، صفحه را درخواست میکنند و محتوای آن را دریافت میکنند.
خزنده گوگل Googlebot نام دارد. این ربات در میان صفحات وب حرکت میکند و با دنبال کردن لینکها میتواند صفحات جدید را نیز پیدا کند.
پردازش و رندر صفحه
بعد از دریافت صفحه، موتور جستجو باید محتوای آن را پردازش کند تا بتواند ساختار و اطلاعات مهم موجود در صفحه را بهتر درک کند.
در این مرحله، صفحه در صورت نیاز رندر میشود؛ یعنی موتور جستجو کدهای صفحه را پردازش میکند تا بتواند تصویری نزدیکتر به چیزی که کاربر در مرورگر میبیند از صفحه به دست آورد. این موضوع بهویژه برای صفحاتی که بخش مهمی از محتوای آنها با JavaScript ایجاد میشود اهمیت دارد.
موتور جستجو در فرایند پردازش، اطلاعات مختلف صفحه را استخراج میکند و میتواند لینکهای موجود در آن را نیز شناسایی کند. این اطلاعات در مرحله بعد برای ساخت و بهروزرسانی ایندکس مورد استفاده قرار میگیرند.
ذخیره اطلاعات در ایندکس
پس از پردازش اطلاعات صفحه، دادههای مربوط به آن در صورت واجد شرایط بودن در ایندکس موتور جستجو قرار میگیرد. ایندکس را میتوان یک کتابخانه بسیار بزرگ از اطلاعات صفحات وب در نظر گرفت که موتور جستجو هنگام پاسخ دادن به جستجوی کاربران به آن مراجعه میکند.
اینجا یک نکته مهم وجود دارد: خزیده شدن یک صفحه الزاماً به معنی ایندکس شدن آن نیست. موتور جستجو ممکن است صفحهای را پیدا و بررسی کند، اما آن را وارد ایندکس نکند. بنابراین برای اینکه یک صفحه بتواند در نتایج جستجوی ارگانیک ظاهر شود، ابتدا باید در شرایطی قرار داشته باشد که موتور جستجو آن را پردازش و در ایندکس خود ذخیره کند.
در نتیجه، مسیر کلی یک صفحه تا رسیدن به ایندکس را میتوان اینطور در نظر گرفت:
پیدا شدن URL ← خزیدن ← پردازش و رندر ← ایندکس شدن
این فرایند پایهای از نحوه کار موتورهای جستجو را تشکیل میدهد و در ادامه، مرحله مهم بعدی یعنی نحوه انتخاب و رتبهبندی نتایج برای جستجوی کاربران را بررسی میکنیم.
موتورهای جستجو چگونه صفحات را رتبهبندی میکنند؟
گفتیم که وقتی کاربر عبارتی را جستجو میکند، موتور جستجو باید از میان صفحات موجود در ایندکس، نتایج مرتبط را پیدا و آنها را به ترتیب مناسبی نمایش دهد. این وظیفه بر عهده الگوریتمها و سیستمهای رتبهبندی موتور جستجو است.
الگوریتمهای رتبهبندی موتور جستجو چیستند؟
الگوریتمهای رتبهبندی مجموعهای از سیستمها و معیارهایی هستند که به موتور جستجو کمک میکنند ارتباط و کیفیت نتایج مختلف را ارزیابی و آنها را مرتب کند.
جزئیات کامل الگوریتمهای گوگل عمومی نیست و این شرکت همه عوامل مؤثر بر رتبهبندی را اعلام نمیکند. با این حال، از مستندات گوگل و تجربههای گسترده در حوزه سئو میتوان با برخی از عوامل مهم و شناختهشده آشنا شد.
ارتباط محتوا با جستجوی کاربر
یکی از مهمترین عوامل در رتبهبندی، ارتباط نتیجه با چیزی است که کاربر جستجو کرده است. موتور جستجو تلاش میکند صفحهای را نمایش دهد که بتواند نیاز کاربر را بهتر پاسخ دهد.
برای تشخیص این ارتباط، موتور جستجو محتوای صفحه و عبارت جستجو را بررسی میکند و از سیگنالهای مختلف برای درک موضوع و هدف جستجو کمک میگیرد. به همین دلیل استفاده طبیعی و دقیق از موضوعات و عباراتی که با نیاز کاربر ارتباط دارند، اهمیت زیادی دارد.
لینکهای ورودی
لینکهایی که از سایتهای دیگر به یک صفحه داده میشوند، Backlink نام دارند. این لینکها میتوانند یکی از سیگنالهایی باشند که موتورهای جستجو برای ارزیابی اعتبار و اهمیت یک صفحه در نظر میگیرند.
البته ارزش لینکها یکسان نیست و صرفاً افزایش تعداد بکلینکها به معنی بهبود رتبه یک صفحه نیست. کیفیت، ارتباط موضوعی و اعتبار صفحاتی که به یک سایت لینک میدهند نیز اهمیت دارد.
تازگی محتوا
تازگی محتوا برای همه جستجوها اهمیت یکسانی ندارد. میزان اهمیت این عامل به نوع جستجوی کاربر بستگی دارد.
برای مثال، وقتی کاربر درباره یک رویداد جدید، اخبار یا یک محصول تازه منتشرشده جستجو میکند، احتمالاً صفحات بهروزتر برای او مفیدتر هستند. در مقابل، برای جستجوهایی که موضوع آنها تغییر زیادی نمیکند، قدیمیتر بودن یک صفحه لزوماً به معنی نامرتبط بودن آن نیست.
سرعت صفحات
سرعت بارگذاری صفحه نیز میتواند در ارزیابی تجربه کاربر و رتبهبندی نقش داشته باشد. صفحات بسیار کند میتوانند تجربه نامناسبی برای کاربران ایجاد کنند. همین موضوع میتواند عاملی برای کاهش رتبه سایت در نتایج شود.
با این حال، سرعت بالاتر بهتنهایی تضمین نمیکند که یک صفحه رتبه بهتری از تمام رقبا بگیرد. سرعت صفحه یکی از مجموعه عوامل مؤثر در ارزیابی تجربه و کیفیت فنی سایت است.
سازگاری با موبایل
با توجه به استفاده گسترده کاربران از تلفن همراه، نمایش صحیح و تجربه مناسب سایت در دستگاههای موبایل نیز اهمیت دارد. گوگل از Mobile-First Indexing استفاده میکند؛ به این معنی که نسخه موبایل سایت برای بسیاری از فرایندهای خزش و ایندکس اهمیت اصلی را دارد.
بنابراین ساختار، محتوا و قابلیت استفاده سایت در موبایل باید به شکلی باشد که کاربر بتواند بهراحتی محتوای صفحه را مشاهده و با آن تعامل کند.
در مجموع، رتبهبندی نتیجه یک عامل واحد نیست. موتورهای جستجو مجموعهای از سیگنالها را بررسی میکنند تا بتوانند نتایجی را نمایش دهند که بیشترین ارتباط را با جستجوی کاربر دارند و تجربه مناسبی برای او ایجاد میکنند.
موتورهای جستجو چگونه نتایج را شخصیسازی میکنند؟
تا اینجا دیدیم که موتور جستجو چگونه صفحات را پیدا، پردازش و ایندکس میکند و سپس نتایج مرتبط را رتبهبندی میکند. اما فرایند نمایش نتایج برای همه کاربران همیشه یکسان نیست. موتورهای جستجو میتوانند با توجه به برخی اطلاعات مربوط به کاربر و زمینه جستجو، نتایج را متناسبتر نمایش دهند.
موقعیت مکانی
موقعیت مکانی در جستجوهایی که هدف محلی دارند اهمیت بیشتری پیدا میکند. برای مثال، وقتی کاربری عبارت «بهترین رستوران ایتالیایی در تهران» را جستجو میکند، حتماً به دنبال گزینههایی در نزدیکی محل زندگی یا حضور خود است، نه رستورانی در یک شهر یا کشور دیگر.
به همین دلیل، موقعیت مکانی میتواند به موتور جستجو کمک کند نتایج محلی مرتبطتری را نمایش دهد.
زبان
زبان مورد استفاده کاربر نیز در نتایج جستجو تأثیر دارد. موتور جستجو تلاش میکند نتایجی را نمایش دهد که با زبان جستجوی کاربر و محتوای مورد نیاز او هماهنگ باشند.
برای مثال، اگر کاربری یک عبارت را به زبان فارسی جستجو کند، معمولاً صفحات فارسی مرتبط با آن جستجو در اولویت نمایش قرار میگیرند؛ البته در صورت وجود محتوای مناسب و مرتبط به زبانهای دیگر، ممکن است نتایجی از زبانهای دیگر نیز نمایش داده شوند.
سابقه جستجو
سابقه فعالیتهای کاربر نیز در برخی شرایط میتواند بر تجربه جستجو تأثیر بگذارد. موتور جستجو ممکن است از اطلاعات مربوط به جستجوهای قبلی یا تعاملات کاربر برای ارائه تجربه شخصیسازیشدهتر استفاده کند.
در نتیجه، ممکن است دو کاربر یک عبارت یکسان را جستجو کنند اما دقیقاً همان مجموعه نتایج را نبینند. موقعیت مکانی، زبان، زمینه جستجو و برخی اطلاعات مربوط به فعالیت کاربر میتوانند در تفاوت نتایج نقش داشته باشند.
این موضوع نشان میدهد که نحوه کار موتورهای جستجو صرفاً به پیدا کردن صفحات و مرتب کردن آنها محدود نمیشود؛ بلکه زمینه و شرایط جستجوی هر کاربر نیز میتواند در تجربه نهایی او از نتایج تأثیرگذار باشد.
نکات کلیدی
- موتورهای جستجو از دو بخش اصلی تشکیل میشوند: ایندکس و الگوریتمها.
- موتور جستجو برای ساخت ایندکس، صفحات شناختهشده را Crawl میکند و با دنبال کردن لینکها، صفحات جدید را پیدا میکند.
- هدف الگوریتمهای جستجو، پیدا کردن و نمایش مرتبطترین و مفیدترین نتایج برای کاربر است.
- کیفیت نتایج جستجو نقش مهمی در حفظ کاربران و جایگاه یک موتور جستجو در بازار دارد.
- تمام عوامل مؤثر بر رتبهبندی نتایج ارگانیک گوگل بهصورت عمومی و کامل مشخص نشدهاند.
- ارتباط محتوا با جستجوی کاربر، بکلینکها و تازگی محتوا از جمله عوامل مهمی هستند که میتوانند در رتبهبندی نتایج نقش داشته باشند.
- موتورهای جستجو میتوانند با توجه به عواملی مانند موقعیت مکانی، زبان و برخی اطلاعات مربوط به فعالیت کاربر، نتایج جستجو را شخصیسازی کنند.
