وب سایت ما حدود ۶ ماه است که راه اندازی شده است، با ۳ نویسنده‌ای که روی سایت کار می‌کنند روزانه ۲۰ مطلب روی سایت قرار می‌گیرد اما ورودی ما از گوگل خیلی کم است. با یک بررسی به این نتیجه رسیدیم که اکثر مطالبمان، توسط گوگل ایندکس نمی‌شوند. حالا چند سوال داریم:
چرا برخی مطالبمان توسط گوگل ایندکس نمی‌شوند؟
ویژگی مطالبی که توسط گوگل ایندکس می‌شوند چیست؟
چگونه مشکل ایندکس مطالب را حل کنیم؟
این سوال موجب شد که ما به طور اساسی به بررسی موضوع ایندکس یا Indexing توسط گوگل بپردازیم و با به چالش انداختن این موضوع تمام زیر و بم آن را مورد بررسی قرار دهیم. در متن پیش رو، به تمامی سوالات بالا و آنچه در ذهن شما برای موضوع ایندکس شدن سایت توسط گوگل و دیگر موتورهای جستجو، وجود دارد خواهیم پرداخت.
از کجا بفهمیم که مطالبمان ایندکس می‌شوند یا خیر؟
برای اینکه بدانید مطالبتان ایندکس می‌شود یا خیر ۸ راه وجود دارد.
راه اول: اول اینکه به تناسب حجم محتوایی که تولید می‌کنید از گوگل و دیگر موتورهای جستجو، ورودی ندارید.
راه دوم : دوم اینکه، می‌توانید به طور دستی در موتورهای جستجو، سرچ کنید که به صورت زیر است:
Google: enter site: example.com
Bing: enter site: example.com
Yahoo: enter site: example.com
راه سوم: اگر فایل خاصی روی سایت بارگذاری کرده‌اید، نام آن فایل را در موتورهای جستجو سرچ کنید.
برای مثال اگر یک فایل PDF یا فایل تصویری و فیلم و عکس و یا پادکست با نام ZZZZ در سایت قرار داده‌اید. این نام را در کنار نام سایت خود سرچ کنید.
راه چهارم: بهترین روش و سریع‌ترین روش نیز این است که عنوان یک پست را در گوگل و یا دیگر موتورهای جستجو سرچ کنید. اگر مطلب شما ایندکس شده باشد، در میان صفحات نمایش داده شده، قابل نمایش است. اگر مطمئنید عنوان‌تان کاملا شخصی سازی شده است، پس به راحتی می‌توانید مطلب خود را در مکان اول از صفحه اول از نتایج گوگل آن را مشاهده کنید.
راه پنجم: اگر فکر می‌کنید مطلب شما نمونه‌های مشابهی دارد و نمی‌توانید از لابلای صدها هزار نتیجه‌ی گوگل، آن را پیدا کنید، باید ۱۲ کلمه از مطلب را ( به صورت جمله وار ) جستجو کنید. بدین طریق اگر محتوایتان اختصاصی باشد سریعا گوگل شما را پیدا خواهد کرد.
راه ششم: روش دیگر نیز این است که URL متن و پست مورد نظرتان را سرچ کنید. بدین طریق گوگل آن را یکتا فرض کرده و به شما نمایش می‌دهد.
راه هفتم: راه دیگر این است که وارد ابزار Google Webmaster Tools خود شوید. از اینجا می‌توانید به بخش Health رفته و در این بخش به Index Status دسترسی پیدا کنید. در این حالت اگر پیش از این نقشه سایت خود را ثبت کرده باشید، به شما اطلاعاتی پیرامون تعداد صفحات ایندکس شده خواهد داد.
راه هشتم: اگر ایندکس شدن در یاهو نیز برایتان اهمیت دارد می‌توانید وارد ابزار Bing Webmaster Tools شوید و از آن جا به ما بقی اطلاعات دسترسی پیدا کنید.
چگونه یک مطلب در موتور جستجو ایندکس می‌شود؟
موتورهای جستجو خزنده‌هایی دارند که دائما به سایت‌ها سر می‌زنند تا ببینید مطالب جدیدی به سایت‌ها اضافه شده یا نه. در صورتی که مطالب یک سایت در دسترس خزنده‌ها قرار بگیرد، به راحتی مورد بررسی قرار گرفته و در صورت مشاهده‌ی صلاحیت‌ها، ایندکس می‌شوند. البته این خزنده‌ها، در درجه اول، از سایت‌های جدید مطلع نیستند و این وظیفه‌ی وبمستر است که یک نوتیفی برای موتورهای جستجو ارسال کنند و به آنها بگویند که چنین سایتی وجود دارد. البته این روش برای گوگل رسمیت دارد. برخی موتورهای جستجو نیز که این پروسه را دنبال نمی‌کنند فرصتی ایجاد کرده‌اند که با روش دیگری سایت جدید خود را معرفی کنید. برای مثلا برای ثبت سایت در یاهو باید به بخش ثبت سایت در یاهو بروید.
بعد از این باید با مشاهده‌ی ورودی‌های وب سرور، دقت کنید که آیا ربات‌های موتورهای جستجو به وب سایت شما سر می‌زنند یا خیر. این ربات‌ها با نام‌هایی مثل Googleboot، bingbot و yahoobot شناخته شده‌اند.
چقدر طول می‌کشد که یک مطلب ایندکس شود؟
موتورهای جستجو با توجه به نوع محتوا، کیفیت آن و میزان اعتماد سایت، مدت زمان متفاوتی را صرف ایندکس کردن می‌کنند. گاهی مطلب جدید سایت شما، به محض ایجاد، حداکثر طی ۱ ساعت، در گوگل نمایان می‌شود ولی گاهی باید تا ۱ هفته نیز منتظر بمانید.
اگر وب سایت شما، فقط چند روز روی گوگل و دیگر موتورها نمایش داده شود و بعد حذف شود این یعنی سایت شما صلاحیت ایندکس را ندارد و باید موانع ایندکس شدن مطالب سایت را مورد بررسی قرار دهید. گاهی مطالب شما تنها تا ۱ ماه در گوگل نشان داده شده و بعد از آن حذف می‌شوند. این نیز نشان از عدم صلاحیت مطالب شما برای ماندن در گوگل دارد.
اگر مطلبی ایندکس شود و بعد آن را حذف کنیم باید چه اقدامی کنیم؟
گوگل شوخی بردار نیست! یعنی اگر یک مطلب بنویسید و گوگل آن را مفید بداند ولی شما آن را حذف کنید به منزله‌ی وارد آوردن خسارت به گوگل، شناخته می‌شود. بدین طریق گوگل در مورد سایت شما در چنین شرایطی تصمیماتی خواهد گرفت که دور از جریمه کردن نیست. از این رو باید توسط فایل‌های robots.txt و META robots خزنده‌های موتور جستجو را از بررسی کردن این مطالب و لینک‌ها منع کنید. robots.txt بهترین چیزی است که می‌توانید از آن استفاده کنید.
طریقه استفاده از robots.txt برای منع خزنده‌های گوگل به صورت زیر است.
برای منع یک فایل خاص از شبه کد زیر استفاده کنید:
User-agent: * Disallow: /directory/name-of-file.html
برای منع یک دایرکتوری کامل، از شبه کد زیر استفاده کنید:
User-agent: * Disallow: /first-directory/ Disallow: /second-directory/
طریقه استفاده از META robots برای منع خزنده‌ها برای دنبال کردن لینک و مطالب به صورت زیر است:
اگر از شبه کد زیر استفاده کنید به این معنی است که به خزنده‌ها اجازه نمی‌دهید که مطالب مورد نظر را ایندکس کنند و لینک داخل متن را نیز دنبال (follow ) کنند:
<meta name="robots" content="noindex, nofollow">
این قطعه کد به دو صورت دیگر نیز مورد استفاده قرار می‌گیرد و به بیان دیگر اصلاح پذیر است:
<meta name="robots" content="index, nofollow">
این بدین معنی است که تنها به لینک‌ها اجازه‌ی دنبال شدن نمی‌دهید اما منعی برای ایندکس شدن مطلب حاوی لینک وجود ندارد.
<meta name="robots" content="noindex, follow">
در اینجا نیز، به موتور جستجو، اجازه ایندکس نمی‌دهید اما از آن می‌خواهید که لینک داخلی متن را دنبال کند.
نکته مهم این است که عبارت noindex تنها بر روی موتورهای جستجو تاثیر خواهد گذاشت، اما بازدید کنندگان سایت به راحتی و بدون هیچ مشکلی می‌توانند مطالب را بخوانند و از آن استفاده کنند.
موانع ایندکس شدن مطالب توسط گوگل :
حالا اگر همه چیز درست باشد و باز هم می‌بینید که محتوایتان به درستی ایندکس نمی‌شود باید به یکی از راه‌های زیر، توجه کنید. شاید وب سایت شما شامل یکی از فاکتورهای زیر شود:
عدم کیفیت محتوا:
خزنده‌های موتور جستجو، با دنبال کردن صفحات با کیفیت سعی می‌کنند آن را ایندکس کنند. درصورتی که سایت یا مطالب مورد نظر شامل یکی از شرایط زیر باشد، هرگز مطالب آن را ایندکس نمی کنند:
الف: سایت مورد نظر از نوع هرزنامه باشد یا مطالب آن عجیب و بی‌معنی باشد.
ب: مطالب سایت را در جای دیگری نیز دیده باشند. اگر از مطلب‌های کپی استفاده کنید، گوگل تنها یکی از مطالب مشابه را ایندکس خواهد کرد که از شهرت بیشتر و لینک‌های خارجی بیشتری برخوردار باشد.
ج: مطالب کم حجم، عموما ارزشی برای انتقال اطلاعات ندارند از این رو، موتورهای جستجو، به مطالب بلند‌تر اهمیت بیشتری می‌دهند و در ایندکس کردن به آنها توجه بیشتری نشان می‌دهند.
د. صفحاتی که لینک‌های خارجی کمی به آنها وارد شده است، توسط گوگل چندان که باید مورد پذیرش قرار نمی‌گیرند اما این موضوع نباید موجب وارد شدن شما به مبحثی به نام link farming شود.
صفحات شما کدهای وضعیت http اشتباهی ارسال می‌کنند
کدهای وضعیت به ربات‌ها اجازه می‌دهند که مطالب سایت شما را بررسی کنند. یک صفحه معمولا دارای ۲۰۰ کد وضعیت موفق است که مشهور‌ترین آنها این دو مورد است که برای سرور مورد استفاده قرار می‌گیرد :
۳۰۱جابجایی دایمی :این درخواست و تمامی درخواست‌های آینده به یک آدرس جدید منتقل خواهد شد.
۴۰۳ ممنوع شده : سرور از پاسخ دادن به درخواست امتناع می‌کند.
به منظور بهینه سازی موتورهای جستجو ، کد ۳۰۱ استفاده می‌شود تا از طریق آن به طور اصولی بتوانید بازدیدکنندگان را بین مسیرهای تغییر داده شده، به درستی هدایت کنید.
صفحات شما به کوکی‌های جاوا اسکریپت نیاز دارند
کوکی‌ها و جاوا اسکریپت‌ها می‌توانند روبات‌های موتور جستجو را از دروازه‌های شما دور نگه دارد. برای نمونه شما می‌توانید با کوکی‌هایی، به کاربران اجازه دسترسی به محتوا را بدهید اما موتورهای جستجو را از این کار منع کنید که این کار بیشتر به شکل مخفی کردن بروز می‌کند. البته این کار گاهی به تولید کدهای پیچیده می‌انجامد. .بیشتر ربات‌های موتور جستجو از اجرای کدهای جاوا اسکریپت پیچیده خودداری می‌کنند بنابراین امکان خواندن صفحات شما را خواهند داشت.گوگل ممکن است برای تجزیه این صفحات آنها را توسعه و تغییر دهد که در این حالت شما بی‌دلیل کار را سخت کرده‌اید.
صفحاتی که از رمز عبور استفاده می‌کنند، نیز ایندکس نمی شوند
صفحاتی که با پسورد حفاظت می‌شوند تنها برای کاربرانی که از رمز عبور برخوردارند، قابل شناسایی هستند و از این رو، موتورهای جستجو بدان‌ها راهی ندارند. به طور کلی پسورد گذاشتن برای صفحات اثر منفی بر سئوی صفحه‌ی مورد نظر و تجربه کاربری خواهد گذاشت. بنابراین بهتر است از تدابیر امنیتی دیگری بجای رمز گذاری استفاده کنید.
مشکلات ناشی از تگ‌های عنوان مشابه:
موضوع عدم ایندکس، گاهی به دلایل سهوی نیز پیش می‌آید. برای مثال فروشگاه‌های اینترنتی عموما صفحات مشابه زیادی دارند از این رو، وبمسترها با ایجاد صفحات مشابه، سعی در تنظیم مشخصات محصولات می‌کنند و در نهایت، فراموش می‌کنند تگ‌های عنوان را تغییر دهند. به همین دلیل موتورهای جستجو، تمام صفحات را یک صفحه تصور می‌کنند. در خوشبینانه‌ترین حالت، موتورهای جستجو، تنها یک صفحه از میان صفحات را انتخاب و نمایش می‌دهند که البته اگر بد شانس باشید، با توجه به الگوریتم‌های گوگل، مورد هجوم جریمه‌هایی قرار می‌گیریدکه گاهی کل سایت تجاری شما را از بین خواهد برد. بنابراین دقت در اصول موتورهای جستجو اصلی بسیار مهم است.
در صورتی که تگ‌های عنوان مشابه داریم می‌توانیم عناوین را به صورت محلی بهینه سازی کرد تا هم از یک اصول و استراتژی سئو بهره مند شوید و هم به موتور جستجو فرصتی متفاوت دهید که هر دو عنوان شما را نگهداری کند. برای مثال اگر دو عنوان به صورت زیر دارید :
فروش لوازم تحریر
بهتر است که یکی از آنها را به صورت زیر بهینه کنید:
فروش لوازم تحریر در شیراز
بدین صورت هر دو صفحه همچنان باقی خواهند ماند و مولد فرصت‌های جدید نیز خواهند بود.
مشکلات ناشی از عمق لینک مطلب و یا معماری سایت:
هر چه عمق یک لینک بیشتر باشد، خزنده‌ها و ربات‌ها به سختی بیشتری به آنها دسترسی پیدا می‌کنند و گاهی ربات‌ها تا حد معینی بیشتر پیش نمی‌روند. هر چه لینک مطلب، به دامنه نزدیک‌تر باشد، برای خزیدن و ایندکس شدن، بیشتر مورد پسندیدن قرار می‌گیرند.
این کار را به کتابخانه‌ای تشبیه کنید که کتاب‌ها در زیر مجموعه‌های گسترده‌ای طبقه بندی شده‌اند. مطمئنا هیچ کدام از ما وقت و حوصله این را نداریم که بخواهیم، کل زیر مجموعه‌ها را مورد بررسی قرار دهیم تا به کتاب مورد نظر دسترسی پیدا کنیم.
بعد از حل موانع ایندکس مطالب باید چکار کنیم؟
بعد از این که وب سایت خود را مورد بازبینی قرار دادید و مشکلات بر شمرده شده را حل کردید می‌توانید یکی از دو کار زیر را انجام دهید :
اول اینکه صبر کنید تا خزنده‌ها و ربات‌ها، سایت شما را مورد بازدید قرار دهند و عملیات ایندکس را از نو شروع کنند. این کار ممکن است از یک ساعت تا ۱ هفته به طول بینجامد.
دوم اینکه با استفاده از ابزار وب مستر در بخش fetch and crawl feature به موتورهای جستجو هشدار دهید تا سریع‌تر به سایت شما سر بزنند.
کاربرد مفید منع بازدید خزنده‌ها برای چه زمانی است؟
گاهی از اوقات، وبمسترها می‌خواهند محتوایی را صرفا برای یک عده‌ی خاص ایجاد کنند به طوری که دیگران نتوانند از طریق جستجوی موتورهای جستجو، به این مطالب دست پیدا کنند. بهترین روش اقدام توسط noindex است. این کار در بسیاری از اوقات شامل قوانین محرمانگی است.
در بسیاری از اوقات، وبمسترها تنها برای اینکه بتوانند بخش‌هایی از سایت را آنالیز کنند، اقدام به منع بازدید خزنده‌ها برای مدت محدودی می‌نمایند. برای نمونه وقتی که مدیر بازاریابی قصد دارد کمپین‌های مختلف را مورد بررسی قرار دهد، نا چار است صفحاتی که در نتیجه آنالیز تاثیر منفی دارند را بلاک کند تا بهترین نتیجه را بگیرند.
گاهی اوقات در سایت‌های تبلیغاتی، نیز برای جلوگیری از لینک‌های خارجی زیاد، و اثر منفی آن، لینک‌ها را no follow می‌کنند.
موضوع عدم ایندکس، گاهی به دلایل سهوی نیز پیش می‌آید. برای مثال فروشگاه‌های اینترنتی عموما صفحات مشابه زیادی دارند از این رو، وبمسترها با ایجاد صفحات مشابه، سعی در تنظیم مشخصات محصولات می‌کنند و در نهایت، فراموش می‌کنند تگ‌های عنوان را تغییر دهند. به همین دلیل موتورهای جستجو، تمام صفحات را یک صفحه تصور می‌کنند. در خوشبینانه‌ترین حالت، موتورهای جستجو، تنها یک صفحه از میان صفحات را انتخاب و نمایش می‌دهند که البته اگر بد شانس باشید، با توجه به الگوریتم‌های گوگل، مورد هجوم جریمه‌هایی قرار می‌گیریدکه گاهی کل سایت تجاری شما را از بین خواهد برد. بنابراین دقت در اصول موتورهای جستجو اصلی بسیار مهم است.
