[Mohsen Omidvar]

مشکل اولی به خاطر این بوده که گوگل به سرور سایت شما دسترسی نداشته
و وقتی رباتهای گوگل به سایت شما سر زدن ،سایت در دسترس نبوده
از طریق سایت زیر میتونید آپ تایم بودن سایتتونو چک کنید
این سایت به صورت شبانه روزی از تمام کشورها سایت شما رو چک میکنه و هر وقت در دسترس نبود به شما اطلاع میده
*شما قادر به دیدن لینک ها نیستید ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید*
و اما مشکل دوم
از طریق فایل robot.txt عمل کنین :
همه آدرس هایی که ارور 404 میده رو توی این فایل وارد کنین و برای همه ربات ها Disallow کنین
بعد یه مدت دیگه به اون آدرس ها سر زده نمیشه و شما می تونین اونها رو از robot.txt حذف کنین
فایل robot.txt در روت سایت قرار داره
از طریق خود گوگل وبمستر هم میشه robot.txt ایجاد کنین

روش ساخت robot.txt در گوگل وبمستر :
اول وارد مدیریت سایتت تو وبمستر گوگل شو
بعد :
site configuration /crawler access
سه تا تب باز میشه
1.Blocked URLs
2.create robot.txt
3. remove urls
گزینه دوم رو انتخاب کن
و لینکها رو به صورت زیر بساز
مثلا :
Disallow: /pic/Elnaz shakerdoost.html
Disallow: /music/ferydon-asrai.html

بعضی مواقع میخوایم کل صفحات یک موضوع ایندکس نشه
در این صورت :
Disallow: /pic/
Disallow: /music/
Disallow: /page2/
و در آخر فایلی که ساختی ذخیره کن و در روت سایت بزار