眾所周知，SEO優化中robots機器人是用來抓取網站內容的，而robots.txt文件則是放在我們網站根目錄下面的一個文本文件，用來規定什么蜘蛛（機器人）可以抓取什么文件，不可以抓取什么文件。我們通常用robots來告訴搜索引擎，這個目錄你可以進，那個目錄你不可以進；這個文件你可以訪問，那個文件你不能訪問。但是有些時候，robots文件，我們還是要謹慎使用的好。
事情還得從年初開始。年初我負責的一個網站因為網站剛建好，內容還沒填充完整，大家的觀點不都是沒建好的網站不要給搜索引擎抓取嘛。我用robots.txt文件把網站根目錄屏蔽所有搜索引擎抓取，等到一個月之后，填充得已經差不多了，我就開放蜘蛛抓取。我不僅有提交首頁網址給百度，提交網址診斷，而且還發了不少外鏈，但一天一天過去，在百度上面SITE網站就是一個收錄都沒有。我就納悶了，是不是我什么地方設置錯誤了呢？結果在谷歌上面site了一下已經有上百個收錄了，306，搜狗上面也有少則幾個多則十幾個收錄了。于是我不得不認為是robots屏蔽，百度長時間未反應過來導致的。
前兩個月，我又有一個新站重新建好開始填充內容，也是把網站屏蔽著，結果到現在都兩個月過去了，可是還是不收錄，首頁還是提示“由于該網站的robots.txt文件存在限制指令，系統無法提供該頁面的內容描述?！倍雀缡珍浟?3條，搜狗收錄了1條，360收錄了45條。這次我這次徹底對度娘的robots文件反應速度是無語了。下圖上為:site:www.gzfengbao.com的結果
前兩天在群里與伙伴們討論，一位叫烏鴉的大神說自己之前也遇到過幾次這樣的情況。
在此蝸牛SEO慎重的提醒各位朋友，新建的網站，千萬不要先把網站文件上傳到空間后加個robots.txt，然后填充信息，填充好了才開放抓取。如果可以在本地把網站建好，填充好內容再上傳最好，否則上傳到空間加robots禁止抓取，等開放抓取的時候，百度蜘蛛很可能又會幾個月時間都反應不過來。幾個月后網站才被收錄，對網站優化的周期影響無疑是巨大的。
本文由上海SEO蝸牛博客原創出品，請大家轉載時保留本段內容。大家如有興趣，可以與蝸牛一起探討SEO技術，討論SEO發展前景，或者討論職業發展與人生夢想。蝸牛期待成為你忠實的朋友。
轉載請注明：?蝸牛SEO? ? 經驗分享：新網站請謹慎設置robots屏蔽
