SEO的世界里,robots.txt文件是個小管家,告訴搜索引擎哪些內容能抓,哪些不能。但新站上線時,這個小管家可能讓你頭疼。年初,我負責的網站剛建好,內容還沒全,就用了robots.txt把根目錄全屏蔽了。一個月后,內容差不多了,我開放了抓取,結果百度就是不收錄,谷歌和搜狗卻收錄了一堆。看來百度的小管家反應有點慢。
兩個月前,我又建了個新站,也是先屏蔽后開放,結果百度到現在還沒收錄,谷歌卻收錄了93條,搜狗和360也收錄了一些。這讓我對百度的小管家徹底無語了。
前兩天,群里的烏鴉大神也分享了類似經歷。疊玉科技SEO提醒大家,新站最好在本地建好、內容填好再上傳,別急著上傳后加robots.txt。否則,百度的小管家可能幾個月都不給你收錄,影響網站優化周期。
由上海SEO上海疊玉科技原創,轉載請保留。疊玉科技期待與大家探討SEO技術,共話職業發展和人生夢想。