不會(huì)的目前百度蜘蛛還不能讀取js里面的內(nèi)容所以，建議把網(wǎng)站重要的內(nèi)容和信息不要寫在js里面。

1 第一種方法需要我們使用robotstxt屏蔽百度蜘蛛抓取下圖所示頁面2 屏蔽效果如下圖所示3 除此以外，我們也可以通過使用robotsMeta標(biāo)簽，屏蔽搜索引擎抓取，在頭部加入下圖紅框所圈代碼即可4 屏蔽代碼如下圖所示。

寫robotstxt文件，用記事本做一個(gè)robotstxt 下面是內(nèi)容 UseragentDisallow 以上可以直接復(fù)制，表示所有搜索引擎，禁止抓取本站任何內(nèi)容 風(fēng)險(xiǎn)使用屏蔽后，就算刪除該文件，網(wǎng)站也會(huì)長時(shí)間不收錄，至少半年 做完robots。

下面向站長介紹一些常見的抓取異常原因1，服務(wù)器連接異常 服務(wù)器連接異常會(huì)有兩種情況一種是站點(diǎn)不穩(wěn)定，Baiduspider嘗試連接您網(wǎng)站的服務(wù)器時(shí)出現(xiàn)暫時(shí)無法連接的情況一種是Baiduspider一直無法連接上您網(wǎng)站的服務(wù)器造成服務(wù)。

你好，樓主蜘蛛可以抓取到網(wǎng)站頁面，但是無法抓取到內(nèi)容，有一下幾點(diǎn)原因1網(wǎng)站內(nèi)容基本都是圖片，或者是文字內(nèi)容在圖片里 2網(wǎng)站使用了frame和iframe框架結(jié)構(gòu)，通過iframe顯示的內(nèi)容可能會(huì)被百度丟棄 3Flash圖片。

你這種情況確實(shí)是個(gè)問題，但我不太清楚你說的日志看到的情況是大部分情況還是所有，即然你從網(wǎng)站日志說起，我給你如下建議供參考1檢查自從網(wǎng)站上線到現(xiàn)在的所有網(wǎng)站日志，查看是否有百度蜘蛛訪問過其它頁面的記錄2。