內(nèi)容頁面通常都是分頁的，一次抓取不了太多，這個(gè)庫可以獲取分頁信息結(jié)果如下通過迭代器實(shí)現(xiàn)了智能發(fā)現(xiàn)分頁，這個(gè)迭代器里面會(huì)用一個(gè)叫 _next 的方法，貼一段源碼感受下通過查找 a 標(biāo)簽里面是否含有指定的文本來。

1提取列車Code和No信息2找到url規(guī)律，根據(jù)Code和No變化實(shí)現(xiàn)多個(gè)網(wǎng)頁數(shù)據(jù)爬取3使用PhantomJS模擬瀏覽器爬取源代碼4用bs4解析源代碼，獲取所需的途徑站數(shù)據(jù)5用csv庫存儲(chǔ)獲得的數(shù)據(jù)。

當(dāng)使用爬蟲抓取網(wǎng)頁時(shí)，一般只能獲取到網(wǎng)頁源代碼，而無法獲取到經(jīng)過瀏覽器渲染后的頁面內(nèi)容如果要獲取經(jīng)過瀏覽器渲染后的內(nèi)容，需要使用一個(gè)瀏覽器渲染引擎如Selenium來模擬瀏覽器行為，從而獲取到完整的頁面內(nèi)容另外。

如何使用Chrome的inspect找到隱藏的數(shù)據(jù)資源 懿漫剛開始抓數(shù)據(jù)的時(shí)候，會(huì)遇到在右鍵查看網(wǎng)頁源碼view page source中找不到的網(wǎng)頁中加載的數(shù)據(jù)，很苦惱啊 然后學(xué)會(huì)了如何使用Chrome的network來找到這些信息 3查找步驟4。