自動采集線報(bào)網(wǎng)站源碼(網(wǎng)站自動采集系統(tǒng))
本篇文章給大家談?wù)勛詣硬杉€報(bào)網(wǎng)站源碼,以及網(wǎng)站自動采集系統(tǒng)對應(yīng)的知識點(diǎn),希望對各位有所幫助,不要忘了收藏本站喔。
本文目錄一覽:
- 1、什么是帶采集的網(wǎng)站源碼
- 2、網(wǎng)站小偷采集源碼怎樣自動采集內(nèi)容,更新?
- 3、高分!求高手 網(wǎng)站信息采集源代碼或編程思路
- 4、小說網(wǎng)站源碼(帶采集功能的,最好是asp的)
- 5、誰也免費(fèi)的PHP小說網(wǎng)站源碼?帶自動采集的那種!誰說的能用我給加100分!!
- 6、求小說站源碼 帶后臺 自動采集的
什么是帶采集的網(wǎng)站源碼
采集就是按照一定的規(guī)則自動采集別人網(wǎng)站上的文章,現(xiàn)在大多cms網(wǎng)站都有采集功能,如果沒有的可以用一些采集軟件,比如火車頭、狂人采集器等等!不過采集會影響百度對自己網(wǎng)站的收錄,嚴(yán)重話還會導(dǎo)致降權(quán)甚至K站,所以,建議網(wǎng)站初期用下采集,當(dāng)正式步入軌道以后就停止,自己更新高質(zhì)量文章,當(dāng)然,如果是做垃圾站就無所謂了!
網(wǎng)站小偷采集源碼怎樣自動采集內(nèi)容,更新?
如果是完全版, 那就不用了其他的采集了, 只要有人訪問, 程序就自動獲取數(shù)據(jù)的。
高分!求高手 網(wǎng)站信息采集源代碼或編程思路
思路:
RSS采集
相似算法
聚類
分類
(一)原理
小偷程序?qū)嶋H上是通過了XML中的XMLHTTP組件調(diào)用其它網(wǎng)站上的網(wǎng)頁。比如新聞小偷程序,很多都是調(diào)用了sina的新聞網(wǎng)頁,并且對其中的html進(jìn)行了一些替換,同時對廣告也進(jìn)行了過濾。用小偷程序的優(yōu)點(diǎn)有:無須維護(hù)網(wǎng)站,因?yàn)樾⊥党绦蛑械臄?shù)據(jù)來自其他網(wǎng)站,它將隨著該網(wǎng)站的更新而更新;可以節(jié)省服務(wù)器資源,一般小偷程序就幾個文件,所有網(wǎng)頁內(nèi)容都是來自其他網(wǎng)站。缺點(diǎn)有:不穩(wěn)定,如果目標(biāo)網(wǎng)站出錯,程序也會出錯,而且,如果目標(biāo)網(wǎng)站進(jìn)行升級維護(hù),那么小偷程序也要進(jìn)行相應(yīng)修改;速度,因?yàn)槭沁h(yuǎn)程調(diào)用,速度和在本地服務(wù)器上讀取數(shù)據(jù)比起來,肯定要慢一些。
(二)事例
以下是代碼片段:
下面就XMLHTTP在ASP中的應(yīng)用做個簡單說明
〈%
’常用函數(shù)
’1、輸入url目標(biāo)網(wǎng)頁地址,返回值getHTTPPage是目標(biāo)網(wǎng)頁的html代碼
function getHTTPPage(url)
dim Http
set Http=server.createobject("MSXML2.XMLHTTP")
Http.open "GET",url,false
Http.send()
if Http.readystate〈〉4 then
exit function
end if
getHTTPPage=bytesToBSTR(Http.responseBody,"GB2312")
set http=nothing
if err.number〈〉0 then err.Clear
end function
’2、轉(zhuǎn)換亂瑪,直接用xmlhttp調(diào)用有中文字符的網(wǎng)頁得到的將是亂瑪,可以通過adodb.stream組件進(jìn)行轉(zhuǎn)換
Function BytesToBstr(body,Cset)
dim objstream
set objstream = Server.CreateObject("adodb.stream")
objstream.Type = 1
objstream.Mode =3
objstream.Open
objstream.Write body
objstream.Position = 0
objstream.Type = 2
objstream.Charset = Cset
BytesToBstr = objstream.ReadText
objstream.Close
set objstream = nothing
End Function
’下面試著調(diào)用的html內(nèi)容
Dim Url,Html
Url=""
Html = getHTTPPage(Url)
Response.write Html
%〉A(chǔ)SP小偷入門教程.....附QQ天氣小偷源代碼
要做一名好的小偷有點(diǎn)難度:P,靈活運(yùn)用XMLHTTP組件,你也可以做“小偷”
這里所說的“小偷”指的是在ASP中運(yùn)用XML中的XMLHTTP組件提供的強(qiáng)大功能,把遠(yuǎn)程網(wǎng)站上的數(shù)據(jù)(圖片,網(wǎng)頁及其他文件)抓取到本地,經(jīng)過各種處理后顯示到頁面上或者存儲進(jìn)數(shù)據(jù)庫的一類程序。你可以通過這種小偷程序,完成過去一些似乎完全不可能實(shí)現(xiàn)的任務(wù),比如說把某個站的頁面偷梁換柱后變成自己的頁面,或者把某個站的一些數(shù)據(jù)(文章,圖片)保存到本地?cái)?shù)據(jù)庫中加以利用?!靶⊥怠钡膬?yōu)點(diǎn)有:無須維護(hù)網(wǎng)站,因?yàn)樾⊥党绦蛑械臄?shù)據(jù)來自其他網(wǎng)站,它將隨著該網(wǎng)站的更新而更新;可以節(jié)省大量的服務(wù)器資源,一般小偷程序就幾個文件,所有網(wǎng)頁內(nèi)容都是來自其他網(wǎng)站。缺點(diǎn)在于:不穩(wěn)定,如果目標(biāo)網(wǎng)站出錯,程序也會出錯,而且,如果目標(biāo)網(wǎng)站進(jìn)行升級維護(hù),那么小偷程序也要進(jìn)行相應(yīng)修改;速度,因?yàn)槭沁h(yuǎn)程調(diào)用,速度和在本地服務(wù)器上讀取數(shù)據(jù)比起來,肯定要慢一些。怎么樣,聽起來很神奇吧?我們現(xiàn)在就開始來學(xué)習(xí)一些“小偷”程序的入門知識吧!
我們拿個簡單點(diǎn)的東西來研究一下吧,QQ網(wǎng)站上的天氣預(yù)報(bào)程序
程序演示地址:
源碼下載:
代碼如下:
以下是代碼片段:
〈%
On Error Resume Next
Server.ScriptTimeOut=9999999
Function getHTTPPage(Path)
t = GetBody(Path)
getHTTPPage=BytesToBstr(t,"GB2312")
End function'首先,進(jìn)行小偷程序的一些初始化設(shè)置,以上代碼的作用分別是忽略掉所有非致命性錯誤,把小偷程序的運(yùn)行超時時間設(shè)置得很長(這樣不會出現(xiàn)運(yùn)行超時的錯誤),轉(zhuǎn)換原來默認(rèn)的UTF-8編碼轉(zhuǎn)換成GB2312編碼,否則直接用XMLHTTP組件調(diào)用有中文字符的網(wǎng)頁得到的將是亂碼。
以下是代碼片段:
Function GetBody(url)
on error resume next
Set Retrieval = CreateObject("Microsoft.XMLHTTP")
With Retrieval
.Open "Get", url, False, "", ""
.Send
GetBody = .ResponseBody
End With
Set Retrieval = Nothing
End Function
’然后調(diào)用XMLHTTP組件創(chuàng)建一個對象并進(jìn)行初始化設(shè)置。
Function BytesToBstr(body,Cset)
dim objstream
set objstream = Server.CreateObject("adodb.stream")
objstream.Type = 1
objstream.Mode =3
objstream.Open
objstream.Write body
objstream.Position = 0
objstream.Type = 2
objstream.Charset = Cset
BytesToBstr = objstream.ReadText
objstream.Close
set objstream = nothing
End Function
Function Newstring(wstr,strng)
Newstring=Instr(lcase(wstr),lcase(strng))
if Newstring〈=0 then Newstring=Len(wstr)
End Function
’處理抓取回來的數(shù)據(jù)需要調(diào)用adodb.stream組件并進(jìn)行初始化設(shè)置。%〉
’以下即為頁面顯示部分
〈%
Dim wstr,str,url,start,over,city
’定義一些需要使用到的變量
city = Request.QueryString("id")
’程序傳回的ID變量(即用戶選擇的城市)賦給id
url=""city""
’這里設(shè)置需要抓取的頁面地址,當(dāng)然你也可以直接指定某個地址而不使用變量
wstr=getHTTPPage(url) ' 以下是代碼片段:
獲取指定頁面的全部數(shù)據(jù)
start=Newstring(wstr," ")
’這里設(shè)置需要處理的數(shù)據(jù)的頭部,這個變量應(yīng)視不同情況而設(shè)置,具體內(nèi)容可以通過查看需要抓取的頁面的源代碼來確定。因?yàn)樵谶@個程序里我們需要抓取整個頁面,所以設(shè)置為頁面全部抓取。注意,設(shè)置的內(nèi)容必須是頁面內(nèi)容唯一的,不可以重復(fù)。
over=Newstring(wstr," ")
’和start相對應(yīng)的就是需要處理的數(shù)據(jù)的尾部,同樣的,設(shè)置的內(nèi)容必須是頁面中唯一的。
body=mid(wstr,start,over-start)
’設(shè)置顯示頁面的范圍
’下面就是動用乾坤挪移大法的時候了,通過replace可以用一些字符替換掉數(shù)據(jù)中指定的字符。
body = replace(body,"skin1","天氣預(yù)報(bào)")
body = replace(body,"","tianqi.asp?id")
’本程序中已經(jīng)完成了替換的工作,如果有其他需要的話可以繼續(xù)進(jìn)行類似的替換操作。
response.write body
%〉替換完需要修改的內(nèi)容后,就可以把修改的內(nèi)容顯示在頁面上了。至此程序結(jié)束
程序使用方法及結(jié)果:把上述代碼去掉說明部分后保存為tianqi.asp,上傳到支持ASP和XML的空間下,在瀏覽器中運(yùn)行即可。你可以在在這個程序的基礎(chǔ)上進(jìn)行進(jìn)一步的界面美化或者程序優(yōu)化。
以上只是一些關(guān)于XMLHTTP組件的初級應(yīng)用,實(shí)際上它還能實(shí)現(xiàn)的功能還有很多,比如說保存遠(yuǎn)程圖片到本地服務(wù)器上,配合adodb.stream組件可以把獲取來的數(shù)據(jù)保存進(jìn)數(shù)據(jù)庫。小偷的作用和使用范圍都很廣。但是不可以拿來做違法的事哦!
也許還有人要問了,這種“小偷”程序難道只是ASP的專利嗎?非也,PHP通過fopen函數(shù)一樣可以實(shí)現(xiàn)同樣的效果,由于PHP本身的各種特點(diǎn),寫出來的小偷程序和ASP相比,在體積和執(zhí)行效率上都有著明顯的優(yōu)勢,但限于篇幅,這里就不一一說明了。
小說網(wǎng)站源碼(帶采集功能的,最好是asp的)
復(fù)活小說站(帶采集功能) v4.6
* 源碼大小: 2.01 MB
* 源碼類別: 源代碼 | 影視娛樂
* 源碼語言: 簡體中文
* 運(yùn)行環(huán)境: Asp/Access/
功能介紹:
1.帶采集功能,可自己了設(shè)計(jì)采集哪個站點(diǎn),另內(nèi)已存幾個好的小說網(wǎng)采集。
2.整合了廣告系統(tǒng),可以直接修改廣告,不用每次都改網(wǎng)站代碼。
其他功能介紹:
一、會員功能模塊
1、站內(nèi)短信發(fā)布(正在制作)
2、書架收藏夾
3、發(fā)表評論
4、申請作家(與添書員整合)
5、申請?zhí)頃鴨T(與作家整合)
6、申請更新員
7、VIP會員申請(請?jiān)凇霸诰€客服”中留言給管理員提出申請)
二、作家功能模塊
1、我的文章
2、發(fā)表新作
3、增加章節(jié)
4、作家專欄
5、VIP作品申請(正在制作)
三、添書員功能模塊
和作家功能類似,不在介紹
四、靜態(tài)圖書生成模塊
五、廣告管理模
六、后臺管理模塊
網(wǎng)站的核心內(nèi)容,功能如下:
1、系統(tǒng)參數(shù)配置
2、網(wǎng)站數(shù)據(jù)備份
3、在線執(zhí)行SQL
4、作品管理
5、作品采集
后臺:/admin/index.asp
帳號:admin 密碼:admin
廣告后臺地址:ge/index.asp
帳號:admin 密碼:admin
誰也免費(fèi)的PHP小說網(wǎng)站源碼?帶自動采集的那種!誰說的能用我給加100分?。?/h2>
現(xiàn)在小說系統(tǒng)都加密了,建議用dedecms建站,高負(fù)載+全站靜態(tài)
dedecms的采集也很厲害,不過你要慢慢寫采集規(guī)則
其實(shí)其他的小說系統(tǒng)不一定有dedecms好用
你用心用dedecms打造一個自己的小說站,回報(bào)絕對超出你的想象
求小說站源碼 帶后臺 自動采集的
小說站就用老Y文章管理系統(tǒng),很多人都用的這個源碼,里邊自帶采集,采集需要寫采集規(guī)則,具體怎么寫一句兩句說不清,你可以去網(wǎng)上搜一下采集規(guī)則教程,只要用心看,還是可以學(xué)會的!@
關(guān)于自動采集線報(bào)網(wǎng)站源碼和網(wǎng)站自動采集系統(tǒng)的介紹到此就結(jié)束了,不知道你從中找到你需要的信息了嗎 ?如果你還想了解更多這方面的信息,記得收藏關(guān)注本站。
掃描二維碼推送至手機(jī)訪問。
版權(quán)聲明:本文由飛速云SEO網(wǎng)絡(luò)優(yōu)化推廣發(fā)布,如需轉(zhuǎn)載請注明出處。