台南網頁設計
台南廣告設計
SEO關鍵字排名
Google廣告行銷
企業建站方案
網路開店
問題與討論
ECFA
蘋果科技服務項目
 
 
  台南網頁設計 知識庫列表
台南平面設計 台南網站架設
動態URL對SEO網站優化有什麽影響

眾所周知的搜索引擎的檢索結果頁面就是動態網頁。搜索引擎收到用戶提交的查詢請求後,會搜索它的數據庫,查找相關的地址,並生成一個搜索引擎結果頁面。這個頁面會整合查詢結果及其他信息,如搜索引擎標識和廣告。它生成的網頁是一個真實的網頁,有惟一的URL(對大多數搜索引擎來說),但是,如果爬蟲訪問搜索引擎站點,它不會發現該網頁,因為該網頁是響應查詢請求生成的,響應結束後,立即被清除。

動態網頁是響應用戶使用行為時自動生成的網頁,在用戶發出請求之前,動態網頁是不存在的。動態網頁給網絡爬蟲帶來了麻煩。在網絡上有很多有用信息。但不是以靜態網頁形式呈現的。這些網頁必須向數據庫發出一個請求才能訪問,包括一些圖書館目錄、商業產品數據庫以及數字圖書館。這些通常只是被稱作“不可見的網絡”或者“深度網絡”的一部分,前一個概念已經由Sherman和Price普及(2001)。爬蟲數據的使用者必須接受這一不可避免的局限性,即網絡爬蟲無法找到大量不同類型的動態網頁。

對鏈接分析而言,未將爬蟲數據建庫已不是問題,但有一個相關問題值得註意,即有些網站以動態網頁為核心,而不是以數據庫為核心。有一些SEO技術可用於自動生成動態網頁,包括PHP技術和ASP技術。

商業搜索引擎的爬蟲通常回避這些帶問號的URL,因為這些URL可能會導致蜘蛛陷阱。Google已經放寬了對這些站點的限制。Google爬蟲似乎有另一種避免蜘蛛陷阱的方法。舉例來說,它可能沿著指向帶問號URL的鏈接爬行,但不會爬取帶問號的URL,這樣便可以跳出蜘蛛陷阱的遞歸循環。

鏈接分析研究者應當註意,研究型的網絡爬蟲不能遍歷含動態網頁的站點,或者只能遍歷深度較淺的站點。商業搜索引擎的爬蟲也是如此。在使用爬蟲的時候,應當公開所使用的參數,以便其他研究者能判斷這些參數對結果的影響。遍歷參數集合列舉如下:

·拒絕訪問超過最大字符數的URL

·拒絕訪問超過最大斜線數的URL

·拒絕訪問帶有如下子串的URL:?,cgi-bin,&

動態網頁曾經是爬蟲的一大難題。設計爬蟲時,通常都回避動態網頁(如Charkabarti,Joshi,Punera,&Pennock,2002)。識別動態網頁時,只需要看URL中是否出現問號,含問號的就是動態網頁。忽略動態網頁是因為它們容易造成蜘蛛陷阱。蜘蛛陷阱理論上是一個無限的網頁集合,而蜘蛛永遠不能完整地遍歷這個集合。在線日歷就是一個容易被忽略的蜘蛛陷阱,它生成的動態網頁中可以標上任何日期,並包含指向後一天網頁的鏈接。一個爬蟲從這個日歷中找到一個網頁後,便會無止境地請求後一天的網頁。

文章源自:http://www.vastydesign.com.tw/news-d08f6e38-aeba-bc51-9aa9-ec42a2276c03.html
版權歸104網頁設計SEO有限公司所有,若要轉載請標上文章源自,感謝您的合作!

台南網頁設計公司 台南網站設計
台南網頁設計
SEO,台南網頁設計
網頁設計  |   關於我們  |    服務項目   |   最新消息   |   作品&成功案例   |   知識庫   |   連絡我們   |   FAQ   |   網站地圖  |   JSEO-RSSRSS
 

水果派網頁設計公司給您的網站做最完美的SEO優化設計方案,讓您的站點在奇摩上曝光率更高,更多人點擊。

網頁設計