台南網頁設計
SEO行銷
SEO關鍵字排名
Google廣告行銷
企業建站方案
網路開店
問題與討論
ECFA
蘋果科技服務項目
 
 
  關鍵字排名 最新消息列表
關鍵詞行銷 關鍵詞排名
Robots.txt是什麼

Robots.txt是什麼?
Robots.txt是一個SEO文本(而不是HTML)的檔案,你把你的網站告訴搜索機器人哪些頁面,你想他們不要訪問。 robots.txt是絕不為搜索引擎,但一般搜索引擎服從什麼要求他們不要做強制性的。重要的是要澄清的robots.txt是不是從阻止抓取您的網站搜索引擎的方法(也就是說,它是不是一個防火墻,或密碼保護的一種)和事實,即你把robots.txt文件有點像再一次說明:“請不要進入一個上鎖的門” -例如:你不能阻止,但好人無法打開門,進入到未來的小偷。這就是為什麼我們說,如果你真的有敏感數據,這是太天真的依賴robots.txt來保護它被索引並顯示在搜索結果。

robots.txt是偉大的搜索引擎時,經常訪問的網站SEO和索引你的內容,但往往出現情況下,當您的在線內容索引部分,不是你想要的。例如,如果你有兩個1頁(在瀏覽器中查看和打印一個)版本,您更願意在印刷版本從爬行排除,否則,你可能被處以罰款重復內容。如果你碰巧在網站上,你不希望世界看到的敏感數據,那麼你就會喜歡,搜索引擎不要索引不敏感的數據索引這些網頁(雖然在這種情況下,唯一的辦法是肯定保持離線對一個單獨的機器)。此外,如果您想節省一些所不計形象,樣式表和索引JavaScript,您還需要一種方法來告訴蜘蛛,以防止這些項目以外的帶寬。

其中一個方法告訴您的SEO優化網站上,以避免搜索引擎的文件和文件夾是符合預定的標準和使用。但是,因為並非所有的搜索引擎閱讀MetaTags,機器人MetaTags可以簡單地被忽視。一個更好的方法,告知您的意願,搜索引擎是使用robots.txt文件。

所在robots.txt是非常重要的。它必須在主目錄,否則User-agent(搜索引擎)將無法找到它-他們不robots.txt的搜索為命名文件整個網站。相反,他們先看看在主目錄(即http://mydomain.com/robots.txt),如果他們沒有找到,他們只是假設這個網站設計沒有robots.txt文件,因此他們指數的一切,他們找到前進的道路。所以,如果你不把在正確的地方的robots.txt,不要驚訝,搜索引擎索引你的整個網站。

robots.txt的概念和robots.txt的結構已經開發了超過10年前,如果你有興趣更多地了解它,請訪問http://www.robotstxt.org/或者你可以去機器人排除直接為標準,因為在這篇文章中,我們將只涉及一個robots.txt文件的最重要方面。下一步,我們將繼續與網頁設計結構的robots.txt文件。

#所有User-agent是不準看/ temp目錄。

User-agent: *
Disallow: /temp

一個Robots.txt文件的陷阱
當你開始做復雜的文件-即你決定,讓不同的User-agent訪問不同目錄-問題就可以啟動,如果你不特別註意的robots.txt文件的陷阱。常見的錯誤包括拼寫錯誤和矛盾的指令。拼寫錯誤拼寫錯誤,User-agent,目錄,失蹤後,User-agent和批駁,錯別字等,可能比較難找到,但在某些情況下,驗證工具,幫助冒號。


一個robots.txt的結構非常簡單(勉強靈活) -它是一個User-agent不盡的名單及Disallow的文件和目錄。基本上,語法如下:

User-agent:
Disallow:

“User-agent”是搜索引擎的抓取工具,不準:列出的文件和目錄被排除在索引。除了user-agent:和disallow:項,您可以包括註釋行-只是把在該行開頭的#符號: 

文章源自:http://www.vastydesign.com.tw/news-a7612d75-41db-42bd-353f-07406be3c924.html
版權歸104網頁設計SEO有限公司所有,若要轉載請標上文章源自,感謝您的合作!


關鍵字優化 網站優化
關鍵字廣告
SEO,台南網頁設計
網頁設計  |   關於我們  |    服務項目   |   最新消息   |   作品&成功案例   |   知識庫   |   連絡我們   |   FAQ   |   網站地圖  |   JSEO-RSSRSS
 

水果派網頁設計公司給您的網站做最完美的SEO優化設計方案,讓您的站點在奇摩上曝光率更高,更多人點擊。

網頁設計