一般來說,阻止搜索引擎收錄也可能成為一個SEO問題讓搜索引擎抓取和索引更多的問題SEO人們經常頭疼,沒有包括,索引就不能談論排名。特別是對于達到一定規模的網站,上海seo充分收錄網站是一個相當麻煩的網站SEO技術,當頁面達到時,無論網站架構如何設計,多么優化,都不可能包含,只能盡可能提高包含率。
但有時如何阻止搜索引擎收錄也可能成為一個問題,近年來網站不收錄越來越成為一個問題SEO問題。需要防止包含的情況,如保密信息、復制內容、廣告鏈接等。過去常用的防止包含方法包括密碼保護、表格后面的內容、使用JS/Ajax、使用Flash等。
使用Flash
Google幾年前,我開始嘗試抓取Flash內容,可以捕捉到簡單的文本內容。Flash內部鏈接也可以跟蹤。
表格
Google蜘蛛也可以填表,抓取表格POST請求頁面。這可以從日志中看到。
JS/Ajax
使用JS鏈接一直被認為是不搜索引擎的友好方法,所以它可以阻止蜘蛛爬行,但兩三年前我看到了JS無法阻止鏈接Google蜘蛛抓,不僅如此JS中出現的URL會被爬,簡單JS還能被執行找到更多URL。
上圖為:阻止搜索引擎收錄的原因
前幾天有人發現很多網站都是優化的。Facebook評論插件中的評論被爬和收錄,插件本身就是一個AJAX。這是個好消息。我的一個實驗電子商務網站的產品評論功能,因為這需要很多努力,使用Facebookcomments插件有很大的好處。以后有時間說具體的好處是什么?問題是評論AJAX目的之一是不能抓取實現的產品評論(生成原創內容)。當時想了很久也沒有解決辦法,只好先傻傻的放上去。Facebookcomments插件又打開購物車本身的評論功能。現在好了,Facebookcomments如果可以收錄評論,就不需要兩套評論功能。
Robots文件
目前,確保內容不包括在內的方法是robots禁止文件。但也有一個缺點,權重會流失。雖然內容不能包括在內,但頁面已經成為一個無底洞,只接受鏈接權重,不流出權重。
Nofollow
Nofollow不能保證不包括在內。即使你的網站所有指向頁面的鏈接都添加了NF,也不能保證別人的高等網站建設不會給這個頁面一個鏈接,搜索引擎仍然可以找到這個頁面。
MetaNoindexFollow
為了防止收錄和權重傳遞,可以在頁面上使用metanoindex和metafollow,這樣,頁面不包括在內,但權重可以流出。事實上,這也是一個更好的方法。還有一個問題,它仍然會浪費蜘蛛爬行的時間。讀者有辦法防止包括,沒有重量損失,也沒有浪費爬行時間,請留言SEO界功德無量。