關于網(wǎng)站死鏈的若干問題
在網(wǎng)站的日常運營中,出現(xiàn)死鏈,那是一件很正常的事情。但是,如果我們不盡快處理網(wǎng)站的死鏈,不僅會影響到網(wǎng)站的用戶體驗,同時還會影響到網(wǎng)站的搜索效果。
那么,今天小編就為大家講解一下,死鏈是如何產(chǎn)生的;死鏈對網(wǎng)站又有何影響;我們應該如何去發(fā)現(xiàn)死鏈;我們應該如何正確處理死鏈。
導致網(wǎng)站出現(xiàn)死鏈的因素有很多。而最常見的因素有6個:
1、網(wǎng)站內(nèi)部添加了錯誤的內(nèi)部鏈接:由于編輯員的失誤或者是程序員的大意,導致網(wǎng)站產(chǎn)生了一些不存在的頁面,而這些頁面就是死鏈。
2、網(wǎng)站出現(xiàn)暫時無法訪問的情況:由于服務器、空間或者程序出了問題,導致網(wǎng)在短時間內(nèi)無法訪問,那么網(wǎng)站就會產(chǎn)生大量返回碼為5開頭的服務器錯誤頁面。
3、外部鏈接的錯誤:用戶或者站長在站外發(fā)布了錯誤URL;別的網(wǎng)站復制或采集了你們含有錯誤鏈接的頁面。
4、爬蟲提取了不完整的url:由于網(wǎng)站個別url中存在不規(guī)則字符,或者url與后面的文字鏈接起來,導致個別爬蟲在提取頁面url時,提取了不完整的url,使得url變得無效。
5、網(wǎng)站改版:這是最容易產(chǎn)生死鏈的一個因素。因為網(wǎng)站在改版的時候,會刪除許多的老頁面,從而會導致網(wǎng)站產(chǎn)生大量的死鏈。
6、管理員刪除頁面:網(wǎng)站管理員刪除被黑、廣告、過時、被灌水頁面導致很多死鏈接。
死鏈對網(wǎng)站的影響有三方面,分別是:
1、影響搜索引擎對網(wǎng)站的評分。
2、會浪費掉搜索引擎抓取網(wǎng)站頁面的配額并且會影響其他正常頁面的抓取。
3、會影響網(wǎng)站的用戶體驗。
網(wǎng)站的鏈接那么多,我們可以通過什么方法去發(fā)現(xiàn)死鏈呢?
1、百度站長工具中的抓取異常工具可以查看最近一個月產(chǎn)生的各種死鏈,并支持導出功能。
1、百度站長工具:站長工具有一個抓取異常工具,可以查看最近一個月所產(chǎn)生的鏈接,而且可以導出。
2、使用相關爬蟲軟件:比如Xenu,可以爬取全站所有鏈接并分析頁面狀態(tài),分析完成后,還可以導出,對于我們提取死鏈接很方便。
3、在網(wǎng)站運營中,特別是論壇,經(jīng)常需要刪除某些頁面,在刪除頁面時一定要記錄對應的Url以便后期提交死鏈。
通過上述兩種辦法提取的死鏈列表,一定要經(jīng)過刪重和驗證,比如用wps表格進行刪除重復鏈接,然后再使用Http狀態(tài)批量查詢工具驗證下是否確實是死鏈接。
1、網(wǎng)站改變是最容易產(chǎn)生死鏈接的,所以我們在改版網(wǎng)站的時候,盡量不要刪除或修改一些有價值的url。如果我們一定要更換域名或者url分配規(guī)則的話,那么我們一定要對之前有價值的url進行一個301跳轉(zhuǎn),使其跳轉(zhuǎn)到相關的url上。如果我們真的要刪除老的數(shù)據(jù)的話,那么我們必須要對刪除的頁面的url進行整理以及提交死鏈。
2、對于那些已經(jīng)整理好的死鏈粘貼到網(wǎng)站根目錄的一個文檔中,然后將這個文檔地址提交到百度站長工具--網(wǎng)頁抓取--死鏈提交--添加新數(shù)據(jù)--填寫死鏈文件地址,這樣就可以處理網(wǎng)站所發(fā)現(xiàn)的死鏈了。當然,如果這些死鏈是有一定規(guī)則的話,我們可以用規(guī)則開提交死鏈的。
相關注意事項:
1、在百度站長工具中提交死鏈前,一定要確保提交的死鏈數(shù)據(jù)不存在活鏈接。一旦存在活鏈,會顯示提交失敗導致無法刪除。
2、由于很多網(wǎng)站程序問題,很多打不開的頁面返回碼并非404,這是一個大問題,比如明明是打不開的頁面返回碼是301、200、500,如果是200的話,會導致網(wǎng)站中出現(xiàn)不同URL獲取相同內(nèi)容。比如我的一個站,社區(qū)的帖子刪除后,返回碼卻是500,后期發(fā)現(xiàn)了,立馬進行了處理。大家盡量找出所有錯誤URL格式,并設置HTTP狀態(tài)碼為404。
3、把所有的錯誤頁面找到后,一定要尋找此類頁面URL相同特征,并且和正常頁面的特征有區(qū)分,寫對應規(guī)則到robots文件中,禁止蜘蛛抓取,就算你已經(jīng)在站長工具中提交了死鏈,也建議robots封禁抓取。
4、robots只能解決蜘蛛不再抓取此類頁面,但解決不了已經(jīng)收錄頁面的快照刪除問題,若你的網(wǎng)站被黑,刪除了被黑頁面,除了robots封禁被黑頁面外,還應該將這些頁面提交死鏈。提交死鏈是刪除被黑頁面快照的最快辦法。