關(guān)于每個查找引擎優(yōu)化從業(yè)者來說，爬蟲每天都來咱們的網(wǎng)站抓取網(wǎng)頁，這是一個非常有價值的資源。但是，在這中心，由于爬蟲類的無序匍匐，它必然會糟蹋一些爬蟲類的匍匐資源。在此進程中，咱們需求處理查找引擎爬蟲重復(fù)抓取咱們網(wǎng)頁的問題。

　　·新發(fā)生的頁面，沒有被抓取過的

　　·發(fā)生了一段時間，遲遲不被抓取的

　　·發(fā)生了一段時間，卻一向沒收錄的

　　·發(fā)生好久的頁面，但最近更新了

　　·包含內(nèi)容更多的聚合頁面，如首頁、列表頁

　　關(guān)于上述類別，咱們定義了哪個類別最需求按次序進行爬網(wǎng)。

　　關(guān)于大型網(wǎng)站，查找引擎抓取器抓取過多的資源，而關(guān)于小型網(wǎng)站，抓取稀缺的資源。因而，咱們在此著重，咱們不是在企圖處理查找導(dǎo)致的重復(fù)匍匐問題，而是在企圖處理查找引擎盡可能快地匍匐咱們想要匍匐的頁面的問題。這個想法有必要糾正！

　　接下來，咱們來談?wù)勗趺醋尣檎乙媾老x最快地抓取咱們想要抓取的頁面。

　　爬蟲是抓取網(wǎng)頁并從該網(wǎng)頁中找到更多鏈接的進程。然后這一次咱們需求知道，假如咱們想更有可能被crawler抓取，咱們需求提供更多的鏈接，以便查找引擎crawler能夠找到咱們想要抓取的網(wǎng)頁。

　　新發(fā)生的頁面，沒有被抓取過的

　　這種頁面通常是文章頁面。關(guān)于這種頁面，咱們的網(wǎng)站每天都會發(fā)生大量的頁面，所以咱們會在更多的頁面中給出這部分鏈接。例如，主頁、頻道頁面、列/列表頁面、主題聚合頁面，甚至文章頁面本身都需求有一個最新的文章部分，以便等候爬蟲在抓取咱們的任何網(wǎng)頁時找到最新的文章。

　　與此同時，幻想有這么多頁面鏈接到新文章，鏈接傳遞權(quán)重，然后新文章被捕獲，權(quán)重不低。包容性的速度將顯著提高。

　　關(guān)于那些長時間沒有被包含在內(nèi)的人，你也可以考慮體重是否太低。我會給內(nèi)部鏈條更多的支撐，并傳遞一些重量。應(yīng)該有包容的可能性。當然，也有可能不包含它，那么您有必要依賴于內(nèi)容本身的質(zhì)量。以前，有一篇文章專門談到內(nèi)容質(zhì)量，歡迎咱們閱讀:什么內(nèi)容容易被百度評為高質(zhì)量內(nèi)容？

　　因而，為了處理查找引擎爬蟲重復(fù)匍匐的問題，咱們不是最終的處理方案。由于查找引擎爬蟲本質(zhì)上是無序的，咱們只能經(jīng)過網(wǎng)站的架構(gòu)、引薦算法、運營策略等進行干預(yù)。這樣爬蟲可以給咱們更抱負的抓取作用。