1，網(wǎng)站重復內容的判斷

　　A，獲取多個(gè)網(wǎng)頁(yè);

　　B，分別提取網(wǎng)頁(yè)的網(wǎng)頁(yè)正文;

　　C，從網(wǎng)頁(yè)正文中提取一個(gè)或多個(gè)句子，并根據一個(gè)或多個(gè)句子計算網(wǎng)頁(yè)正文句子簽名;

　　D，根據網(wǎng)頁(yè)正文句子簽名對多個(gè)網(wǎng)頁(yè)進(jìn)行聚類(lèi);

　　E，針對每一類(lèi)下的網(wǎng)頁(yè)，計算網(wǎng)頁(yè)的附加簽名;

　　F，根據附加簽名判斷每一類(lèi)下的網(wǎng)頁(yè)是否重復。

　　通過(guò)上述方式，網(wǎng)頁(yè)重復的判斷系統及其判斷方法通過(guò)包括網(wǎng)頁(yè)正文句子簽名在內的多維度簽名有效且快速地判斷網(wǎng)頁(yè)是否重復。

　　網(wǎng)站頁(yè)面基本架構

　　提取正文

　　A，對網(wǎng)頁(yè)進(jìn)行分塊;

　　B，對分塊后的網(wǎng)頁(yè)進(jìn)行塊過(guò)濾，以獲取包含網(wǎng)頁(yè)正文的內容快;

　　C，從內容塊中提取網(wǎng)頁(yè)正文。

　　正文分句

　　A，對網(wǎng)頁(yè)正文進(jìn)行分句;

　　在本步驟中，可利用分號，句號，感嘆號等表示句子完結的標志符號來(lái)對網(wǎng)頁(yè)正文進(jìn)行分句。此外，還可以通過(guò)網(wǎng)頁(yè)正文的視覺(jué)信息來(lái)對網(wǎng)頁(yè)正文進(jìn)行分句。

　　B，對分句后的網(wǎng)頁(yè)正文進(jìn)行過(guò)濾及轉換;

　　在步驟中，首先過(guò)濾掉句子中的數字信息;版權信息以及其他對網(wǎng)頁(yè)重復判斷不起決定性作用的信息。隨后，對句子進(jìn)行轉換，例如，進(jìn)行全角/半角轉換或者繁體/簡(jiǎn)體轉換，以使得轉換后的句子的格式統一。

　　C，從過(guò)濾及轉換后的網(wǎng)頁(yè)正文中提取最長(cháng)的一個(gè)或多個(gè)句子;

　　在本步驟中，過(guò)濾及轉換后的網(wǎng)頁(yè)正文提取出最長(cháng)的一個(gè)句子或者做場(chǎng)的預定數量連續句子的組合。例如，某個(gè)網(wǎng)頁(yè)實(shí)例中，經(jīng)過(guò)過(guò)濾及轉換后的某段最長(cháng)，遠超其他句子，因此可選擇該段為網(wǎng)頁(yè)正文句子，或者選擇最長(cháng)的連續句子組合作為網(wǎng)頁(yè)正文句子。

　　D，對一個(gè)或多個(gè)句子進(jìn)行hash簽名運算，以獲取網(wǎng)頁(yè)正文句子簽名。