企業(yè)建網(wǎng)站網(wǎng)絡爬蟲的分類
日期 : 2020-11-08 10:17:21
網(wǎng)絡爬蟲的分類。
網(wǎng)絡爬蟲按照實現(xiàn)的技術主要分為通用網(wǎng)絡爬蟲(general purpose web crawler)和主題網(wǎng)絡爬蟲(topical crawler)。
在這兩類爬蟲基礎上進行細化和深入分析,又可以進一步實現(xiàn)增量式網(wǎng)絡爬蟲、深層網(wǎng)絡爬蟲等依據(jù)具體需求生成的爬蟲類型。
網(wǎng)絡爬蟲按照實現(xiàn)的技術主要分為通用網(wǎng)絡爬蟲(general purpose web crawler)和主題網(wǎng)絡爬蟲(topical crawler)。
在這兩類爬蟲基礎上進行細化和深入分析,又可以進一步實現(xiàn)增量式網(wǎng)絡爬蟲、深層網(wǎng)絡爬蟲等依據(jù)具體需求生成的爬蟲類型。