四川少妇BBB凸凸凸BBB,国产综合在线观看,天美传媒果冻传媒国产日本,国产精品美女一区二区三区

優(yōu)惠活動(dòng) - 12周年慶本月新客福利
優(yōu)惠活動(dòng) - 12周年慶本月新客福利
優(yōu)惠活動(dòng) - 12周年慶本月新客福利

網(wǎng)站seo優(yōu)化分析協(xié)議文件是否書寫正確

日期 : 2019-04-27 13:58:09
       網(wǎng)站一旦上線后,搜素引擎蜘蛛第一個(gè)爬取網(wǎng)站文件的就是robots.txt文件,所謂的robots.txt就是搜索引擎協(xié)議文件,因此要檢查分析協(xié)議文件是否書寫正確,因?yàn)闀鴮懻_的robots.txt協(xié)議文件至關(guān)重要,一般設(shè)置robots.txt協(xié)議文件主要有以下幾個(gè)方面:
       (1)不希望被搜索引擎蜘蛛爬取到的文件都要屏蔽掉,主要屏蔽:網(wǎng)站后臺(tái)JS、CSS文件和網(wǎng)站后臺(tái)圖片等。
       (2)不希望被搜索蜘蛛抓取到的網(wǎng)頁鏈接也都要屏蔽掉,主要屏蔽:網(wǎng)站后臺(tái)登錄網(wǎng)址、網(wǎng)站動(dòng)態(tài)路徑等。
       (3)可以將XML格式的網(wǎng)站地圖放進(jìn)robots.txt末尾處,這么做的好處就是方便搜素引擎蜘蛛爬取網(wǎng)站的所有文章,提高網(wǎng)站文章的收錄率。


相關(guān)文章