最近大連seo博客一直不斷的更換主題,每個主題的設(shè)置都不一樣，導(dǎo)致很多頁面被重復(fù)抓取了，為了以后避免這種情況就用robots.txt設(shè)置了一下，有關(guān)這樣的問題也有朋友問過我，我只說了用robots.txt屏蔽，沒有具體的說設(shè)置，其實至于WORDPRESS的ROBOTS設(shè)置在網(wǎng)上搜索一下很多，自己搜索一下就行了。閑話不扯了，為了以后再有朋友問，就在這里說一下設(shè)置，有關(guān)ROBOTS的解釋就不說了，直接上代碼：
WORDPRESS官方標(biāo)準(zhǔn)的robots代碼如下：
User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /feed Disallow: /comments Disallow: /author/* Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Allow: /wp-content/uploads # Google Image User-agent: Googlebot-Image Disallow: Allow: /* # Google AdSense User-agent: Mediapartners-Google* Disallow: Allow: /* # digg mirror User-agent: duggmirror Disallow: /
Copyright@ 2011-2016 版權(quán)所有：大連千億科技有限公司 遼ICP備11013762-3號 google網(wǎng)站地圖 百度網(wǎng)站地圖 網(wǎng)站地圖
公司地址：大連市沙河口區(qū)中山路692號辰熙星海國際2317 客服電話：0411-39943997 QQ：2088827823 37482752
法律聲明：未經(jīng)許可，任何模仿本站模板、轉(zhuǎn)載本站內(nèi)容等行為者，本站保留追究其法律責(zé)任的權(quán)利！ 隱私權(quán)政策聲明
