如何編寫(xiě)wordPress/ target=_blank class=infotextkey>WordPress的robots.txt文件
【robots.txt文件編寫(xiě)規(guī)則】
不論我們seo站長(zhǎng)用什么建站程序，都應(yīng)該了解掌握robots文件的編寫(xiě)規(guī)則和格式，那么robots文件的格式規(guī)則是怎樣的呢？
1、User-agent:該項(xiàng)的值用于描述搜索引擎robot的名字。
例子：User-agent:Baiduspider ，指的就是百度搜索引擎蜘蛛。
2、Disallow:該項(xiàng)的值用于描述不希望被訪問(wèn)的一組URL，這個(gè)值可以是一條完整的路徑，也可以是路徑的非空前綴，以Disallow項(xiàng)的值開(kāi)頭的URL不會(huì)被 robot訪問(wèn)。
例子1：Disallow: /wp-admin/，指的是不允許訪問(wèn)wp-admin文件夾下面的內(nèi)容，但是不限制訪問(wèn)wp-admin.php、wp-admin.html文件。例子2：Disallow: /wp-admin，指的是不允許訪問(wèn)wp-admin文件夾下面的內(nèi)容以及wp-admin.php、wp-admin.html文件。
3、Allow:該項(xiàng)的值用于描述希望被訪問(wèn)的一組URL，與Disallow項(xiàng)相似，這個(gè)值可以是一條完整的路徑，也可以是路徑的前綴，以Allow項(xiàng)的值開(kāi)頭的URL 是允許robot訪問(wèn)的。
例子：Allow: /wp-content/uploads/，指的是允許訪問(wèn)wp-content文件夾下面的uploads文件夾的內(nèi)容。
4、使用"*"和"$"：Baiduspider支持使用通配符"*"和"$"來(lái)模糊匹配url。 "*" 匹配0或多個(gè)任意字符 "$" 匹配行結(jié)束符。
例子1：User-agent:*，指的是所有搜索引擎蜘蛛（或機(jī)器人）。例子2：Disallow: /*.css$，指的是不允許訪問(wèn)任何后綴為.css文件。
5、Sitemap：用來(lái)告訴搜索引擎網(wǎng)站地圖的位置。
例子：Sitemap: https://你的域名/sitemap.xml，其中sitemap.xml是你的網(wǎng)站的網(wǎng)站地圖文件
編寫(xiě)注意事項(xiàng)：
①百度會(huì)嚴(yán)格遵守robots的相關(guān)協(xié)議，請(qǐng)注意區(qū)分您不想被抓取或收錄的目錄的大小寫(xiě)；
②百度會(huì)對(duì)robots中所寫(xiě)的文件和您不想被抓取和收錄的目錄做精確匹配，否則robots協(xié)議無(wú)法生效。
③一定是英文輸入法格式下的“空格”和符號(hào)，因?yàn)榇a是英文格式的
【wordpress的robots怎么寫(xiě)最佳】
1、我們當(dāng)然希望所有的搜索引擎都來(lái)抓取網(wǎng)站。因此，我們可以寫(xiě)
User-agent:*
2、為了避免收錄WordPress系統(tǒng)文件，因?yàn)橄到y(tǒng)文件對(duì)于用戶來(lái)說(shuō)沒(méi)用處，收錄了反而容易被人黑站，因此應(yīng)該屏蔽了WordPress的后臺(tái)文件。
Disallow: /wp-admin/Disallow: /wp-includes/Disallow: /wp-content/
3、每個(gè)默認(rèn)的文章頁(yè)面代碼里，都有一段trackback的鏈接，如果不屏蔽讓蜘蛛去捉取，網(wǎng)站會(huì)出現(xiàn)重復(fù)頁(yè)面內(nèi)容問(wèn)題。
Disallow: /*/trackback
4、頭部代碼里的feed鏈接主要是提示瀏覽器用戶可以訂閱本站，而一般的站點(diǎn)都有RSS輸出和網(wǎng)站地圖，故屏蔽搜索引擎捉取這些鏈接，提高蜘蛛的抓取效率。
Disallow: /feedDisallow: /*/feedDisallow: /comments/feed
5、這個(gè)是屏蔽捉取站內(nèi)搜索結(jié)果。站內(nèi)沒(méi)出現(xiàn)這些鏈接不代表站外沒(méi)有，如果收錄了會(huì)造成和TAG等頁(yè)面的內(nèi)容相近。
Disallow: /*?*Disallow: /?s=*Disallow: /*/?s=*
6、屏蔽留言鏈接插件留下的變形留言鏈接。
Disallow： /?r=*
7、屏蔽捉取留言信息鏈接。一般不會(huì)收錄到這樣的鏈接，但為了更好地讓蜘蛛高效抓取和工作，也該屏蔽。
Disallow： /*/comment-page-*Disallow： /*?replytocom*
8、網(wǎng)站地圖地址指令，主流是txt和xml格式。告訴搜索引擎網(wǎng)站地圖地址，方便搜索引擎捉取全站內(nèi)容。另外要注意Sitemap的S要用大寫(xiě)，地圖地址也要用絕對(duì)地址。
Sitemap: https://你的域名/sitemap.xml
綜上所述，整個(gè)robots文件就是：
User-agent:*
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /*?*
Disallow: /?s=*
Disallow: /*/?s=*
Disallow： /?r=*
Disallow： /*/comment-page-*
Disallow： /*?replytocom*
Sitemap: https://你的域名/sitemap.xml
我們就可以利用robtos協(xié)議優(yōu)化wordpress網(wǎng)站的被抓取和收錄的速度，根據(jù)上面的robots文件內(nèi)容，按照實(shí)際情況增加自己所需要的，希望能夠幫助剛接觸wordpress建站的站長(zhǎng)更快上手。
品牌簡(jiǎn)介：L氪跡免費(fèi)SEO教程學(xué)習(xí)|佛山SEO技術(shù)分享本站文章由佛山SEO技術(shù)教程學(xué)習(xí)網(wǎng)發(fā)布，作者:L氪跡，如若轉(zhuǎn)載請(qǐng)注明原文及出處
