根目录 SEO 百度 Google
想问下可不可以只写Disallow，然后剩余部分就默认为allow?我只摘抄了你...
robots.txt文件，robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。相信大部分站长都知道其作用，通过它可以让搜索引擎蜘蛛不抓取网站的部分目录或文件。需要提醒的是，网站的目录或文件并不是被...
还有 31 人发表了评论 加入4455人围观免费资源
向各大搜索引擎提交sitemap的方法
今生有约 发表于2011-09-30 浏览3607 评论10
一步步教您向Google、Yahoo!、MSN、Ask向各大搜索引擎提交sitemap的方法,以便于搜索引擎来访抓取：向百度Baidu提交网站地图Sitemap，以前百度不支持Sitemap，现在百度可以通过百度站长平台提交sitemap，也可通过http://www.baidu.com/search/url_submit.html来提交你的网址，百度会自行搜索，通过robots.txt爬行你的sitemap，更新速度很快。和百度等各大搜索引擎提交Sitemap，以便于搜索引擎来访抓取。