限制搜索引擎蜘蛛(robots.txt)参数实例详解
发布日期:2014/12/19 4:52:22
robots.txt放于网站根目录下面,用来控制百度(baidu)谷歌(Google)的搜索引擎蜘蛛不抓取你想要哪些内容不被抓取。
 
限制搜索引擎蜘蛛(robots.txt)参数实例详解:
 
Disallow 行列出的是您要拦截的网页。 您可以列出某一具体网址或网址模式。 条目应以正斜杠 (/) 开头。
 
•要拦截整个网站,请使用正斜扛。
 
Disallow: /•要拦截目录及其中的所有内容,请在目录名后添加正斜杠。
 
Disallow: /junk-directory/•要拦截某个网页,请列出该网页。
 
Disallow: /private_file.html•要从 Google 图片搜索中删除特定图片,请添加如下内容:
 
User-agent: Googlebot-Image
 
Disallow: /images/狗.jpg•要从 Google 图片搜索中删除网站上的所有图片:
 
User-agent: Googlebot-Image
 
Disallow: /•要拦截某一特定文件类型的文件(例如 .gif),pk10高手论坛:请使用以下内容:
 
User-agent: Googlebot
 
Disallow: /*.gif$•要在阻止网站页面被抓取的同时仍然在这些页面上显示 AdSense 广告,请禁止除 Mediapartners-Google 以外的所有漫游器。 这样可使页面不出现在搜索结果中,同时又能让 Mediapartners-Google 漫游器分析页面,从而确定要展示的广告。 Mediapartners-Google 漫游器并不与其他 Google User-agent 共享网页。 例如:
 
User-agent: *
 
Disallow: /folder1/
 
User-agent: Mediapartners-Google
 
Allow: /folder1/请注意,指令区分大小写。 例如, Disallow: /junk_file.asp 会拦截 http://www.qlhao.com/596/junk_file.asp,但会允许 http://www.qlhao.com/285/Junk_file.asp。
 
模式匹配
 
Googlebot(但不是所有搜索引擎)遵循某些模式匹配。
 
•要匹配连续字符,请使用星号 (*)。例如,要拦截对所有以 private 开头的子目录的访问:
 
User-agent: Googlebot
 
Disallow: /private*/•要拦截对所有包含问号 (?) 的网址的访问(具体地说,这种网址以您的域名开头,后接任意字符串,然后是问号,而后又是任意字符串),可使用以下条目:
 
User-agent: Googlebot
 
Disallow: /*?•要指定与某个网址的结束字符相匹配,请使用 $。 例如,要拦截以 .xls 结束的所有网址,请使用:
 
User-agent: Googlebot
 
Disallow: /*.xls$您可将此模式匹配与 Allow 指令配合使用。 例如,如果 ? 代表一个会话 ID,您可能希望排除包含 ? 的所有网址,以便确保 Googlebot 不会抓取重复网页。 但是以 ? 结束的网址 可能是您希望包含的网页的版本。 在此情况下,您可以对 robots.txt 文件进行如下设置:
 
User-agent: *
 
Allow: /*?$
 
Disallow: /*?Disallow: / *? 指令将阻止包含 ? 的所有网址 (具体而言,它将拦截所有以您的域名开头、后接任意字符串,然后是问号,而后又是任意字符串的网址)。
 
Allow: /*?$ 指令将包含以 ? 结束的所有网址 (具体而言,它将允许包含所有以您的域名开头、后接任意字符串,然后是问号 (?),问号之后没有任何字符的网址)。
pk拾有什么公式 君耀优彩软件准吗 北京赛车pk10外围如何操控 北京pk10汽车开奖结果 pk赛车9码一期计划技巧
北京赛车pk10怎么看走势图 北京赛车pk10中奖规则 北京pk10开奖最快网址 冠军pk10稳赚挂机 pk10大小单双计划软件
北京快乐赛车pk10直播 北京赛车pk10号码走势图 北京赛车 北京赛车pk10现金盘破解 北京pk平台
北京赛车视频开奖直播 pk10投注鼎盛彩票网 pk10时时自动投注 网上的pk10计划可靠吗? pk10龙虎计划
华东15选5历史号码 时时开奖号码 北京快3所有号码图☆北京快3公交堵车吗☆北京快3开奖结果查☆北京快3开奖直播视频 旺旺◆热点◆万豪娱乐平台◆香港即乐彩 时时乐的玩法计划☆时时乐出号遗漏计划☆时时乐大众点评计划☆时时乐kuadu
德州扑克电影 幸运飞艇开奖直播 山东11选5走势图牛 3d试机号今天开机号码 重庆时时彩平台
内蒙古十一选五遗漏 贵州快三一定牛遗漏计划 新疆18选7走势图 水果老虎机全部显示30,老虎机怎样防止作弊,老虎机怎样清分,老虎机上分器好用么 凤凰时时彩平台黑钱
胆拖投注计算器 甘肃体彩十一选五 北京快三走势图 江西多乐彩时时 纽约一分彩