网站建设知识

我们将想法与焦点与您一起共享

当前位置:深圳网站建设 > 优化推广> 禁止搜索引擎抓取robots.txt文(wén)件设置方法

禁止搜索引擎抓取robots.txt文(wén)件设置方法

2015-1-19 3:11:47 独占网络 优化推广

通常情况下,网站都是需要让搜索引擎收录的,这样才能(néng)更好地增加网站的访问量,但是也有(yǒu)个别行业的网站,如安(ān)全性要求较高银行和企业的内部管理(lǐ)系统等他(tā)们这种站的安(ān)全性和私密性较高,肯定是不希望把数据在第三方上显露,那么如果禁止网站被搜索引擎抓取呢(ne)?盛辉科(kē)技(jì )总结如下:
  
先在站点的根目录下新(xīn)建一个robots.txt文(wén)本文(wén)件。当搜索蜘蛛访问这个站点时,它会先检查该站点根目录下是否存在robots.txt,如果存在,搜索蜘蛛就会先读取这个文(wén)件的内容:
文(wén)件写法
User-agent: *
这里的*代表的所有(yǒu)的搜索引擎种类,*是一个通配符
Disallow: /
这里定义是禁止爬寻站点所有(yǒu)的内容
Disallow: /admin/
这里定义是禁止爬寻admin目录下面的目录
Disallow: /ABC/
这里定义是禁止爬寻ABC目录下面的目录
Disallow: /cgi-bin/*.htm
禁止访问/cgi-bin/目录下的所有(yǒu)以".htm"為(wèi)后缀的URL(包含子目录)
Disallow: /*?*
禁止访问网站中(zhōng)所有(yǒu)包含问号 (?) 的网址
Disallow: /.jpg$
禁止抓取网页(yè)所有(yǒu)的.jpg格式的图片
Disallow:/ab/adc.html
禁止爬取ab文(wén)件夹下面的adc.html文(wén)件。
Allow: /cgi-bin/
这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp
这里定义是允许爬寻tmp的整个目录
Allow: .htm$
仅允许访问以".htm"為(wèi)后缀的URL
Allow: .gif$
允许抓取网页(yè)和gif格式图片
Sitemap:
网站地图 告诉爬虫这个页(yè)面是网站地图
 
下面列出来的是比较出名(míng)的搜索引擎蜘蛛名(míng)称:
Google
的蜘蛛: Googlebot
百度的蜘蛛:baiduspider
Yahoo
的蜘蛛:Yahoo Slurp
MSN
的蜘蛛:Msnbot
Altavista
的蜘蛛:Scooter
Lycos
的蜘蛛: Lycos_Spider_(T-Rex) 
Alltheweb的蜘蛛: FAST-WebCrawler/ 
INKTOMI的蜘蛛: Slurp
SOGOU
的蜘蛛:Sogou web spider/4.0Sogouinst spider/4.0

按照以上的说明,我们可(kě)以给大案一个示例,Sogou的来说,禁止抓取的robots.txt代码写法如下:
User-agent: Sogou web spider/4.0
Disallow: /goods.php
 
Disallow: /category.php

始终专注高端网站建设服務(wù) 网站建设案例服務(wù)方案联系

联系我们

135-3000-5572
151-1257-9390

地址:深圳市龙岗區(qū)横岗街(jiē)道联旺大厦5楼

邮箱:chenmh@sz886.com

我们的优势

12年建站服務(wù)经验自主开发后台CMS开发项目不外包无隐形收费

服務(wù)198家上市企业服務(wù)行业龙头超过70家 营销型网站建设完备的项目流程管理(lǐ)體(tǐ)系网页(yè)设计与网站开发技(jì )术并重

关于独占网络

十多(duō)年来,凭借对设计的深刻理(lǐ)解,对互联网营销趋势的敏锐洞察,独占网络不断修正服務(wù)导向,完善创作(zuò)品格,始终注重专业探索,為(wèi)所有(yǒu)合作(zuò)企业机构全力以赴,确保网站的视觉體(tǐ)验与营销转化能(néng)力。

我们是一群对互联网抱有(yǒu)执着信念的技(jì )术控。从2012年到现在,公(gōng)司从未建过强大的营销团队,却凭着作(zuò)品与服務(wù)不断保持增長(cháng),做到了"桃李不言,下自成蹊。" 我们坚信:每个客户都是一条渠道,每个案例都是一个广告,為(wèi)企业插上翅膀,助力企业转型升级,我们已做好准备。

专业团队為(wèi)您提供深圳网站建设、深圳网站制作(zuò)、深圳营销型网站建设、外贸网站建设等服務(wù),深圳建网站就找独占网络 | 12年专注网站建设

深圳市独占网络科(kē)技(jì )有(yǒu)限公(gōng)司 |备案号:京ICP证000000号| Copyright 2023,ALL Rights Reserved www.sz886.com | Copyright 2023版权所有(yǒu)
Hi,Are you ready? 如果您有(yǒu)意向
请于我们取得联系。

有(yǒu)一个互联网项目想和我们谈谈吗?
您可(kě)以填写右边的表格,让我们了解您的项目需求,这是一个良好的开始,我们将会尽快与你取得联系。当然也欢迎您给我们写信或是打電(diàn)话,让我们听到你的声音!

独占-整合互联网营销

地址:深圳市龙岗區(qū)横岗地铁D出口联旺大厦5楼
大客户专線(xiàn):深圳 13530005572
售前QQ:1447567909
E-mail: sales@sz886.cn

合作(zuò)意向表
您希望我们為(wèi)您提供什么服務(wù)?
国产三级片在线观看 黑料门-今日黑料-最新2023 雨燕360体育免费直播NBA GOGOGO大但人文艺术创作背景 青青河边草免费观看完整版高清 成全在线播放视频在线播放 《年轻的护士1》在线观看视频 漂亮人妻互换HD中字 艳肉乱痕1一12章 大地资源二3在线观看免费高清 小扫货水叫不出来最简单处理 免费大片在线观看WWW 强辱丰满人妻HD中文字幕 日本猛少妇色XXXXX猛叫 无码精品人妻一区二区三刘亦菲 亚洲无人区码SUV 国色天香桃花朵朵 《年轻的寡妇2》中文字幕 三年片在线观看免费观看大全一 成人A片免费看片86影院 巜交换做爰2中字韩国 无码一区二区 9I传媒有限公司 双乳被两个男人吸住 好姑娘8影视剧在线观看 星空无痕MV免费视频观看 三年片免费观看国语电影 女人被添荫蒂舒服了A片看AK 今夜无人入睡免费观看第7集 吃奶2做爰韩国 美丽的小蜜桃4中国版演唱者是谁 麻花传剧原创MV免费观看 成全视频大全高清全集 年轻的母亲在线观看 成人全黄A片免费看香港 小SAO货揉揉你的奶真大说说 成熟妇人A片免费看网站 我女朋友的妈妈双字ID5 将手脚绑上刷子刷尿孔文章 艳肉乱痕1一12章精汁欲液 成长的秘密免费观看 少妇高潮灌满白浆毛片免费看 玉漱公主被肉干高H潮文不断 无码国产精品一区二区色情男同 国精产品一区一区三区有限是什么 《疯狂农场3》免费观看 妻子的背叛完整版视频 被糙汉H玩松了尿进去6P 女人和公豬交交30 女性私密紧致按摩 成免费CRM特色学生版的特点 维修工人的绝遇中文播放 成全在线观看免费完整版电影 粉嫩的她1V1军婚H 美国的忌讳-5 再深点灬舒服灬大了添JUWU 免费99精品国产自在在线 精跪趴灌满H室友4P公交车 野花香电视剧完整版高清 女人花免费观看大全电视剧 国产麻豆剧传媒精品国产AV 再深点灬舒服灬大了添JUWU 今天高清视频免费播放动漫 无码成人AAAAA毛片AI换脸 巜被社长侵犯的人2中文在线 国产视频一区二区 成全在线播放视频在线播放 一边添奶一边添P好爽视频 成全电影播放在线观看 沦陷调教会所〈高H〉视频 大尺度床震捏胸呻吟视频 今夜无人入睡免费观看第7集 他掀开裙子舌头伸进去在线观看 红尘影院免费观看电视剧 巜被社长侵犯的人2中文在线 换人妻好紧4P 三年片在线观看免费观看大全一 私人生活艾伦里克曼 久久黄色视频 妈妈的朋友在线