石家庄网络公司:如何屏蔽搜索引擎抓取?

时间:2015-12-22 13:36:58 浏览:958次

    作网站运营尤其是网站排名优化的时候,我们总想着如何来引导搜索引擎蜘蛛来爬行网页,收录。然而,很多时候一些网站因为所真对的用户群体和目标地区不同,并不希望获得搜索引擎的光顾,这个时候我们要如何来解决呢?今天和笔者小丹一起来研究一下吧!

    当我们看到要屏蔽抓取的时候,大多数SEOer想到的都是robots.txt文件。因为在我们的认知中,robot文件可以有效的杜姐搜索引擎抓取某些页面。但是要知道,虽然这个方式很不错,但是更多时候小丹认为它比较适合于在网站没有完成,为了避免之后的死链或者考察期而存在的。

    若单单为了屏蔽某个搜索引擎的抓取,我们大可不必为空间造成负累,只要使用一点简单的代码即可。例如,我们要屏蔽百度蜘蛛的抓取<meta name="Baiduspider" content="noarchive">即可。当然这仅仅是屏蔽百度抓取的方式,如果想要任何一个搜索引擎,只要将Baiduspider更换为改搜索引擎的蜘蛛即可。

    常见搜索引擎蜘蛛名称如下:

    1、baiduspider    百度的综合索引蜘蛛

    2、Googlebot     谷歌蜘蛛

    3、Googlebot-Image    专门用来抓取图片的蜘蛛
  
    4、Mediapartners-Google     广告联盟代码的蜘蛛

    5、Yahoo Slurp    雅虎蜘蛛

    6、Yahoo! Slup China     雅虎中国蜘蛛

    7、Yahoo!-AdCrawler     雅虎广告蜘蛛

    8、YodaoBot    网易蜘蛛

    9、Sosospider     腾讯SOSO综合蜘蛛

    10、sogou spider     搜狗综合蜘蛛

    11、MSNBot Live    综合蜘蛛

    但,如果你要屏蔽所有的搜索引擎,那么就要使用robot文件了:<meta name="robots" content="noarchive">。

    到这里很多朋友获取应该明白了,在代码中禁止建立网页快照的命令是noarchive。所以,如果我们对于搜索引擎有限制,就根据自己的禁止快照对象,将代码加在网页的<head>与</head>直接即可;反之,在不要添加任何一条代码,就可以保证各大搜索引擎能够正常访问网站并且建立快照。

     (转载请注明转自:www.wangzhan.net.cn/news/n1913.htm,谢谢!珍惜别人的劳动成果,就是在尊重自!)

 

上一篇:新网站优化建议分享

下一篇:网络信誉难!?百度信誉产品帮你解决

返回列表

网站建设知识

品牌创意网站建设 上市公司网站建设 大型门户类网站建设 全方位网站运营代理
企业官方网站建设 B2C电子商务网站建设 专题活动网站(MINISITE)

更多 +联系我们

24小时服务热线:400-1180-360

业务 QQ:  444961110传真: 0311-80979256

渠道合作:  444961110@qq.com

更多 +关于我们

河北供求互联信息技术有限公司(河北供求网)诞生于2003年4月,是康灵集团旗下子公司,也是河北省首批从事网站建设、电子商务开发,并获得国家工业和信息化部资质认证的企业。公司自成立以来,以传播互联网文化为已任, 以高科技为起点,以网络营销研究与应用为核心,致力于为各企事业单位提供网络域名注册、虚拟主机租用、网站制作与维护、网站推广和宣传、网站改版与翻译、移动互联网营销平台开发与运营、企业邮局、网络支付、系统集成、软件开发、电子商务解决方案等优质的信息技术服务,与中国科学院计算机网络信息中心、腾讯、百度、阿里巴巴、搜狗、360、电信、联通、中国数据、万网、中资源、阳光互联、点点客、北龙中网、电信通等达成战略合作伙伴关系。

版权所有 © 河北供求互联信息技术有限公司-最优秀的石家庄网站建设公司,为您提供石家庄网站建设、网站推广等优质服务.   
服务热线:400-1180-360 传真:0311-80979256 增值电信业务经营许可证:冀B2-20105159 冀ICP备09010972号

在线留言
免费试用
扫一扫

扫一扫
赠送神秘大礼

全国免费服务热线
400-1180-360

返回顶部