双鲤秒收录

在SEO推广的过程中,我们需要根据网站数据分析的结果来制定SEO策略,这样会更有效。当我们查看网站日志时,会发现网站上有很多蜘蛛爬行的记录。这些蜘蛛包括我们熟悉的百度蜘蛛,当然也包括很多其他类型的蜘蛛。如果从SEO精细化运营的角度来思考,就应该规划网站蜘蛛的访问。

网站需不需要屏蔽,其他搜索引擎蜘蛛?

那么,网站需要屏蔽其他搜索引擎蜘蛛吗?

根据以往在SEO策略方面的经验,我们认为:

1.什么样的蜘蛛需要屏蔽?

对于蜘蛛的管理,我们的权威只有禁止它们爬行和允许它们爬行的选择。那么,什么样的蜘蛛需要屏蔽呢?

一只毫无价值的蜘蛛

如果我们只做百度SEO或者国内几大搜索引擎,比如搜狗、360、头条等类型的蜘蛛,我们可以屏蔽掉,尤其是一些来源不明的蜘蛛,一些小众搜索引擎和一些通过采集程序伪装的蜘蛛。如果有必要,我们可以屏蔽它们。

影响网站的蜘蛛。

不过一般正常网站的蜘蛛抓取是不需要屏蔽的。但是,如果某类蜘蛛抓取量巨大,已经影响了网站的正常访问,那么我们认为您有必要屏蔽这类蜘蛛。

当然,有时候我们需要的蜘蛛也有因为过度抓取导致网站页面打开缓慢的问题。我们建议可以去站长平台,在不屏蔽的情况下,通过网站的抓取调整功能来限制抓取极限。

2.需要养什么样的蜘蛛?

有蜘蛛需要屏蔽,就一定有蜘蛛需要饲养。那么,需要养什么样的蜘蛛呢?

有效抓取蜘蛛。

毫无疑问,有价值的蜘蛛是需要保留的,尤其是现在大部分网站都做百度SEO。百度蜘蛛中,以200/116开头的有价值的蜘蛛必须保留,其中不乏其他百度蜘蛛。我们也建议保留它们。你可以通过查询百度蜘蛛的功能列表来查看这些蜘蛛的功能。如果是假的直接屏蔽,其他不影响网站的就留着吧,因为有些蜘蛛是辅助权重蜘蛛。

有潜在价值的蜘蛛。

还有一些蜘蛛,比如Google Spider,建议在不影响网站正常运营的情况下保留,因为虽然Google SEO没有做,但是Google Spider的大量抓取也会促进网站在Google搜索引擎中的排名,可以给网站多一个暴露品牌SEO的渠道。

3.如何屏蔽不想要的蜘蛛

机器人协议

最简单实用的策略就是通过robots协议屏蔽蜘蛛。如何屏蔽蜘蛛?robots协议可以直接在搜索引擎中编写,也有很多免费工具可用。当然,robots协议只能屏蔽一些知名的搜索引擎蜘蛛,一些不知名的蜘蛛是屏蔽不了的。

UA ban

UA的意思是用户代理。每种蜘蛛都会有固定的UA信息。我们会修改不需要保留的UA信息,使其指向403页或500页,让被屏蔽的蜘蛛无法访问网站,从而达到我们屏蔽蜘蛛的目的。

IP屏蔽

我们在做屏蔽工作的时候,也可以屏蔽一些不明来源的ip,尤其是一些采集蜘蛛。我们可以根据ip进行屏蔽,有的采集工具有多个IP进行采集。如果ip段是相同的,我们也可以阻止IP段,以禁止蜘蛛访问。

此文由瀚漠编辑并发布于 双鲤秒收录[ https://www.bj-hongfan.com],未经允许不得转载!