适合自己的 ● 才是最好的 新闻动态，洞悉互联网前沿资讯，探寻网站营销规律
小程序开发 软文推广 网站制作 SEO优化 网络推广 公司动态 商业资讯 关于我们

公众号运营 百家号运营 干货分享 站长新闻 科技资讯 解决方案 网站建设 网站优化
当前位置：网站首页 >> 站长新闻

站长吐槽：头条搜索爬虫暴力抓取网站内容

日期：2019-11-11 10:09:16 来源：合肥良马网络科技有限公司 官网：https://www.hflmwl.com/ 阅读：2039次
合肥网站优化了解到最近有站长在网上发文吐槽表示，字节跳动为了快速发展搜索业务派出爬虫四处抓取网站内容，给中小网站主们造成了很大的损失和困扰，影响了网站正常的用户访问。

该站长表示，今年7月份，他突然发现公司的网站经常性打不开，网页加载极其缓慢，有时甚至直接瘫痪。经过一系列排查后，在服务器日志上发现了bytespider爬虫的痕迹。该爬虫抓取的频率每天达几百万次，高则上千万次，服务器带宽负载飙至100%，而且该爬虫在抓取时完全不遵守网站的robots协议。

该站长顺着该爬虫的IP地址查询，证实，该爬虫就是字节跳动的搜索爬虫。

并且，在CSDN、V2EX等技术论坛也了解到，从字节跳动开始做搜索之后，其实网络上就一直有站长抱怨头条搜索爬虫抓取过于暴力的声音，遭受字节跳动的搜索爬虫暴力抓取的不是个例，很多小网站他们也没放过。

有小网站主抱怨表示：字节跳动的爬虫“一上午对网站发出46万次请求”，网站都瘫痪了，百度也没有这么折腾的！

最后，该站长表示，像我们这样做SEO的人来说，主要工作目标就是希望自己家网站能在主流搜索引擎的搜索结果中排在前面的位置，“对于像百度、搜狗、360等搜索引擎的规范抓取和收录各位站长都是非常欢迎的，但是头条搜索爬虫这样疯狂爬取内容网站都给整瘫痪了，不仅没给网站带来流量，还影响了正常的用户访问，这就很不“讲究”了。

但是对此，字节跳动的搜索部经理表示：文章所述今年七八月份头条搜索出现的爬虫问题，目前已经进行了优化升级，并且对抓取压力做了更有效的控制，头条搜索一直在关注站长及专业人员反馈的抓取问题，联系了部分发帖/文档反馈的网站及个人，我们分析了原因并对系统进行了迭代改进。目前看反馈已经有效改善。会持续关注反馈继续改进。

所以通过头条搜索爬虫暴力抓取网站内容来看，字节跳动入局全网搜索搅动搜素市场是好事，国内的搜索公司也该活动活动了，但是搜索引擎的索引数据这种东西是靠点滴积累起来的，百度、搜狗、360经历了那么多年的发展积累才走到今天，头条搜索想在这方面赶超还有很长一段路要走！

本文标题：站长吐槽：头条搜索爬虫暴力抓取网站内容
本文网址：https://www.hflmwl.com/news/586.html
原创作者：合肥良马网络科技有限公司 版权所有，转载请注明出处，并以链接形式注明。
声明：本页内容由合肥良马网络科技有限公司通过网络收集编辑和原创所得，所有资料仅供用户参考；本站不拥有所有权，也不承认相关法律责任。如您认为本网页中有涉嫌抄写的内容，请及时与我们联系进行举报，并提供相关证据，工作人员会在5个工作日内联系您，一经查实，本站将立刻删除涉嫌侵权内容。如果您对SEO优化核心技术文章感兴趣，请点击查看网络推广和网站制作的相关文章，请关注良马科技官网(www.hflmwl.com)
返回列表

推荐文章

相关文章