【公告】关于注意合法使用网络爬虫的公告

时间:2019-10-23 21:46  来源:互联网  点击:次

　　爬虫作为一种计算机技术，具有技术中立性，爬虫技术在法律上从来没有被禁止。爬虫的发展历史可以追溯到20年前，搜索引擎、聚合导航、数据分析、人工智能等业务，都需要基于爬虫技术。

 

　　虽然爬虫可作为一种获取数据的手段，但哪些数据可以爬取，爬取的数据如何合法使用都是必须注意的问题。

 

　　根据《数据安全管理办法（征求意见稿）》第十六条：网络运营者采取自动化手段访问收集网站数据，不得妨碍网站正常运行；此类行为严重影响网站运行，如自动化访问收集流量超过网站日均流量三分之一，网站要求停止自动化访问收集时，应当停止。

 

　　在使用爬虫过程中，提出以下建议：

 

　　1.遵守Robots协议，但有没有Robots都不代表可以随便爬；

 

　　2.限制你的爬虫行为，禁止近乎DDOS的请求频率，一旦造成服务器瘫痪，约等于网络攻击；

 

　　3.对于明显反爬，或者正常情况不能到达的页面不能强行突破，否则是Hacker行为；

 

　　4.最后，审视清楚自己爬的内容，遵守国家相关法律法规，以下是绝不能碰的红线（包括但不限于）：

 

　　•爬取用户个人数据非法牟利，包括模拟登录他人账号。

 

　　•爬取商业数据造成不正当竞争。

 

　　•爬取大量带有知识产权的数据用于商业目的，获取盈利行为。

 

　　5、不得违反相应法律法规。

 

　　如发现上述行为者，我们会将用户信息及行为提交给本地主管部门，若遇到公安机关调查，我公司将全力配合。