#反爬虫

#场景说明

网络爬虫是企业面临的安全挑战之一。恶意爬虫可能导致数据泄露和盗用、影响网站性能和可用性、数据被滥用对品牌产生负面影响等问题。

在与爬虫的持续对抗中，企业通常采用访问频率限制、验证码校验、黑白名单等手段来识别有问题的账户，但由于规律易被突破或数据库掌握不全等原因，难免出现漏封、误封。面对持续不断的黑产破解和日益更新的破解手段，通过X威胁情报API可以帮助企业增加识别爬虫风险的手段，为识别处置爬虫威胁提供有效的证据。

#使用的X情报API

IP信誉API：https://x.threatbook.com/v5/apiDocs/ip/reputation

#核心字段

is_malicious：是否为恶意IP。true代表恶意，false代表非恶意。

confidence_level：IP信誉情报信息的可信度。

judgments： IP地址的威胁情报判定标签，用于精细化过滤需要封禁的类型。

fraud.tag_name：IP欺诈作弊行为中具体的行为标签。

#具体使用方法

具体步骤说明

1. 从所有的入站访问日志中，筛选可疑日志，并提取互联网侧的源IP地址。

2. 将源IP地址作为请求参数，调用IP信誉API进行查询。

3. 基于IP信誉API的返回结果字段，制定有效识别爬虫的策略。具体策略建议如下：

4. 第3步结果中筛选出的IP地址，可作为业务侧基础反爬虫的补充或对问题IP提供处置依据，业务侧仍可结合访问次数、访问频率、黑白名单等因素进行综合决策，确认最终处置方式。