Hacker News · AI· sammy0910·· 1 天前AI 评分22
发帖到 HN 后,我的网站被 AI 机器人流量淹没
I posted to HN, and then my website was flooded with AI bot traffic
AI 导读
开发者将其可定制 feed 阅读器 sprinklz.io 发到 HN 后网站变得异常缓慢,排查发现近一半流量来自同一个伪装成"监听网站变化并生成 AI 摘要简报"服务的爬虫,该爬虫每分钟高频请求且不加载页面 JavaScript。作者还识别出 Claude bot、OpenAI bot、Google 搜索索引器等已知爬虫及若干漏洞扫描器,随后添加 robots.txt、限流并优化基础设施。
来源:Hacker News · AI · sammystraus.com