编辑(2025-01-17 17:50 UTC):
我将此片段添加到入口配置中:
nginx.ingress.kubernetes.io/configuration-snippet : | if ($http_user_agent ~* "(Amazon)" ){ return 418; }
机器人每次仍然会攻击不同的 IP。大约 10% 的请求没有 amazonbot 用户代理。我不知道下一步该做什么。
我讨厌未来。
大家好。这是一个不同类型的帖子。这不是信息性的。这是呼救声。
对于运行 AmazonBot 的任何人,请将git.xeserv.us
添加到您的阻止域列表中。如果您认识 Amazon 的任何人,请将此信息转发给他们,并要求他们将其转发给 AmazonBot 团队。
如果您出于某种原因想要抓取我的 git 服务器,请与我联系,以便我们可以根据您严重的资源使用情况安排硬件升级费用。
我不想向公众关闭我的 Gitea 服务器,但如果有必要的话我会这样做。阻止 AI 爬虫机器人是徒劳的,因为它们会撒谎、更改用户代理、使用住宅 IP 地址作为代理等等。我只是希望停止请求。
我已经配置了robots.txt
文件来阻止所有机器人:
User-agent: * Disallow: /
我还需要做什么?