抓取数千个网址？导入系统。 – 搞英语 → 看世界

这篇文章主要是给我以后做一个心理笔记！但是，您可能会发现它很有帮助。

我正在编写一个循环遍历大约 15,000 个 URL 的 CSV 文件的机器人，这些在成功抓取后被添加到 Set 中。

但是，当 Firefox 或 Chrome 驱动程序无法加载网站时，我的机器人需要重新启动。刮板功能需要再次重新启动并检查 URL 是否在 Set 中。

这会抛出一个异常，说明“超出最大递归深度”

如果在运行 Python 代码时遇到此错误，请尝试以下操作：

import sys sys.setrecursionlimit(40000)

感谢coderjack ，这将增加堆栈的容量并允许代码运行。

请注意您设置的数字，特别是如果您使用的是旧机器。旋转的圆圈可能会访问。