阿布云

你所需要的,不仅仅是一个好用的代理。

scrapy下的一些常见错误处理

阿布云 发表于

常见的一些小错误分类处理

  • 内部错误
  • 逻辑错误
  • 其它错误

内部错误

  • TypeError
    • 表现形式:TypeError: ‘float’ object is not iterable
    • 相关搜索:https://github.com/scrapy/scrapy/issues/2461
    • 解决方法:sudo pip install -U Twisted==16.6.0
  • ERROR: Unable to read the instance data ,giving up
    • 表现形式: 直接error 报错,拿不到数据
    • 相关搜索: 无
    • 解决方法: 回调函数中,必须返回 Request 对象 或者Item对象 ,可以直接返回这种类型的数据就可以了
  • Library not loaded: /opt/local/lib/libssl.1.0.0.dylib (LoadError)
    • 解决方法: brew remove openssl 先卸载,然后 brew install openssl
  • unknown command: crawl error
    • 表现形式: 无法使用crawl 命令
    • 相关搜索 : unknown-command-crawl-error
    • 解决方法 : 切换到有scrapy.cfg文件下,然后使用命令
    • 文章来源:http://brucedone.com/archives/955
    • 阿布云代理提供海量极速高匿名HTTPS代理IP,HTTP代理、HTTPS代理、SOCKS代理、动态代理、爬虫代理等专业动态代理IP服务,阿布云因为专业,所以简单 https://www.abuyun.com