阿布云
你所需要的,不仅仅是一个好用的代理。
scrapy下的一些常见错误处理
发表于
2018-03-16
常见的一些小错误分类处理
内部错误
- TypeError
- 表现形式:TypeError: ‘float’ object is not iterable
- 相关搜索:https://github.com/scrapy/scrapy/issues/2461
- 解决方法:sudo pip install -U Twisted==16.6.0
- ERROR: Unable to read the instance data ,giving up
- 表现形式: 直接error 报错,拿不到数据
- 相关搜索: 无
- 解决方法: 回调函数中,必须返回 Request 对象 或者Item对象 ,可以直接返回这种类型的数据就可以了
- Library not loaded: /opt/local/lib/libssl.1.0.0.dylib (LoadError)
- 解决方法: brew remove openssl 先卸载,然后 brew install openssl
- unknown command: crawl error