pyspider

crifan 4周前 (09-20) 239浏览 0评论

折腾： 【未解决】pyspider运行出错：FETCH_ERROR HTTP 599 Connection timed out after milliseconds 期间，通过： pyspider HTTP 599 Connection timed ...

crifan 5个月前 (05-17) 105浏览 0评论

折腾： 【未解决】pyspider运行出错：FETCH_ERROR HTTP 599 Connection timed out after milliseconds 期间，看到： Command Line Interface | PhantomJS ...

crifan 5个月前 (05-17) 59浏览 0评论

折腾： 【未解决】pyspider运行出错：FETCH_ERROR HTTP 599 Connection timed out after milliseconds 期间，想要搞清楚，pyspider中的phantomjs，很多帖子提到了proxy，...

crifan 5个月前 (05-12) 46浏览 0评论

折腾： 【未解决】pyspider运行出错：FETCH_ERROR HTTP 599 Connection timed out after milliseconds 期间，发现个问题： insert没有按照期望去把数据插入到mysql数据库中 且即使...

crifan 5个月前 (05-12) 99浏览 0评论

折腾： 【已解决】PySpider中保存数据到mysql 期间，运行了很长时间之后回来发现： 运行状态是PAUSED -》难道是屏幕锁屏了导致的？ 主要是看到错误信息了： <code>1. FETCH_ERROR autohomeBra...

crifan 6个月前 (05-05) 59浏览 0评论

折腾： 【已解决】PySpider中保存数据到mysql 期间，解决了之前的错误，又出现别的错误： <code>➜  AutocarData pyspider -c config.json result_worker Traceback ...

crifan 6个月前 (05-05) 79浏览 0评论

折腾： 【已解决】PySpider中保存数据到mysql 期间，pyspider中去运行result_worker但是出错： <code>➜  AutocarData pyspider -c config.json result_work...

crifan 6个月前 (05-03) 63浏览 0评论

之前已经弄完了基本的PySpider的项目，把数据直接return返回，在运行后，点击results，导出csv了： 【已解决】写Python爬虫爬取汽车之家品牌车系车型数据 现在想要去把数据保存到mysql中。 先去看官网教程： Working w...

crifan 6个月前 (05-03) 122浏览 0评论

折腾： 【已解决】pyspider中如何加载汽车之家页面中的更多内容 期间，就遇到了部分页面内容不显示，好像是js导致的。当时是规避掉了。 不过后面继续遇到了类似的问题： pyspider中，加载的页面，缺少了部分内容： ...

crifan 6个月前 (04-30) 54浏览 0评论

现在有个需求： 希望在爬取汽车之家的数据时，能把当前（具体车型信息）页面爬取数据，传递给下一级。 且希望，对于下一级页面爬取失败时（本身不存在对应的页面，比如不存在该车型的报价，比如时停售了或未上市时有的没有报价），希望也能执行对应callback函...