pyspider

crifan 3个月前 (09-20) 719浏览 0评论

折腾： 【未解决】pyspider运行出错：FETCH_ERROR HTTP 599 Connection timed out after milliseconds 期间，通过： pyspider HTTP 599 Connection timed ...

crifan 7个月前 (05-17) 284浏览 0评论

折腾： 【未解决】pyspider运行出错：FETCH_ERROR HTTP 599 Connection timed out after milliseconds 期间，看到： Command Line Interface | PhantomJS ...

crifan 7个月前 (05-17) 178浏览 0评论

折腾： 【未解决】pyspider运行出错：FETCH_ERROR HTTP 599 Connection timed out after milliseconds 期间，想要搞清楚，pyspider中的phantomjs，很多帖子提到了proxy，...

crifan 7个月前 (05-12) 158浏览 0评论

折腾： 【未解决】pyspider运行出错：FETCH_ERROR HTTP 599 Connection timed out after milliseconds 期间，发现个问题： insert没有按照期望去把数据插入到mysql数据库中 且即使...

crifan 7个月前 (05-12) 382浏览 0评论

折腾： 【已解决】PySpider中保存数据到mysql 期间，运行了很长时间之后回来发现： 运行状态是PAUSED -》难道是屏幕锁屏了导致的？ 主要是看到错误信息了： <code>1. FETCH_ERROR autohomeBra...

crifan 7个月前 (05-05) 223浏览 0评论

折腾： 【已解决】PySpider中保存数据到mysql 期间，解决了之前的错误，又出现别的错误： <code>➜  AutocarData pyspider -c config.json result_worker Traceback ...

crifan 7个月前 (05-05) 319浏览 0评论

折腾： 【已解决】PySpider中保存数据到mysql 期间，pyspider中去运行result_worker但是出错： <code>➜  AutocarData pyspider -c config.json result_work...

crifan 7个月前 (05-03) 192浏览 0评论

之前已经弄完了基本的PySpider的项目，把数据直接return返回，在运行后，点击results，导出csv了： 【已解决】写Python爬虫爬取汽车之家品牌车系车型数据 现在想要去把数据保存到mysql中。 先去看官网教程： Working w...

crifan 7个月前 (05-03) 363浏览 0评论

折腾： 【已解决】pyspider中如何加载汽车之家页面中的更多内容 期间，就遇到了部分页面内容不显示，好像是js导致的。当时是规避掉了。 不过后面继续遇到了类似的问题： pyspider中，加载的页面，缺少了部分内容： ...

crifan 8个月前 (04-30) 172浏览 0评论

现在有个需求： 希望在爬取汽车之家的数据时，能把当前（具体车型信息）页面爬取数据，传递给下一级。 且希望，对于下一级页面爬取失败时（本身不存在对应的页面，比如不存在该车型的报价，比如时停售了或未上市时有的没有报价），希望也能执行对应callback函...