pyspider

crifan 8年前 (2018-05-05) 5202浏览

折腾： 【已解决】PySpider中保存数据到mysql 期间，解决了之前的错误，又出现别的错误： <code>➜  AutocarData pyspider -c config.json result_worker Traceback ...

crifan 8年前 (2018-05-05) 5290浏览

折腾： 【已解决】PySpider中保存数据到mysql 期间，pyspider中去运行result_worker但是出错： <code>➜  AutocarData pyspider -c config.json result_work...

crifan 8年前 (2018-05-03) 5405浏览

之前已经弄完了基本的PySpider的项目，把数据直接return返回，在运行后，点击results，导出csv了： 【已解决】写Python爬虫爬取汽车之家品牌车系车型数据 现在想要去把数据保存到mysql中。 先去看官网教程： Working w...

crifan 8年前 (2018-05-03) 5891浏览

折腾： 【已解决】pyspider中如何加载汽车之家页面中的更多内容 期间，就遇到了部分页面内容不显示，好像是js导致的。当时是规避掉了。 不过后面继续遇到了类似的问题： pyspider中，加载的页面，缺少了部分内容： ...

crifan 8年前 (2018-04-30) 3950浏览

现在有个需求： 希望在爬取汽车之家的数据时，能把当前（具体车型信息）页面爬取数据，传递给下一级。 且希望，对于下一级页面爬取失败时（本身不存在对应的页面，比如不存在该车型的报价，比如时停售了或未上市时有的没有报价），希望也能执行对应callback函...

crifan 8年前 (2018-04-27) 3986浏览

折腾： 【已解决】PySpider如何把json结果数据保存到csv或excel文件中 期间，遇到个情况是： PySpider保存单个dict的json字典对象，是可以用return去返回即可。 但是此处，单个page页面需要返回多个dict 而之前...

crifan 8年前 (2018-04-27) 6699浏览

折腾： 【已解决】写Python爬虫爬取汽车之家品牌车系车型数据 期间，想要对于PySpider中的，两个正在运行的任务，由于发现代码写的有问题，所以暂停运行了： 导致result.db有残留不要的数据，以及还有被暂停的垃圾正在运行的task 现在想...

crifan 8年前 (2018-04-27) 5714浏览

折腾： 【已解决】写Python爬虫爬取汽车之家品牌车系车型数据 期间，已经可以运行到： 爬取出所要的数据，保存到json对象中了。 但是现在需要把数据结果保存到cvs或excel文件中。 pyspider save to csv I want st...

crifan 8年前 (2018-04-22) 4967浏览

折腾： 【已解决】写Python爬虫爬取汽车之家品牌车系车型数据 期间，发现默认的pyspider去加载页面： https://www.autohome.com.cn/car/ 默认只加载了其中一部分： 只有127个follow链接 而原网页中，鼠...

crifan 8年前 (2018-04-22) 3544浏览

折腾： 【已解决】写Python爬虫爬取汽车之家品牌车系车型数据 期间，去在mac中安装和运行pyspider 先去安装： <code>➜  AutocarData pip install pyspider Collecting pysp...