【已解决】scrapy中警告:DEBUG: Forbidden by robots.txt
crifan 6年前 (2018-03-01) 5457浏览 0评论
折腾: 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间,去调用 http://www.yousubtitles.com 想办法下载字幕,结果无法提示: DEBUG: Forbidden by robots.txt 20...
crifan 6年前 (2018-03-01) 5457浏览 0评论
折腾: 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间,去调用 http://www.yousubtitles.com 想办法下载字幕,结果无法提示: DEBUG: Forbidden by robots.txt 20...
crifan 6年前 (2018-02-27) 5907浏览 0评论
pyspider vs scrapy pyspider 和 scrapy 比较起来有什么优缺点吗? – 知乎 “Pyspiders是国内某大神开发了个WebUI的[Pyspider](GitHub – binux/pyspid...
crifan 6年前 (2018-01-13) 5534浏览 0评论
折腾: 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间,对于scrapy的response的xpath得到的Selector,如何获取其中的a中href的值 Scrapy 1.5 documentation — Scr...
crifan 6年前 (2018-01-13) 8778浏览 0评论
折腾: 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间,由于youtube网页本身需要翻墙才能打开。 而此处Mac中已有Shadowsocks-NG的ss代理了。 现在需要给Scrapy去添加代理。 scrapy ad...
crifan 6年前 (2018-01-13) 6413浏览 0评论
对于之前的手动操作去 找小毛怪 Humf 的字幕: 但是找到个好(工具)网站,支持提取youtube中视频的字幕的,具体步骤: 针对于Humf的youtube官网的每个系列: Humf – Official Channel – YouTu...
crifan 6年前 (2018-01-09) 2952浏览 0评论
折腾: 【记录】用Python的Scrapy去爬取cbeebies.com 期间,继续参考: Scrapy入门教程 — Scrapy 1.0.5 文档 去试试 Scrapy终端(Scrapy shell) — Scrapy 1.0.5 文档 的效果。...
crifan 6年前 (2017-12-26) 3142浏览 0评论
需要去爬取 http://global.cbeebies.com/ 中的儿童音频资源。 scrapy 中文教程: Scrapy入门教程 — Scrapy 0.24.6 文档 英文教程: Scrapy Tutorial — Scrapy 1.4.0 d...
crifan 6年前 (2017-12-17) 4801浏览 0评论
Selenium中用chrome做为driver去点击某个按钮而打开新窗口 然后此处希望: 判断某个窗口的url符合某个条件,则跳转过去 否则就close对应窗口 selenium window handle url selenium –...
crifan 6年前 (2017-12-15) 2127浏览 0评论
代码: cartNumOptionElemList = driver.find_elements_by_xpath(‘//ul[@class=”dropdown-menu”]/li[@role=”opt...
crifan 6年前 (2017-11-26) 3227浏览 0评论
用Selenium调试打开页面: https://www.befrugal.com/home/ 时,网页加载要好半天才能结束: 2017/11/26 12:36:51 LINE 115 INFO open befrugalHomeUrl=ht...