Crawl_EmulateLogin

crifan 8年前 (2018-03-01) 6220浏览

折腾： 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间，去调用 http://www.yousubtitles.com 想办法下载字幕，结果无法提示： DEBUG: Forbidden by robots.txt 20...

crifan 8年前 (2018-02-27) 6835浏览

pyspider vs scrapy pyspider 和 scrapy 比较起来有什么优缺点吗？ – 知乎 “Pyspiders是国内某大神开发了个WebUI的[Pyspider](GitHub – binux/pyspid...

crifan 8年前 (2018-01-13) 6372浏览

折腾： 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间，对于scrapy的response的xpath得到的Selector，如何获取其中的a中href的值 Scrapy 1.5 documentation — Scr...

crifan 8年前 (2018-01-13) 10407浏览

折腾： 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间，由于youtube网页本身需要翻墙才能打开。 而此处Mac中已有Shadowsocks-NG的ss代理了。 现在需要给Scrapy去添加代理。 scrapy ad...

crifan 8年前 (2018-01-13) 7610浏览

对于之前的手动操作去 找小毛怪 Humf 的字幕： 但是找到个好（工具）网站，支持提取youtube中视频的字幕的，具体步骤： 针对于Humf的youtube官网的每个系列： Humf – Official Channel – YouTu...

crifan 8年前 (2018-01-09) 3931浏览

折腾： 【记录】用Python的Scrapy去爬取cbeebies.com 期间，继续参考： Scrapy入门教程 — Scrapy 1.0.5 文档 去试试 Scrapy终端(Scrapy shell) — Scrapy 1.0.5 文档 的效果。...

crifan 8年前 (2017-12-26) 3969浏览

需要去爬取 http://global.cbeebies.com/ 中的儿童音频资源。 scrapy 中文教程： Scrapy入门教程 — Scrapy 0.24.6 文档 英文教程： Scrapy Tutorial — Scrapy 1.4.0 d...

crifan 8年前 (2017-12-17) 5517浏览

Selenium中用chrome做为driver去点击某个按钮而打开新窗口 然后此处希望： 判断某个窗口的url符合某个条件，则跳转过去 否则就close对应窗口 selenium window handle url selenium –...

crifan 8年前 (2017-12-15) 2808浏览

代码： cartNumOptionElemList = driver.find_elements_by_xpath(‘//ul[@class=”dropdown-menu”]/li[@role=”opt...

crifan 8年前 (2017-11-26) 3926浏览

用Selenium调试打开页面： https://www.befrugal.com/home/ 时，网页加载要好半天才能结束： 2017/11/26 12:36:51 LINE 115  INFO    open befrugalHomeUrl=ht...