Crawl_EmulateLogin

crifan 11年前 (2013-05-10) 8941浏览 13评论

【问题】 参考百度API的官网： http://developer.baidu.com/wiki/index.php?title=docs/pcs/rest/file_data_apis_list 中的“上传单个文件”的解释： 上传单个文件 ...

crifan 11年前 (2013-04-30) 5092浏览 1评论

【背景】 之前写过很多网页抓取方面的教程了。全都整理到这里了： 详解抓取网站，模拟登陆，抓取动态网页的原理和实现（Python，C#等） 现遇到别人问的问题： python 抓取动态网页的问题 即，如何分析和抓取： http://vip.stock....

crifan 11年前 (2013-03-18) 12647浏览 8评论

1.用IE9打开 https://www.google.com.hk/ 后，点击右上角的Sign In后，然后输入用户名和密码： 点击Sign in去登陆。 然后就可以看到已经登陆了：   2.很明显，其中的： https://a...

crifan 11年前 (2013-03-05) 4983浏览 6评论

今天去使用Firefox的Firebug，去随便抓取一些网站登录数据时，发现一个问题。 比如，对于百度： http://www.baidu.com 去分析登录的时候，发现那个，对于“网络”（network）的“保持”，即Persist，这个功能不能用...

crifan 11年前 (2013-02-19) 9355浏览 5评论

【问题】 折腾这个的时候，先后操作是： http://www.cadastur.turismo.gov.br/cadastur/PesquisarEmpresas.mtur -> "Guia de Turismo" ->...

crifan 12年前 (2012-12-08) 12224浏览 19评论

背景 在网络，网页，网站处理方面，很多人都遇到过，想要用某种语言（Python，C#等），去实现一些需求，常见的有这几大类： 想要从某静态网页中，提取某些内容 想要抓取某些动态网页中的某些内容 想要模拟登陆某个网站 对于这类需求，其基本的背后逻辑...

crifan 12年前 (2012-12-07) 4860浏览 0评论

【背景】 先说的是，自己之前写了个小软件，用于下载songtaste中的歌曲： 最新版本是1.5： downloadSonstasteMusic(下载Songtaste歌曲) v1.5 – 下载Songtaste(ST)中正在播放的歌曲/单首歌曲/整...

crifan 12年前 (2012-12-04) 6219浏览 2评论

背景 我们在，网页抓取，模拟登陆，抓取动态网页等等，过程中，往往要先通过工具去分析，如何访问一个url，然后获得对应的数据，然后搞懂逻辑了，再用代码实现出来。 而此时，就涉及到，访问对应的url是GET是，要发送，一堆的Header， 而如果是POS...

crifan 12年前 (2012-12-04) 9706浏览 4评论

背景 很多时候，很多人，需要去抓取网页中某些特定内容。 但是，除了之前介绍过的，想要提取某些，静态网页，中的特定内容，比如： 【教程】抓取网并提取网页中所需要的信息 之 Python版 和 【教程】抓取网并提取网页中所需要的信息 之 C#版 之外，有...

crifan 12年前 (2012-11-20) 5493浏览 2评论

最近更新：v2012-11-20 之前，由于折腾一些东西，BlogsToWordpress，InsertSkydriveFiles，而接触到了，这些，用于调试网页，调试页面执行流程和逻辑的工具： IE9的F12，Chrome的Ctrl+Shi...