Crawl_EmulateLogin

crifan 11年前 (2013-08-26) 4663浏览 2评论

【背景】 之前自己弄的BlogsToWordpress，后来希望添加支持，导出网易163博客中的心情随笔的内容。 之前已经通过代码，可以获得返回的DWR-REPLY数据了： 【记录】给BlogsToWordPress添加支持导出网易的心情随笔 现在就...

crifan 11年前 (2013-08-08) 7105浏览 5评论

【背景】 折腾： 【记录】开发在线视频下载器OnlineVideoDownloader的过程 期间，需要先去分析优酷的flv真实地址。 【折腾过程】 1.继续用IE9的F12去分析。 现以 http://v.youku.com/v_show/id_X...

crifan 11年前 (2013-08-07) 4600浏览 0评论

【背景】 之前就有此想法： 弄个下载工具，可以下载很多视频网站的在线视频。 包括音悦台的各种mv，比如linkinpark的； 下载优酷的视频，比如最新喜欢上的罗辑思维等等。 而之前下载到的一些下载工具，说实话，一是不太好用，二是广告太多。 所以现在...

crifan 11年前 (2013-08-01) 8023浏览 4评论

最近更新：2013-07-03 背景 之前，对于折腾，静态或动态的网页抓取，模拟登陆，也算有些时日了。 在此期间，遇到很多问题，也都基本上靠自己慢慢的解决了。 此处，把其中相对常见和通用的问题或者是注意事项， 再加上一些心得，在此整理出来，供参考： ...

crifan 11年前 (2013-07-18) 3268浏览 0评论

  1.关于AWS方面的，可参考： 【整理】Amazon的AWS（Associates Web Service，新改名为Product Advertising API）   2.Amazon产品信息方面的一些规律 对于给定一个AS...

crifan 11年前 (2013-07-16) 2434浏览 0评论

根据amazon官网： http://docs.aws.amazon.com/AWSECommerceService/latest/DG/BrowseNodeIDs.html 的描述，Toys针对US的BrowseNodeId=493964 但是经过...

crifan 11年前 (2013-07-16) 4857浏览 0评论

背景知识： 【整理】Amazon的AWS（Associates Web Service，新改名为Product Advertising API） 【整理】Amazon产品信息抓取心得 AWS的API使用过程中，发现还是有很多事情需要注意的。 现总结...

crifan 11年前 (2013-07-03) 1914浏览 0评论

此贴内容已移至： 【总结】静态网页抓取，动态网页抓取，模拟登陆的注意事项和心得   如果不加User-Agent，则有些网址的访问，会被禁止的 此点，之前别人很多人已总结。 此处，还是再啰嗦一遍。 比如，直接通过浏览器访问，csdn的某个...

crifan 11年前 (2013-06-29) 2401浏览 0评论

无意间发现的，淘宝也有api 记录一些资料。   1. 淘宝开发平台TOP API揭秘 http://www.alibuybuy.com/posts/13708.html 解释了基本逻辑。   2.有人写了教程，关于如何申请 如何...

crifan 11年前 (2013-06-26) 5740浏览 2评论

【背景】 在 【记录】eBay API的开发流程 中，折腾： 【记录】试试eBay提供的C#的console版的Hello World示例代码 期间，需要先有SandBox环境，以及Auth token，才可以继续折腾那个hello world的示例...