最新消息:20210816 当前crifan.com域名已被污染,为防止失联,请关注(页面右下角的)公众号

【总结】Python的第三方库BeautifulSoup的使用心得

BeautifulSoup crifan 9179浏览 0评论

【BeautifulSoup最简介】

BeautifulSoup,是Python中的一个第三方库,用于帮助解析Html/XML等内容,便于实现后期的内容提取等方面的工作。

BeautifulSoup官网地址:http://www.crummy.com/software/BeautifulSoup/

 

【官网文档】

BeautifulSoup 最新的 v4,改名为bs4,英文官网文档:BeautifulSoup v4 (bs4)  英文文档

之前的旧的,BeautifulSoup v3,对应的官网文档,中文版:BeautifulSoup v3 中文文档

 


1.善于利用soup节点的parent属性

比如对于已经得到了如下html代码:

<td style="padding-left:0" width="60%"><label>November</label>
<input type="Hidden" id="cboMonth1" name="cboMonth1" value="11">
</td><td style="padding-right:0;" width="40%">
    <label>2012</label>
    <input type="Hidden" id="cboYear1" name="cboYear1" value="2012">
</td>

的soup变量eachMonthHeader了。

想要提取其中的

Month的label的值:November

和Year的label的值:2012

最简单,也是最省事的办法是,直接搜两个label,然后肯定会找到这两个label,然后分别对应着Month和Year的label,然后获得对应的string即可:

foundTwoLabel = eachMonthHeader.findAll("label");
print "foundTwoLabel=",foundTwoLabel;
monthLabel = foundTwoLabel[0];
yearLabel = foundTwoLabel[1];

monthStr = monthLabel.string;
yearStr = yearLabel.string;

print "monthStr=",monthStr; # monthStr= November
print "yearStr=",yearStr; # yearStr= 2012 

但是很明显,这样的逻辑性很不好,而且万一处理多个这样的soup变量,而且两者的顺便颠倒了,那么结果也就错误了。

此时,可以考虑利用soup变量的parent属性,从一个soup变量本身,获得其上一级的soup变量。

其中细节可以参考官网的教程:soup的parent属性

示例代码如下:

        # <td style="padding-left:0" width="60%"><label>November</label>
        # <input type="Hidden" id="cboMonth1" name="cboMonth1" value="11">
        # </td><td style="padding-right:0;" width="40%">
            # <label>2012</label>
            # <input type="Hidden" id="cboYear1" name="cboYear1" value="2012">
        # </td>
        foundCboMonth = eachMonthHeader.find("input", {"id":re.compile("cboMonth\d+")});
        #print "foundCboMonth=",foundCboMonth;
        tdMonth = foundCboMonth.parent;
        #print "tdMonth=",tdMonth;
        tdMonthLabel = tdMonth.label;
        #print "tdMonthLabel=",tdMonthLabel;
        monthStr = tdMonthLabel.string;
        print "monthStr=",monthStr;
        
        foundCboYear = eachMonthHeader.find("input", {"id":re.compile("cboYear\d+")});
        #print "foundCboYear=",foundCboYear;
        tdYear = foundCboYear.parent;
        #print "tdYear=",tdYear;
        tdYearLabel = tdYear.label;
        #print "tdYearLabel=",tdYearLabel;
        yearStr = tdYearLabel.string;
        print "yearStr=",yearStr;

 

2.当解析非UTF-8或ASCII编码类型的HTML时,需要指定对应的字符编码

当html为ASCII或UTF-8编码时,可以不指定html字符编码,便可正确解析html为对应的soup:

    #这里respHtml是ASCII或UTF-8编码,此时可以不指定编码类型,即可正确解析出对应的soup
    soup = BeautifulSoup(respHtml);

当html为其他类型编码,比如GB2312的话,则需要指定相应的字符编码,BeautifulSoup才能正确解析出对应的soup:

比如:

【教程】抓取网并提取网页中所需要的信息 之 Python版

中的相关代码:

    #此处respHtml是GB2312编码的,所以要指定该编码类型,BeautifulSoup才能解析出对应的soup
    htmlCharset = "GB2312";
    soup = BeautifulSoup(respHtml, fromEncoding=htmlCharset);

 

而关于如何获得对应的html的字符编码,不了解的可参考:

【整理】关于HTML网页源码的字符编码(charset)格式(GB2312,GBK,UTF-8,ISO8859-1等)的解释

3.

转载请注明:在路上 » 【总结】Python的第三方库BeautifulSoup的使用心得

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

网友最新评论 (5)

  1. http://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html BeautifulSoup4也有中文啦。
    向北10年前 (2015-06-05)回复
  2. 您好,有个问题想请教一下,BeautifulSoup处理WAP页面出现了一些问题。 url1 = 'http://www.baidu.com/' url2 = 'http://wap.baidu.com' html = urllib2.urlopen(url).read() c1 = BeautifulSoup(html,from_encoding='utf8') c2 = c1.title print c2 #处理url1的时候结果是百度一下,你就知道 #处理url3 的时候结果是None 我之前处理的时候是没问题的,今天突然无法读取了,请问你知道这是为什么? 另外我昨天安装了html5lib,会不会是这个引起的?
    hello11年前 (2014-05-29)回复
    • 看起来的可能性有: 1.你的html5lib引起的。 2.baidu网站自己内部网页内容变化所导致的。 看起来更像是第一种。
      crifan11年前 (2014-06-12)回复
      • 嗯,谢谢。是的,我后来重新安装了BeautifulSoup,这次就可以了
        hello11年前 (2014-06-13)回复
90 queries in 0.204 seconds, using 22.09MB memory