快活林资源网 Design By www.csstdc.com
如何获取指定的标签的内容是解析网页爬取数据的必要手段,比如想获取<div class='xxx'> ...<div>这样的div标签,通常有三种办法,
1)用字符串查找方法,然后切分字符串(或切片操作),如str.index(patternStr)或str.find(patternStr),这种方法快,但步骤多,因为要去头去尾。
2)用正则表达式,比如'<div class="result_info">([\s\S]+"htmlcode">
import re def getTags(html): reg = r'<div class="result_info">([\s\S]+"result_info">([\s\S]+"result_info"的div中还嵌套了子的div,那么正则表达式的后半部分"</div>"将会匹配子div的结尾部分</div>,而不是希望的父div.假如有这样一个html:
<div class="result_info"> <p>some paragraph test 1 </p> <p>some paragraph test 2 </p> <div id="div_sub" class="sub_div_style"> some contents in sub div </div> backend content here </div>那么backend contents here这段内容将会匹配不到,正则表达式将会将id为div_sub的</div>作为结尾。
3)使用第三方库,比如BeautifulSoup,优点是准确,缺点是速度会比字符串切分、正则表达式慢,下面说说BeautifulSoup的用法。
按照BeautifulSoup官方文档的说明怎么都不能成功,后来在百度知道(http://zhidao.baidu.com/question/433247968620775644.html)找到答案,真是扯淡,附上有效代码:
soup=BeautifulSoup(html) print soup.find_all(name='div',attrs={"class":"footer"})#按照字典的形式给attrs参数赋值完整的:
from bs4 import BeautifulSoup import urllib2 def getTargetDiv(url,myAttrs): html=urllib2.urlopen(url).read() soup=BeautifulSoup(html) return soup.find_all(name='div',attrs=myAttrs) if __name__=="__main__": url=r'http://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/' myAttrs={'class':'footer'} print getTargetDiv(url, myAttrs)按照官方文档(http://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/)的做法:
#1.soup.find_all("a", class_="sister") #2.css_soup.find_all("p", class_="body") #3.soup.find_all(href=re.compile("elsie"))改成
soup.find_all(name='div',class_=re.compile('info_item'))或者
soup.find_all('div',class_='info_item')都没有匹配结果,经测试需要soup.find_all(name='div',attrs={"class":"footer"})这样以字典的形式给attrs参数赋值才可以。
另一个例子,获取指定样式的div内的所有图片url,并下载保存:
urls=[] for img in soup.find('div',attrs={'class':'wrap'}).find_all('img'):#找到class="wrap"的div里面的所有<img>标签 urls.append(img.attrs['src'])#获取img标签的src属性,即图片网址 i=0 savedir=r'C:\Users\hp\Desktop\Images'#路径中不能包含中文 for url in urls: urllib.urlretrieve(url, '%s\%s.jpg'%(savedir,i)) i+=1 print 'Done'更多用法,可参考:https://www.jb51.net/article/184386.htm
快活林资源网 Design By www.csstdc.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
快活林资源网 Design By www.csstdc.com
暂无评论...
更新日志
2024年12月23日
2024年12月23日
- 小骆驼-《草原狼2(蓝光CD)》[原抓WAV+CUE]
- 群星《欢迎来到我身边 电影原声专辑》[320K/MP3][105.02MB]
- 群星《欢迎来到我身边 电影原声专辑》[FLAC/分轨][480.9MB]
- 雷婷《梦里蓝天HQⅡ》 2023头版限量编号低速原抓[WAV+CUE][463M]
- 群星《2024好听新歌42》AI调整音效【WAV分轨】
- 王思雨-《思念陪着鸿雁飞》WAV
- 王思雨《喜马拉雅HQ》头版限量编号[WAV+CUE]
- 李健《无时无刻》[WAV+CUE][590M]
- 陈奕迅《酝酿》[WAV分轨][502M]
- 卓依婷《化蝶》2CD[WAV+CUE][1.1G]
- 群星《吉他王(黑胶CD)》[WAV+CUE]
- 齐秦《穿乐(穿越)》[WAV+CUE]
- 发烧珍品《数位CD音响测试-动向效果(九)》【WAV+CUE】
- 邝美云《邝美云精装歌集》[DSF][1.6G]
- 吕方《爱一回伤一回》[WAV+CUE][454M]