爬虫写的一个查询单词的小程序
# 东海县教育局 教育考试中心 # 作 者: 刘 磊 # QQ: 247483085 # 编写时间:2022-02-11 --9:14 # coding=utf-8 import time import requests from bs4 import BeautifulSoup isrun=True while isrun: word=input('输入查询的单词:') url=r'https://dict.youdao.com/w/'+word html=requests.get(url).text soup=BeautifulSoup(html,'lxml') meaning=soup.select('#phrsListTab > div.trans-container > ul') for i in meaning: print(i.get_text()) quite=input('是否继续查询(是y):') if quite=='y': isrun=True else: isrun=False print('查询结束即将关闭进程') time.sleep(1) exit()
参考的是网上的一个教程
这里有个经验 :本地安装的python和ide的版本不在同一个位置 则两边的库都需要安装 否则会出现双击闪退错误,同时pyinstaller打包成exe的时候也就会出现这样的问题。
BeautifulSoup 功能很强大 网上搜索一篇文章 共享下
1.BeautifulSoup简介
BeautifulSoup4和 lxml 一样,Beautiful Soup 也是一个HTML/XML的解析器,主要的功能也是如何解析和提取 HTML/XML 数据。
BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,如果我们不安装它,则 Python 会使用 Python默认的解析器,lxml 解析器更加强大,速度更快,推荐使用lxml 解析器。
Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码。你不需要考虑编码方式,除非文档没有指定一个编码方式,这时,Beautiful Soup就不能自动识别编码方式了。然后,你仅仅需要说明一下原始编码方式就可以了。
2.BeautifulSoup的安装
首先我们需要安装一个BeautifulSoup库。我安装的版本是python3。所以就可以直接在cmd下用pip3命令进行安装。
命令:
pip3 install beautifulsoup4
安装我用的是 pip install bs4 命令
ps 引用我用的是 from bs4 impor BeautifulSoup
在安装好BeautifulSoup后,我们可以通过导入该库来判断是否安装成功。
命令:
>>> from bs4 import BeautifulSoup
回车后不报错,这说明我们已经将其安装成功。
3.BeautifulSoup常用功能
# beautiful soup 网页中提取信息的python库 # BeautifulSoup 对象表示的是一个文档的全部内容 # prettify() 按照标准的缩进格式的结构输出 # get_text() 会将HTML文档中的所有标签清除,返回一个只包含文字的字符串 from bs4 import BeautifulSoup text=''' <?xml version="1.0" encoding="ISO-8859-1"?> <bookstore> <book> <title>Harry Potter</title> <price>29.99</price> </book> <book> <title>Learning XML</title> <price>39.95</price> </book> </bookstore> ''' # create 对象 bf=BeautifulSoup(text) # 按照标准缩进格式输出 print(bf.prettify()) # 会将HTML文档中的所有标签清除,返回一个只包含文字的字符串 print(bf.get_text()) # Tag对象 # 标签 表示HTML中的一个个标签 # name # attrs tag=bf.title # 获取title标签 print(tag) print(type(tag)) # tag类型 print(tag.name) # 标签名称 print(tag.attrs) #标签属性 print(tag.attrs["lang"]) #单独获取某个属性 方法1 print(bf.title["lang"]) #单独获取某个属性 方法2 # NavigableString tag.string # 表示标签中的文字 print(tag.string) print(type(tag.string)) # 查看数据类型 # Comment 注释部分 # 一个特殊类型的NavigableString对象 # 输出的内容不包括注释符号 string=''' <p><!-- 这是注释! --></p> ''' sp=BeautifulSoup(string) print(sp) print(sp.p.string) # 去获取标签中是文字
# 两个常用函数 # find_all() 搜索当前tag的所有tag子节点,并判断是否符合给定的条件 # 返回结果是一个列,可以包含多个元素 print(soup.find_all('title'),end="\n-------\n") #find() 直接返回第一个元素 print(soup.find("title")) print(soup.find_all("title",lang="eng")) # 查找title标签 属性lang=eng print(soup.find_all("title",{"lang":"eng"})) # 结果同上 print(soup.find_all(["title","price"])) #获取多个标签 print(soup.find_all("title",lang="eng")[0].get_text()) # 获取文本 # 三大常见节点 # 子节点 一个Tag可能包含多个字符串或其他的tag,这些都是这个tag的子节点 # 父节点 配个tag或字符串都有父节点:被包含在某个tag中 # 兄弟节点 平级的节点 end="\n-------\n" print(soup.book,end) # 获取book节点信息 print(soup.book.contents,end) # 获取book下的所有子节点 print(soup.book.contents[1],end) # 获取book下的所有子节点中的第一个节点 print(soup.book.children,end) # children 生成迭代器 for child in soup.book.children: print("===",child) print(soup.title.parent,end) print(soup.book.parent,end) for parent in soup.title.parents: #注意parent和parents区别 print("===",parent.name) print(soup.title.next_sibling,end) # 获取该节点的下一个兄弟节点 print(soup.title.previous_sibling,end) # 获取该节点的上一个兄弟节点 print(soup.title.next_siblings,end) # 获取该节点的全部兄弟节点 for i in soup.title.next_siblings: print("===",i)
评论列表
发表评论