博文纲领：
Python写爬虫都用到什么库
Python爬虫网络库Python爬虫网络库主要包括：urllib、requests、grab、pycurl、urllibhttplibRoboBrowser、MechanicalSoup、mechanize、socket、Unirest for Python、hyper、PySocks、treq以及aiohttp等。
在进行登录操作后，通常需要维护登录状态。使用requests.Session()可以方便地实现：import requests s = requests.Session()s.get(httpbin.org/get)此后，可以直接使用request访问登录后才能访问的页面。
综上所述，urllib库提供了丰富的功能来支持Python爬虫的开发，包括网页请求、异常处理、URL解析和编码以及robots.txt文件的解析等。通过合理使用这些功能，可以高效地爬取和处理网页数据。
在Python爬虫中，Requests库是常用且必不可少的HTTP客户端库。它的安装简单快捷，对于提升下载速度至关重要。
Python解析库lxml与xpath用法总结
1、lxml安装 lxml 是一个xpath格式解析模块，安装很方便，直接pip install lxml 或者easy_install lxml即可。lxml 使用 lxml提供了两种解析网页的方式，一种是你解析自己写的离线网页时，另一种 则是解析线上网页。
2、首先，当从数据库查询数据并尝试通过`etree.fromstring()`解析时，可能会遇到`ValueError： Unicode strings with encoding declaration are not supported`的错误。解决方法是确保传递给函数的是字节字符串，可以使用`new_doc_content.encode(utf-8)`进行转换。
3、XPath是XML查询的一种，用于根据标签层次提取内容或属性。通过Python库lxml，可以使用XPath语法解析HTML。XPath支持路径表达式来选择节点，还支持通配符和选择多个节点。使用CSS选择器解析HTML：CSS选择器用于定位页面元素，与浏览器渲染原理相似。BeautifulSoup库利用CSS选择器功能，可以方便地在Python中提取页面数据。
假期必看全网最全Ph爬虫库
grab-网络库(基于py curl) 。 py curl-网络库(绑定libcurl) 。 urllib 3-Python HTTP库， 安全连接池、支持文件post 、可用性高。 httplib 2-网络库。 Robo Browser-一个简单的、极具Python风格的 Python库， 无需独立的浏览器即可浏览网页。 Mechanical Soup一一个与网站自动交互Python库。
urllib-网络库(stdlib) 。requests-网络库。grab-网络库(基于py curl) 。py curl-网络库(绑定libcurl) 。urllib 3-Python HTTP库， 安全连接池、支持文件post 、可用性高。httplib 2-网络库。