Bob's Blog

前面一篇聊了一些基础的概念，在这篇里可以试一下基础的搜索和收集内容。

当我们在用百度搜索时，我们会看到很多相关的信息。于是我们可以用爬虫来帮助我们搜索和收集相关的信息。

比如我想查看百度收录的s...

有些网站会有反爬虫的机制。反爬虫的机制有很多种，之后会在一篇文章中统一说明。

这篇文章是记录headless浏览器时被识别为爬虫的解决方式。

比如这个网站会检查访问者是否异常："htt...

当只是爬静态网页时，用requests并解析页面是很方便的。如果我们看到加载页面时有调用API(浏览器的dev tool里network标签里看)，也可以直接向这个api发送请求。

不过当遇到ajax异步加载或者需...

对于很多网站来说，登录后才会呈现部分数据。对于非网页形式的服务端，用户身份验证也是必要的操作。

比如贴吧登录后才能看到我的收藏，比如只有有妖气会员才能看的收费漫画，等等。

于是爬虫也需要能够模拟...

前一篇聊到了简单的请求和获取，这一篇会写关于网页内容的解析。

我们如果是爬取的html，那么内容就会有很多是我们不需要的，我们就需要解析html并抽取到自己需要的内容部分。

对于解析内容，有三种...