文章列表

Python爬虫(七)使用scrapy快速爬取全站页面

前面介绍了用请求解析页面数据、headless加载页面js等资源的方式。我们也可以关注一下现有的轮子，一些比较优秀的爬虫框架。这里介绍一下scrapy，并以快速爬取网站全站的链接为例子说明。 scrapy是非常强大和方便的工具，它还提供了一些预设好的爬取类型。关于scrapy的组件可以参......

修改Django中admin站点管理的主页跳转链接

若使用默认的admin而不是xadmin之类的话，进入django admin时，右上角的查看站点的跳转会是指向到根页面。比如以本站为例，会跳转到https://www.byincd.com/, 这对于网站是二级路径的话，则跳转错误了。 这里可以去修改django的admin的模......

用Django做一个简单的记账网站(九)自定义模板过滤器

已经能提交表单数据并保存账单了，于是需要在打开页面时请求账单历史记录的数据，并显示在页面上。 期望的是把账单按每一天来整合，并能显示汇总的收支信息，于是返回的数据就会有每日账单和每日收支，类似如下： # 每日账单 {'2021-01-20': [<HistoryReco......

Python爬虫(四)使用selenium和headless浏览器

当只是爬静态网页时，用requests并解析页面是很方便的。如果我们看到加载页面时有调用API(浏览器的dev tool里network标签里看)，也可以直接向这个api发送请求。 不过当遇到ajax异步加载或者需要执行javascript时，仅仅使用requests就不够了。这时我们可......

mac配置android sdk环境

  目前用的mac。 先下载sdk。从官网下载了sdk tool：https://developer.android.com/studio/#downloads。如果连不上就用这个链接：https://developer.android.google.cn/studio?......