Bob's Blog

前面介绍了用请求解析页面数据、headless加载页面js等资源的方式。我们也可以关注一下现有的轮子，一些比较优秀的爬虫框架。这里介绍一下scrapy，并以快速爬取网站全站的链接为例子说明。

scrapy是非常强大...

老早就听说了ChatGPT，虽然家里网络有设置能上谷歌，但是openai官网却提示access denied。不知道是不是从国内ip过去的访问都被禁止了。于是需要更科学的上网，否则会看到如下的提示。

技术

工具

我现在在用django rest framework, 新写了接口用于接收图片并转换为探测对象。图片base64保存在服务器，用了时间戳来作为文件名以防重复，但因为短时间会有多个请求，这个时间戳感觉也不稳妥，于是打算换做每个请求的re...

现在有一些页面在使用shadow dom了，比如视频或者表单，可以用作样式隔离等，类似iframe，但有些不一样。至于区别就不提了，这里只记录一下自动化测试时需要注意的地方。

首先...

目前在用paddle的OCR模块，并有一些脚本会用其来识别文字。脚本在Mac和windows上都运行正常，但是在Linux上却抛出了异常(使用centos)，报错提示"list index out of range"...