展示 221 篇文章
每页 5 篇
前面介绍了用请求解析页面数据、headless加载页面js等资源的方式。我们也可以关注一下现有的轮子，一些比较优秀的爬虫框架。这里介绍一下scrapy，并以快速爬取网站全站的链接为例子说明。
scrapy是非常强大和方便的工具，它还提供了一些预设好的爬取类型。关于scrapy的组件可以参......
python
爬虫
spider
老早就听说了ChatGPT，虽然家里网络有设置能上谷歌，但是openai官网却提示access denied。不知道是不是从国内ip过去的访问都被禁止了。于是需要更科学的上网，否则会看到如下的提示。
于是换了公司的vpn来尝试，可以正常打开了。(毕竟我们做技术的，难免需要访问到国......
工具
我现在在用django rest framework, 新写了接口用于接收图片并转换为探测对象。图片base64保存在服务器，用了时间戳来作为文件名以防重复，但因为短时间会有多个请求，这个时间戳感觉也不稳妥，于是打算换做每个请求的request id以保持唯一。
结果发现django在r......
python
django
web开发
现在有一些页面在使用shadow dom了，比如视频或者表单，可以用作样式隔离等，类似iframe，但有些不一样。至于区别就不提了，这里只记录一下自动化测试时需要注意的地方。
首先原先的元素定义不管是xpath、id等都无法定位到该元素了，只要是被包裹在shadow-root中的元素。需......
自动化测试
web测试
目前在用paddle的OCR模块，并有一些脚本会用其来识别文字。脚本在Mac和windows上都运行正常，但是在Linux上却抛出了异常(使用centos)，报错提示"list index out of range", 最开始目测是在识别多区域文本时循环取值出错了。
......
python