展示 217 篇文章   每页 5
办公
1115 阅读

python批量裁剪图片

今天翻到了以前下载的老漫画,是jpg格式的文件,可是放在手机上却发现一张图是包含了两页的,这在手机观看就看不清楚了得不停放大拖拽。于是打算用小段程序来裁剪图片,将每一张图片都切成两半,适用于手机观看。涉及到的代码不难,只是记录一下,或许有人也有需要,可以直接拷贝用起来。 首先观察了一下漫......
python
爬虫
3061 阅读

Python爬虫(七)使用scrapy快速爬取全站页面

前面介绍了用请求解析页面数据、headless加载页面js等资源的方式。我们也可以关注一下现有的轮子,一些比较优秀的爬虫框架。这里介绍一下scrapy,并以快速爬取网站全站的链接为例子说明。 scrapy是非常强大和方便的工具,它还提供了一些预设好的爬取类型。关于scrapy的组件可以参......
python 爬虫 spider
随记
1477 阅读

ChatGPT注册和使用过程记录

老早就听说了ChatGPT,虽然家里网络有设置能上谷歌,但是openai官网却提示access denied。不知道是不是从国内ip过去的访问都被禁止了。于是需要更科学的上网,否则会看到如下的提示。 于是换了公司的vpn来尝试,可以正常打开了。(毕竟我们做技术的,难免需要访问到国......
工具
Web开发
1200 阅读

Django中新增unique request id

我现在在用django rest framework, 新写了接口用于接收图片并转换为探测对象。图片base64保存在服务器,用了时间戳来作为文件名以防重复,但因为短时间会有多个请求,这个时间戳感觉也不稳妥,于是打算换做每个请求的request id以保持唯一。 结果发现django在r......
python django web开发
自动化
3825 阅读

selenium遇到shadow dom时定位元素

现在有一些页面在使用shadow dom了,比如视频或者表单,可以用作样式隔离等,类似iframe,但有些不一样。至于区别就不提了,这里只记录一下自动化测试时需要注意的地方。 首先原先的元素定义不管是xpath、id等都无法定位到该元素了,只要是被包裹在shadow-root中的元素。需......
自动化测试 web测试