Skip to main content

SPA 网页图片爬虫实战

前言

博主编程启蒙在高中,当时听说 python 写爬虫很厉害,于是学了一段时间的 python,但当时对于编程语言中的各种概念一无所知,所以学习起来十分困难,最终只能照着网上的教程抄抄简单的爬虫(特别是对于使用了异步加载的网页一筹莫展),最近在浏览某个网站时发现该网站的图片专栏的页面结构十分统一,由于懒得一个一个帖子点开看,决定写一个爬虫爬到本地。

详解浏览器缓存

缓存可以说是性能优化中简单高效的一种优化方式了。一个优秀的缓存策略可以缩短网页请求资源的距离,减少延迟,并且由于缓存文件可以重复利用,还可以减少带宽,降低网络负荷。

对于一个数据请求来说,可以分为发起网络请求、后端处理、浏览器响应三个步骤。浏览器缓存可以帮助我们在第一和第三步骤中优化性能。比如说直接使用缓存而不发起请求,或者发起了请求但后端存储的数据和前端一致,那么就没有必要再将数据回传回来,这样就减少了响应数据。