bobdu.cc

Follow me on GitHub

爬虫的五个步骤

  1. 确定好需求,必须明确要的数据是什么
  2. 根据需求,寻找好网站
  3. 将网站的数据获取到本地 urllib requests
  4. 在获取到的网站中定位到数据 正则 xpath css json
  5. 将获取到的数据进行存储 mysql redis 文件

注意事项

  1. 要整理错误文件 把平时遇到的错误都整理总结下来
  2. 编程前要有思路,能封装的代码必须要封装,程序写思路文件

http请求过程

Http请求过程