爬虫-正则
正则表达式解析
正则表达式(regular expression)描述了一种字符串匹配的模式(pattern),可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。
爬虫-代理
post请求
- 表单数据的处理
form_data = urllib.parse.urlencode(form_data).encode()
- fiddler抓包,一个本上面有个箭头,代表就是post请求
爬虫-基本入门
爬虫概念
-
什么是爬虫?
- 程序猿:写程序,然后去互联网上抓取数据的过程
- 互联网:网,有好多的a链接组成的,网的节点就是每一个a链接 url(统一资源定位符)
-
哪些语言可以实现爬虫?
- php,可以做,号称世界上最优美的语言,多进程、多线程支持的不好
- java,也可以做爬虫,人家做的很好,最主要的竞争对手,代码臃肿,重构成本大
- c、c++,是你能力的体现,不是良好的选择
- python,世界上最美丽的语言,语法简单、代码优美,学习成本低,支持的模块多,非常强大的框架 scrapy
Django-RESTful Api之认证和权限
问题
- 没有认证和权限功能,任何资源都可以被任意用户随意修改,所以增加认证和权限功能
- student与其创建者相互关联
- 只有经过身份验证(登陆)的用户才可以创建student
- 只有创建student的用户才可以对其进行更新和删除
- 未经验证(游客)用户只能对数据进行访问(获取)的功能
Django-RESTful Api之请求与响应
配置应用
1 | INSTALLED_APPS = [ |