用python爬过这些网站，才敢说自己会爬虫！
前言
微信、知乎、新浪等主流网站的模拟登陆爬取方法。
网络上有形形色色的网站，不同类型的网站爬虫策略不同，难易程度也不一样。从是否需要登陆这方面来说，一些简单网站不需要登陆就可以爬，比如之前爬过的猫眼电影、东方财富网等。有一些网站需要先登陆才能爬，比如知乎、微信等。这类网站在模拟登陆时需要处理验证码、js 加密参数这些问题，爬取难度会大很多。费很大力气登陆进去后才能爬取想要的内容，很花时间。
（文末送读者福利）
是不是一定要自己动手去实现每一个网站的模拟登陆方法呢，从效率上来讲，其实大可不必，已经有前人替我们造好轮子了。
最近发现一个神库，汇总了数十个主流网站的模拟登陆方法：
知乎
微信网页版登录并获取好友列表
Bilibili
无需身份验证即可抓取Twitter前端API
微博网页版
QQZone
CSDN
淘宝
Baidu
果壳
JingDong 模拟登录
163mail
拉钩
豆瓣
Baidu2
猎聘网
Github
爬取图虫相应的图片
网易云音乐
糗事百科
这些网站基本采用的是直接登录或者 selenium+webdriver 方式。每一个网站都有完整的模拟登陆代码，拿来就可以用到自己的爬虫中。
下面我们来测试一下。
先说说很难爬的「知乎」，假如我们想爬取知乎主页的 HTML 内容，就必须要先登陆才能爬，不然看不到这个界面。下面来简单梳理一下流程。
Python爬虫：爬过这些网站，才敢说自己会爬虫！
Python爬虫：爬过这些网站，才敢说自己会爬虫！
知乎需要手机号才能注册登陆。为了方便测试，可以随便找个手机号，手机号到哪儿去找呢，两个神网站保护你的隐私 这篇文章里介绍了一个免费电话号码网站，用上面的手机号可以成功注册。
Python爬虫：爬过这些网站，才敢说自己会爬虫！
Python爬虫：爬过这些网站，才敢说自己会爬虫！
顺利登录后就可以进入主页了。
下面，我们用这个库提供的代码来模拟登陆，输出主页 HTML 内容作测试。操作很简单，只需要输入手机号、密码和验证码就可以了。
Python爬虫：爬过这些网站，才敢说自己会爬虫！
成功登陆后，接下来就可以做一些有意思的事了。比如曾有人爬取所有知乎账号的信息，分析了知乎用户群体画像。
是不是有点意思。
再来看看微信。用上面的微信代码可以把全部微信好友信息爬取下来，比如：昵称、性别、地域、个性签名。接着可以分析一下你的朋友圈是什么样的，应该会很有趣。
Python爬虫：爬过这些网站，才敢说自己会爬虫！
还可以爬 B 站：
Python爬虫：爬过这些网站，才敢说自己会爬虫！
还可以爬链家租房信息：
Python爬虫：爬过这些网站，才敢说自己会爬虫！
读者福利：知道你对Python感兴趣，便准备了这套python学习资料，
对于0基础小白入门：
如果你是零基础小白，想快速入门Python是可以考虑的。
一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括：Python永久使用安装包、Python web开发，Python爬虫，Python数据分析，人工智能、机器学习等教程。带你从零基础系统性的学好Python！
零基础Python学习资源介绍
👉Python学习路线汇总👈
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（学习教程文末领取哈）
👉Python必备开发工具👈
温馨提示：篇幅有限，已打包文件夹，获取方式在：文末
👉Python学习视频600合集👈
观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
👉实战案例👈
光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
👉100道Python练习题👈
检查学习结果。
👉面试刷题👈
资料领取
这份完整版的Python全套学习资料已为大家备好，朋友们如果需要可以微信扫描下方二维码添加，输入"领取资料" 可免费领取全套资料【有什么需要协作的还可以随时联系我】朋友圈也会不定时的更新最前言python知识。
好文推荐
了解python的前景： https://blog.csdn.net/weixin_49892805/article/details/127196159
了解python的副业： https://blog.csdn.net/weixin_49892805/article/details/127214402