教务处模拟登陆的问题

patrickcty 11月 24, 2016

前不久想直接用cookie登入教务处获得数据结果cookie死活设置不了，于是这次想先模拟登陆再获得数据。

事前准备

登陆之后进入信息所在的页面就可以，页面URI可以从JS中直接看到

无论用户名密码验证码对不对最后返回的结果都是500

受同学的启发，准备用爬虫爬取教务处的页面，至于干什么还没想那么远…

结果用requests伪造请求头进去之后发现这是动态页面，而只用requests加载不出来

于是想用selenium来加载js，这时候就需要改变页面的cookie。然而在设置cookie的时候会报错：Can only set Cookies for the current domain

Google了好多都没找到解决方案

于是想requests和selenium结合，结果真的有这个库selenium-requests，没想到原理居然还是调用selenium里面的内容…所以还是报同样的错…

折腾前面的几种方法折腾了好久，似乎还是不行

cookie是从header里面提取的，也有从Chrome插件里面提取读取为JSON再解析的，两者似乎都不起作用

本来想直接登录再直接从对象中获取cookie然而需要验证码这就很麻烦了。然而我觉得登陆之后获取cookie似乎和直接得到没区别。

直接在requests里面使用cookie进入后使用Session.cookies结果发现是空的？？？

又是一个玄学的问题。