curl模拟登陆

September 7, 2019

540 views

4139 words

过不了验证码

如果过登陆后台不带验证码验证可以通过


/*通过CURL模拟登录并获取数据
一些网站需要权限认证，必须登录网站后，才能有效地抓取网页并采集内容，
这就需要curl来设置cookie完成模拟登录网页，php的curl在抓取网页内容方
面效率是比较高的，而且支持多线程，而file_get_contents()效率就要稍低
些。模拟登录的代码如下所示：
*/

function login_post($url, $cookie, $post)
{
    $userAgent = [
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36 MicroMessenger/5.2.380',
        'Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)',
        'Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)',
        'Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)',
        'Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)',
        'Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)',
        'Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)',
        'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0); 360Spider'
    ];
    // 模拟请求来源
    $referers = array(
        'https://www.baidu.com?k=',
        'https://www.sogou.com?keyword=',
        'https://www.so.com?keyword=',
        'https://www.google.com?k=',
        'https://m.baidu.com?keyword=',
        'https://m.sogou.com?keyword=',
        'https://m.so.com?key='
    );

    function getHeader($url,$userAgent,$referers)
    {
        $referer = $referers[mt_rand(0, count($referers)-1)];
        $userAgent = $userAgent[mt_rand(0, count($userAgent)-1)];
        $parser = parse_url($url);
        $host = $parser['host'];
        return [
            'Host' => $host,
            'Referer' => $referer,
            'User-Agent' => $userAgent,
            'Accept' => 'text/html, application/xhtml+xml, application/xml;q=0.9, */*;q=0.8',
            'Accept-Language' => ' en-US,en;q=0.5',
            'Accept-Charset' => 'utf-8',
            'Accept-Encoding' => 'gzip',
            'Connection' => 'Keep-Alive',
            'X-Requested-With'=>'XMLHttpRequest'
        ];
    }

    $ch = curl_init(); //初始化curl模块
    curl_setopt($ch, CURLOPT_URL, $url); //登录提交的地址
    curl_setopt($ch, CURLOPT_HEADER, 0); //是否显示头信息
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); //是否自动显示返回的信息
    curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie); //设置cookie信息保存在指定的文件夹中
    curl_setopt($ch, CURLOPT_HTTPHEADER, getHeader($url,$userAgent,$referers));
    curl_setopt($ch, CURLOPT_POST, 1); //以POST方式提交
    curl_setopt($ch, CURLOPT_POSTFIELDS, http_build_query($post));//要执行的信息
    $res=curl_exec($ch); //执行CURL
    file_put_contents('test.txt',$res);
    curl_close($ch);
}

/*
上例中声明的函数login_post()，需要提供一个url地址，一个保存cookie文
件，以及post的数据（用户名和密码等信息），注意php自带的http_build_query()
函数可以将数组转换成相连接的字符串，如果通过该函数登录成功后，我们要获取
登录成功个页面信息。声明函数的代码如下所示：
*/
function get_content($url, $cookie)
{
    $ch = curl_init(); //初始化curl模块
    curl_setopt($ch, CURLOPT_URL, $url); //登录提交的地址
    curl_setopt($ch, CURLOPT_HEADER, 0); //是否显示头信息
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //是否自动显示返回的信息
    curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie);//设置cookie信息保存在指定的文件夹中
    $rs = curl_exec($ch); //执行curl转去页面内容
    var_dump($rs);
    curl_close($ch);
    return $rs; //返回字符串
}

/*
get_content()中用curlopt_cookiefile可以读取到登录保存的cookie信
息 最后讲页面内容返回.我们的目的是获取到模拟登录后的信息，也就是
只有正常登录成功后菜能获取的有用的信息，下面举例代码
*/
$post = array(
    'account' => '1864580xxxx',
    'password' => 'xxx48xxxx',
  
);

$url = "http://dong.wk.cn:83/login"; //登录地址， 和原网站一致
$cookie = dirname(__FILE__) . '/cookie_ydma.txt'; //设置cookie保存的路径
$url2 = "http://dong.wk.cn:83/user/account"; //登录后要获取信息的地址

login_post($url, $cookie, $post); //调用模拟登录
$content = get_content($url2, $cookie); //登录后，调用get_content()函数获取登录后指定的页面信息


file_put_contents('save.txt', $content); //保存抓取的页面内容

curl模拟登陆