酷狗音乐单曲爬取

日期:2022-09-22 15:27:55 作者:磊落不羁 栏目:爬虫 评论(0)
酷狗音乐单首歌曲下载单首歌曲下载没有问题url链接复制的别人的进行的修改。我就纳了闷了,怎么我复制的url链接就不行呢?明明区别不大。我这个脑子呀。。果然不如别人灵活。import requests from urllib import parse import json import time import re import os import webbrowser import warnings warnings.filterwarnings('ignore'...

关于百合网会员资料搜索爬取的相关思路

日期:2022-09-22 08:52:22 作者:磊落不羁 栏目:爬虫 评论(0)
今天原本拿百合网做自动化识别的学习测试,在编写过程中发现了百合网如下的爬取思路,可以大批量的获取百合网的会员内容。首先注册个账号,随后登录,便可进入百合网会员界面,随后可以点击搜索进入搜索。这都是正常操作。https://search.baihe.com/在百合网的搜索界面进入开发工具F12在基本搜索界面随便输入条件进行搜索。在开发工具NETwork--XHR中可以看到以下两个链接的出现。通过分析得知 getUserID页面是获取用户id列表的界面。getUserList?userID这个链接是通过getUserID所获取的列表进行的每次8个会员信息页面的展示。而getUserID每次获取的会...