连云港楼市月销量爬虫
话不多说，只是为了数据分析而已import time
import requests
import re
import xlwt
list_url='http://lygfdc.com/WebSite/Portal/List.aspx?nodeid=4278FFB377C0D3FD'
def get_lists():
lists_all = []
for i in ran...
酷狗音乐单曲爬取
酷狗音乐单首歌曲下载单首歌曲下载没有问题url链接复制的别人的进行的修改。我就纳了闷了，怎么我复制的url链接就不行呢？明明区别不大。我这个脑子呀。。果然不如别人灵活。import requests
from urllib import parse
import json
import time
import re
import os
import webbrowser
import warnings
warnings.filterwarnings('ignore'...
关于百合网会员资料搜索爬取的相关思路
今天原本拿百合网做自动化识别的学习测试，在编写过程中发现了百合网如下的爬取思路，可以大批量的获取百合网的会员内容。首先注册个账号，随后登录，便可进入百合网会员界面，随后可以点击搜索进入搜索。这都是正常操作。https://search.baihe.com/在百合网的搜索界面进入开发工具F12在基本搜索界面随便输入条件进行搜索。在开发工具NETwork--XHR中可以看到以下两个链接的出现。通过分析得知 getUserID页面是获取用户id列表的界面。getUserList?userID这个链接是通过getUserID所获取的列表进行的每次8个会员信息页面的展示。而getUserID每次获取的会...
百度好看视频单个视频爬取代码
用这个下载在好看视频看好的单个视频 下载速度稳定 新能好 目前使用流畅import requests
import re
import json
import os
import webbrowser
from tqdm import tqdm
def download(url: str, fname: str):
header = {
...
抖音个人主页视频批量下载
个人研究所用 '''
本程序使用selenium编写 本程序在pycharm中运行是没有问题的
整个程序完整 采用多进程下载技术 所以下载速度也相对较快
主要用途 下载抖音个人主页中所有视频
问题：使用pyinstaller进修打包操作后运行出现障碍， 问题在哪里不清楚
经验 selenium中获取元素 必须使用By引用 原来的获取方式似乎失效因为没有查询到相关资料
所以...
抖音下载个人所有视频
今天写了个抖音下载个人所有视频 用的是selenium 自动化技术获取的链接 ，多进程下载。同时分享网上另外一个高手写的批量下载 ，带进度条先发布我的代码，很好用，但是一个缺陷没有解决就是不能按照文件夹归类，原因是无法从网页获取用户名称（待解决）from selenium import webdriver
from selenium.webdriver.common.by import By
import time
import requests
import re
import js...
python中unicode编码转换为中文
我们使用python中，遇到爬取网站情况，用到unicode编码，我们需要将它转换为中文，unicode编码转换为中文的方法有四种：使用unicode_escape 解码、使用encode()方法转换，再调用bytes.decode()转换为字符串形式、 使用json.loads 解码（为json 格式）、使用eval（遇到Unicode是通过requests在网上爬取的时候）。具体内容请看本文。方法一：使用unicode_escape 解码unicode = b'\\u4f60\\u597d're = unicode.decode(&q...
python 爬取抖音视频
抖音爬取最困难的是抖音视频地址的提取 ，提取到视频地址之后 即可进行保存下载 抖音的地址存于script标签间 是编码后的 所以取到地址要进行解码 本案例中使用的解码方式 是request 解码 具体其他解码方式 url其他包解码from urllib import parse
#数据对象
data = {
"a":"1",
&...
爬取B站单个视频
爬虫的基础是页面的分析，分析好页面才可以顺利爬取资源"""
2. 想办法在程序里拿到页面源代码
3. 写正则. 提取到playinfo中的内容
4. 转化成字典. 提取下载url(video, audio)
5. 下载视频和音频
6. 合并起来.
"""
import requests # 提前安装requests模块 pip install re...