2022年9月
-
连云港楼市月销量爬虫
2年前 | 爬虫 | by：磊落不羁 | 浏览：66话不多说，只是为了数据分析而已import time import requests import re import xlwt list_url='http://lygfdc.com/WebSite/Portal/List.aspx?nodeid=4278FFB377C0D3FD' def&
-
酷狗音乐单曲爬取
2年前 | 爬虫 | by：磊落不羁 | 浏览：61酷狗音乐单首歌曲下载单首歌曲下载没有问题url链接复制的别人的进行的修改。我就纳了闷了，怎么我复制的url链接就不行呢？明明区别不大。我这个脑子呀。。果然不如别人灵活。import requests from urllib import parse import json import tim
-
关于百合网会员资料搜索爬取的相关思路
2年前 | 爬虫 | by：磊落不羁 | 浏览：73
今天原本拿百合网做自动化识别的学习测试，在编写过程中发现了百合网如下的爬取思路，可以大批量的获取百合网的会员内容。首先注册个账号，随后登录，便可进入百合网会员界面，随后可以点击搜索进入搜索。这都是正常操作。https://search.baihe.com/在百合网的搜索界面进入开发工具F12在基本搜索界面随便输入条件进行搜索。在开发工具NETwork--XH
-
百度好看视频单个视频爬取代码
2年前 | 爬虫 | by：磊落不羁 | 浏览：142用这个下载在好看视频看好的单个视频 下载速度稳定 新能好 目前使用流畅import requests import re import json import os import webbrowser from tqdm import t
-
抖音个人主页视频批量下载
2年前 | 爬虫 | by：磊落不羁 | 浏览：108个人研究所用 ''' 本程序使用selenium编写 本程序在pycharm中运行是没有问题的 整个程序完整 采用多进程下载技术 所以下载速度也相对较快 主要用途 下载抖音个人主页中所有视频 问题：使用pyinstaller进修打包操作后运行出现障碍， &
-
抖音下载个人所有视频
2年前 | 爬虫 | by：磊落不羁 | 浏览：97今天写了个抖音下载个人所有视频 用的是selenium 自动化技术获取的链接 ，多进程下载。同时分享网上另外一个高手写的批量下载 ，带进度条先发布我的代码，很好用，但是一个缺陷没有解决就是不能按照文件夹归类，原因是无法从网页获取用户名称（待解决）from selenium import webdriver from
-
python中unicode编码转换为中文
2年前 | 语法字符串 | by：磊落不羁 | 浏览：75我们使用python中，遇到爬取网站情况，用到unicode编码，我们需要将它转换为中文，unicode编码转换为中文的方法有四种：使用unicode_escape 解码、使用encode()方法转换，再调用bytes.decode()转换为字符串形式、 使用json.loads 解码（为json 格式）、使用eval（遇到Unicode是通过request
-
python 爬取抖音视频
2年前 | 爬虫 | by：磊落不羁 | 浏览：133抖音爬取最困难的是抖音视频地址的提取 ，提取到视频地址之后 即可进行保存下载 抖音的地址存于script标签间 是编码后的 所以取到地址要进行解码 本案例中使用的解码方式 是request 解码 具体其他解码方式 url其他包解码from&
-
爬取B站单个视频
2年前 | 爬虫 | by：磊落不羁 | 浏览：53爬虫的基础是页面的分析，分析好页面才可以顺利爬取资源""" 2. 想办法在程序里拿到页面源代码 3. 写正则. 提取到playinfo中的内容 4. 转化成字典. 提取下载url(video, audio) 5. 下载视频和音频 6. 合并