推荐阅读

最近发表

网站分类

文章归档

爬虫

  • 连云港楼市月销量爬虫

    2年前 | 爬虫 | by：磊落不羁 | 浏览：66

    话不多说，只是为了数据分析而已import time import requests import re import xlwt list_url='http://lygfdc.com/WebSite/Portal/List.aspx?nodeid=4278FFB377C0D3FD' def&

  • 酷狗音乐单曲爬取

    2年前 | 爬虫 | by：磊落不羁 | 浏览：61

    酷狗音乐单首歌曲下载单首歌曲下载没有问题url链接复制的别人的进行的修改。我就纳了闷了，怎么我复制的url链接就不行呢？明明区别不大。我这个脑子呀。。果然不如别人灵活。import requests from urllib import parse import json import tim

  • 关于百合网会员资料搜索爬取的相关思路

    2年前 | 爬虫 | by：磊落不羁 | 浏览：73
    关于百合网会员资料搜索爬取的相关思路Read Article →

    今天原本拿百合网做自动化识别的学习测试，在编写过程中发现了百合网如下的爬取思路，可以大批量的获取百合网的会员内容。首先注册个账号，随后登录，便可进入百合网会员界面，随后可以点击搜索进入搜索。这都是正常操作。https://search.baihe.com/在百合网的搜索界面进入开发工具F12在基本搜索界面随便输入条件进行搜索。在开发工具NETwork--XH

  • 百度好看视频单个视频爬取代码

    2年前 | 爬虫 | by：磊落不羁 | 浏览：142

    用这个下载在好看视频看好的单个视频 下载速度稳定 新能好  目前使用流畅import requests import re import json import os import webbrowser from tqdm import t

  • 抖音个人主页视频批量下载

    2年前 | 爬虫 | by：磊落不羁 | 浏览：108

    个人研究所用 ''' 本程序使用selenium编写  本程序在pycharm中运行是没有问题的 整个程序完整 采用多进程下载技术 所以下载速度也相对较快 主要用途 下载抖音个人主页中所有视频 问题：使用pyinstaller进修打包操作后运行出现障碍， &

  • 抖音下载个人所有视频

    2年前 | 爬虫 | by：磊落不羁 | 浏览：97

    今天写了个抖音下载个人所有视频 用的是selenium 自动化技术获取的链接 ，多进程下载。同时分享网上另外一个高手写的批量下载 ，带进度条先发布我的代码，很好用，但是一个缺陷没有解决就是不能按照文件夹归类，原因是无法从网页获取用户名称（待解决）from selenium import webdriver from 

  • python 爬取抖音视频

    2年前 | 爬虫 | by：磊落不羁 | 浏览：133

    抖音爬取最困难的是抖音视频地址的提取 ，提取到视频地址之后 即可进行保存下载     抖音的地址存于script标签间 是编码后的  所以取到地址要进行解码   本案例中使用的解码方式 是request  解码   具体其他解码方式 url其他包解码from&

  • 爬取B站单个视频

    2年前 | 爬虫 | by：磊落不羁 | 浏览：53

    爬虫的基础是页面的分析，分析好页面才可以顺利爬取资源""" 2. 想办法在程序里拿到页面源代码 3. 写正则. 提取到playinfo中的内容 4. 转化成字典. 提取下载url(video, audio) 5. 下载视频和音频 6. 合并

  • 爬虫 selenium的使用

    2年前 | 爬虫 | by：磊落不羁 | 浏览：78

    from selenium.webdriver import Chrome from selenium.webdriver.common.keys import Keys import time web = Chrome() web.get(&quo

  • 爬虫 多进程 多线程 协程

    2年前 | 爬虫 | by：磊落不羁 | 浏览：90

    多线程# 线程, 进程 # 进程是资源单位, 每一个进程至少要有一个线程 # 线程是执行单位 # 启动每一个程序默认都会有一个主线程 # def func(): #     for i i

  • 爬虫 模拟登录、防盗链及代理教案

    2年前 | 爬虫 | by：磊落不羁 | 浏览：50

    模拟登录# 登录 -> 得到cookie # 带着cookie 去请求到书架url -> 书架上的内容 # 必须得把上面的两个操作连起来 # 我们可以使用session进行请求 -> session你可以认为是一连串的请求

  • request 基本知识

    2年前 | 爬虫 | by：磊落不羁 | 浏览：63

    requests是爬虫重要的知识1、headers的传递 import requests query = input("输入一个你喜欢的明星") url = f'https://www.sogou.com/web?query={query}' dic&nbs

  • re、bs4、xpath的基本使用学习笔记

    2年前 | 爬虫 | by：磊落不羁 | 浏览：57

    1、re的主要函数及使用#findall  :匹配字符串中所有的符合正则的内容re.findall()    #参数 正则  待处理文本    返回的值是list  正则前面加上r 更好例如 ：re.findall(r"\d","ddddd

  • 招生考试网的自动更新爬虫

    2年前 | 爬虫 | by：磊落不羁 | 浏览：1290

    本程序写的目的主要是同步单位的网站信息和上级网站信息，采用爬虫自动分析出信息URL所属类别，获取分类ID 然后对采集网站内容 放入mysql数据库中程序整个过程使用pymysql request   re time  urllib3 1.25版本 几个包 思路如下1、获取列表页url列表2、循环url 获取网页的信息所

  • Urllib库获取网页源码

    2年前 | 爬虫 | by：磊落不羁 | 浏览：70

    1，获取网页的头部信息以确定网页的编码方式：import urllib.request   res = urllib.request.urlopen('http://www.163.com')   #info()方法 用来获取网页头部  p

  • 一个图片网站的单页图片下载 爬虫实例

    2年前 | 爬虫 | by：磊落不羁 | 浏览：49

    网站是www.sj96.com编写这个程序主要是学习爬虫技术目标是下载页面所有的图片程序已经基本实现，程序内容如下import requests import re import time import os #===============================读取网页内容===========

  • 爬虫写的一个查询单词的小程序

    2年前 | 爬虫 | by：磊落不羁 | 浏览：73

    # 东海县教育局 教育考试中心  # 作 者： 刘   磊 # QQ: 247483085 # 编写时间：2022-02-11 --9:14 # coding=utf-8 import time i

  • 爬取南京房价 爬虫系列

    2年前 | 爬虫 | by：磊落不羁 | 浏览：60
    爬取南京房价 爬虫系列Read Article →

    1 基本概念网络爬虫（Crawler）：又称网络蜘蛛，或者网络机器人（Robots）. 它是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。换句话来说，它可以根据网页的链接地址自动获取网页内容。如果把互联网比做一个大蜘蛛网，它里面有许许多多的网页，网络蜘蛛可以获取所有网页的内容。爬虫是一个模拟人类请求网站行为, 并批量下载网站资源的一种程序或自动化脚

1

最近发表

网站分类

文章归档


TOP