博客
关于我
python爬虫实践之爬取hao123音乐音乐导航
阅读量:250 次
发布时间:2019-03-01

本文共 907 字,大约阅读时间需要 3 分钟。

目录


概述

爬取hao123上的所有音乐导航链接

准备

所需模块

  • re模块
  • requests模块

涉及知识点

  • python基础
  • requests模块基础
  • re模块基础

运行效果

控制台打印:

完成爬虫

1. 分析网页

打开音乐导航,按F12分析网页

因此可以使用URL:请求该网页的HTML源代码进行数据获取。

2. 爬虫代码

import reimport requests# 音乐导航网址:http://www.hao123.com/music/wangzhi# 请求头header = {    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Safari/537.36"}# 请求的URLurl = "http://www.hao123.com/music/wangzhi"# 发送请求,获取响应response = requests.get(url, headers=header).text# 正则表达式:获取音乐导航链接URLpat_music_url = r''# 正则表达式:获取音乐导航名字pat_music_name = r'[\s\s]*?(.*?)[\s\s]*?'# 音乐导航URL列表music_url_list = re.findall(pat_music_url, response.strip())# 音乐导航名字列表music_name_list = re.findall(pat_music_name, response)# 循环遍历if len(music_url_list) == len(music_name_list):    for i in range(0, len(music_url_list)):        print(music_name_list[i], ":", music_url_list[i])

运行代码结果如上所示,主要的难点就是使用正则表达式提取数据。

转载地址:http://vqzx.baihongyu.com/

你可能感兴趣的文章
MySQL8修改密码报错ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
查看>>
MySQL8修改密码的方法
查看>>
Mysql8在Centos上安装后忘记root密码如何重新设置
查看>>
Mysql8在Windows上离线安装时忘记root密码
查看>>
MySQL8找不到my.ini配置文件以及报sql_mode=only_full_group_by解决方案
查看>>
mysql8的安装与卸载
查看>>
MySQL8,体验不一样的安装方式!
查看>>
MySQL: Host '127.0.0.1' is not allowed to connect to this MySQL server
查看>>
Mysql: 对换(替换)两条记录的同一个字段值
查看>>
mysql:Can‘t connect to local MySQL server through socket ‘/var/run/mysqld/mysqld.sock‘解决方法
查看>>
MYSQL:基础——3N范式的表结构设计
查看>>
MYSQL:基础——触发器
查看>>
Mysql:连接报错“closing inbound before receiving peer‘s close_notify”
查看>>
mysqlbinlog报错unknown variable ‘default-character-set=utf8mb4‘
查看>>
mysqldump 参数--lock-tables浅析
查看>>
mysqldump 导出中文乱码
查看>>
mysqldump 导出数据库中每张表的前n条
查看>>
mysqldump: Got error: 1044: Access denied for user ‘xx’@’xx’ to database ‘xx’ when using LOCK TABLES
查看>>
Mysqldump参数大全(参数来源于mysql5.5.19源码)
查看>>
mysqldump备份时忽略某些表
查看>>