音乐榜单数据分析实战：从Spotify与Billboard获取、清洗到可视化

这次我们来看一个音乐数据分析项目，它不涉及复杂的AI模型部署，而是聚焦于如何获取、解析和可视化流行音乐单曲在Spotify和Billboard两大权威榜单上的历史表现数据。对于音乐行业从业者、数据分析爱好者或是某位歌手的粉丝来说，能够系统地追踪一首热门单曲如Ariana Grande的《Into You》在全球流媒体平台和传统榜单上的起伏轨迹，是极具价值的信息。本文将带你从零开始，构建一套可复用的数据抓取与分析流程，重点解决数据来源、清洗方法、可视化呈现以及趋势洞察等实际问题。

项目的核心在于数据的获取与处理。我们不会使用任何需要高显存或GPU的深度学习模型，整个过程完全可以在普通电脑的CPU环境下运行。关键在于找到可靠的数据源接口（或公开数据集），编写稳定的爬虫或调用官方API，最后通过Python数据分析库（如Pandas, Matplotlib, Plotly）将榜单排名、流媒体播放量等数据转化为直观的图表。本文将重点关注方法的可行性、代码的可用性以及分析结论的启发性。

1. 核心能力速览

2. 适用场景与使用边界

这个数据追踪与分析流程主要适合以下几类人群：

1. 音乐行业分析师与市场研究人员：需要定量评估单曲或艺人的商业表现，比较不同平台数据差异。
2. 艺人团队或唱片公司：监控宣传效果，为后续策略提供数据支持。
3. 粉丝社群与乐迷：希望用数据客观记录和展示喜爱歌手的作品成就。
4. 数据分析学习者：需要一个结合网络爬虫、API调用、数据清洗和可视化的完整实战项目。

它能解决什么问题？

• 趋势追踪：清晰展示《Into You》等单曲在榜单上的爬升、巅峰和衰退周期。
• 平台对比：对比同一首歌在Spotify（流媒体）和Billboard（综合销量、流媒体、电台）榜单上表现的异同，反映不同受众和市场的影响。
• 事件关联分析：将排名波动与特定事件（如音乐视频发布、现场表演、社交媒体热点）时间点关联，进行归因分析。

使用边界与注意事项：

• 数据合规性：必须严格遵守目标网站（如Billboard）的robots.txt协议和使用条款。优先使用官方API（如Spotify Web API），并遵守其速率限制。本文演示的方法仅用于教育和个人研究，严禁用于商业爬取或对目标网站造成负担。
• 数据完整性：历史榜单数据可能不完整，特别是较早的日期。Billboard官网不直接提供完整的历史榜单API，获取数据存在一定技术门槛和限制。
• 分析局限性：榜单排名是相对值，受同期其他歌曲影响很大。流媒体数据（如Spotify播放量）是绝对值，但通常只提供Top 200的每日数据。分析需结合背景信息。

3. 环境准备与前置条件

在开始编写代码之前，你需要准备好基础的Python开发环境。

1. 操作系统：Windows 10/11, macOS, 或 Linux 均可。

2. Python环境：推荐使用 Python 3.8 或以上版本。建议使用conda或venv创建独立的虚拟环境，避免包冲突。

3. 关键Python库：我们将主要用到以下库，请通过pip安装。

   • requests: 用于发送HTTP请求，获取网页或API数据。
   • beautifulsoup4或lxml: 用于解析HTML网页内容（如果选择爬取方式）。
   • pandas: 数据处理与分析的核心库。
   • matplotlib与seaborn: 用于生成静态图表。
   • plotly: 用于生成交互式图表，体验更佳。
   • python-dotenv: 用于管理敏感信息如API密钥（如果使用Spotify API）。

4. 网络条件：需要能够稳定访问 Spotify Charts 和 Billboard 官网。

5. 数据存储：准备一个本地目录（如./data）用于存放爬取到的原始数据和处理后的结果。

4. 数据获取策略与代码实现

数据获取是整个项目的基础。我们将分平台讨论策略。

4.1 Spotify 数据获取

Spotify Charts 提供了相对友好的每日/每周榜单数据，可以通过其官网直接查看，也有结构化的数据可供下载。

方法一：直接下载CSV（最推荐）访问 Spotify Charts 网站，选择地区（Global）、日期范围，榜单类型（Top 200）。网站通常提供“下载为CSV”的选项。这是最合规、最稳定的方式。

方法二：模拟请求获取数据（编程方式）通过浏览器开发者工具（F12）的“网络(Network)”选项卡，观察下载CSV时发出的请求，我们可以用Python模拟这个请求。

import requests import pandas as pd from datetime import datetime, timedelta def fetch_spotify_chart(date_str, region='global', chart_type='daily'): """ 获取指定日期的Spotify榜单数据（模拟思路，实际URL需分析） date_str: 格式 '2023-08-01' region: 'global', 'us', 'gb'等 chart_type: 'daily' 或 'weekly' """ # 注意：此URL仅为示例格式，实际需要从官网请求中捕获 # 不同日期和地区的URL模式可能不同 base_url = "https://charts.spotify.com/charts/view/regional-{region}-{chart_type}/{date}" url = base_url.format(region=region, chart_type=chart_type, date=date_str) # 通常数据会通过另一个API端点提供，这里需要具体分析 # 假设我们找到了一个返回JSON的API api_url = "https://api.spotify.com/v1/charts/regional-{region}-{chart_type}/{date}" # 虚构示例 headers = { 'User-Agent': 'Mozilla/5.0 (你的浏览器信息)' } try: # 如果是公开数据，可能不需要认证 response = requests.get(api_url, headers=headers) response.raise_for_status() # 检查请求是否成功 data = response.json() # 将JSON数据转换为pandas DataFrame df = pd.DataFrame(data['entries']) # 根据实际JSON结构调整 return df except requests.exceptions.RequestException as e: print(f"获取 {date_str} 数据失败: {e}") return None # 示例：获取多日数据 start_date = datetime(2023, 7, 1) end_date = datetime(2023, 7, 7) date_range = pd.date_range(start_date, end_date) all_data = [] for single_date in date_range: date_str = single_date.strftime('%Y-%m-%d') df_day = fetch_spotify_chart(date_str) if df_day is not None: df_day['date'] = date_str # 添加日期列 all_data.append(df_day) if all_data: spotify_df = pd.concat(all_data, ignore_index=True) spotify_df.to_csv('./data/spotify_global_july_2023.csv', index=False) print("Spotify数据已保存。")

重要提示：Spotify的公开榜单数据接口可能发生变化，上述代码中的URL需要你根据实际情况通过浏览器开发者工具进行捕获和替换。始终优先使用官方提供的下载方式。

4.2 Billboard 数据获取

Billboard Hot 100 榜单数据获取更具挑战性，因为其官网没有提供简单的历史数据下载。通常有以下几种途径：

方法一：使用第三方开源库（推荐）社区有一些维护良好的库，如billboard.py，它通过解析Billboard官网HTML来获取数据。

# 安装第三方库 pip install billboard.py

import billboard from datetime import date, timedelta import pandas as pd import time def fetch_billboard_hot100_for_week(chart_date): """ 使用 billboard.py 库获取指定周的单曲榜 chart_date: 字符串，格式 'YYYY-MM-DD'，代表榜单发布日期（通常是周六） """ try: chart = billboard.ChartData('hot-100', date=chart_date) print(f"成功获取 {chart_date} 的 Billboard Hot 100 榜单") week_data = [] for i, song in enumerate(chart): entry = { 'chart_date': chart_date, 'rank': i+1, 'title': song.title, 'artist': song.artist, 'peak_pos': song.peakPos, 'weeks_on_chart': song.weeks, # 注意：billboard.py 可能无法直接获取播放量等详细指标 } week_data.append(entry) return pd.DataFrame(week_data) except Exception as e: print(f"获取 {chart_date} 榜单时出错: {e}") return None # 示例：获取《Into You》发行后几周的榜单数据 # 《Into You》于2016年5月发行，我们获取其后两个月的部分榜单 target_dates = ['2016-05-28', '2016-06-04', '2016-06-11', '2016-06-18'] billboard_data_frames = [] for d in target_dates: df_week = fetch_billboard_hot100_for_week(d) if df_week is not None: billboard_data_frames.append(df_week) time.sleep(2) # 礼貌延迟，避免请求过快 if billboard_data_frames: billboard_df = pd.concat(billboard_data_frames, ignore_index=True) # 筛选出 Ariana Grande 的《Into You》 into_you_data = billboard_df[ (billboard_df['title'].str.contains('Into You', case=False, na=False)) & (billboard_df['artist'].str.contains('Ariana Grande', case=False, na=False)) ] print(into_you_data[['chart_date', 'rank', 'peak_pos', 'weeks_on_chart']]) billboard_df.to_csv('./data/billboard_hot100_sample.csv', index=False)

方法二：寻找公开数据集Kaggle、GitHub等平台有时会有爱好者整理的历史Billboard数据集，这是一个很好的起点，但需要注意数据的时效性和准确性。

5. 数据清洗与整合

获取到原始数据后，需要进行清洗和整合，以便于分析。

import pandas as pd # 假设我们已经有了两个DataFrame # spotify_df: 包含‘date’， ‘track_name’， ‘artist’， ‘streams’， ‘rank’等列 # billboard_df: 包含‘chart_date’， ‘rank’， ‘title’， ‘artist’， ‘peak_pos’， ‘weeks_on_chart’等列 # 1. 数据清洗示例：统一歌曲和艺人名称格式 spotify_df['track_name_clean'] = spotify_df['track_name'].str.lower().str.strip() spotify_df['artist_clean'] = spotify_df['artist'].str.lower().str.strip() billboard_df['title_clean'] = billboard_df['title'].str.lower().str.strip() billboard_df['artist_clean'] = billboard_df['artist'].str.lower().str.strip() # 2. 筛选目标歌曲《Into You》的数据 target_track_name = 'into you' target_artist_name = 'ariana grande' spotify_into_you = spotify_df[ (spotify_df['track_name_clean'].str.contains(target_track_name)) & (spotify_df['artist_clean'].str.contains(target_artist_name)) ].copy() billboard_into_you = billboard_df[ (billboard_df['title_clean'].str.contains(target_track_name)) & (billboard_df['artist_clean'].str.contains(target_artist_name)) ].copy() # 3. 处理日期格式，便于合并和排序 spotify_into_you['date'] = pd.to_datetime(spotify_into_you['date']) billboard_into_you['chart_date'] = pd.to_datetime(billboard_into_you['chart_date']) # 4. 按日期排序 spotify_into_you.sort_values('date', inplace=True) billboard_into_you.sort_values('chart_date', inplace=True) print(f"Spotify 数据点数量: {len(spotify_into_you)}") print(f"Billboard 数据点数量: {len(billboard_into_you)}")

6. 数据可视化与趋势分析

清洗后的数据可以通过图表直观展示。我们使用matplotlib和plotly来创建图表。

6.1 使用 Matplotlib/Seaborn 绘制静态趋势图

import matplotlib.pyplot as plt import seaborn as sns from matplotlib.dates import DateFormatter plt.figure(figsize=(14, 8)) # 子图1：Spotify全球日榜排名趋势 ax1 = plt.subplot(2, 1, 1) ax1.plot(spotify_into_you['date'], spotify_into_you['rank'], marker='o', linestyle='-', color='#1DB954', linewidth=2, label='Spotify Daily Rank') ax1.invert_yaxis() # 排名数字越小越好，所以倒置Y轴 ax1.set_ylabel('Rank (Lower is Better)', fontsize=12) ax1.set_title('Ariana Grande - "Into You" Performance on Spotify Global Daily Chart', fontsize=14, fontweight='bold') ax1.legend() ax1.grid(True, alpha=0.3) # 格式化X轴日期 date_format = DateFormatter("%m-%d") ax1.xaxis.set_major_formatter(date_format) plt.setp(ax1.get_xticklabels(), rotation=45) # 子图2：Billboard Hot 100排名趋势 ax2 = plt.subplot(2, 1, 2) ax2.plot(billboard_into_you['chart_date'], billboard_into_you['rank'], marker='s', linestyle='--', color='#FF6B6B', linewidth=2, label='Billboard Hot 100 Rank') ax2.invert_yaxis() ax2.set_xlabel('Date', fontsize=12) ax2.set_ylabel('Rank (Lower is Better)', fontsize=12) ax2.set_title('"Into You" Performance on Billboard Hot 100', fontsize=14, fontweight='bold') ax2.legend() ax2.grid(True, alpha=0.3) ax2.xaxis.set_major_formatter(date_format) plt.setp(ax2.get_xticklabels(), rotation=45) plt.tight_layout() plt.savefig('./data/into_you_chart_performance.png', dpi=300, bbox_inches='tight') plt.show()

6.2 使用 Plotly 绘制交互式图表（更推荐）

交互式图表可以放大查看细节，体验更好。

import plotly.graph_objects as go from plotly.subplots import make_subplots # 创建带子图的画布 fig = make_subplots( rows=2, cols=1, subplot_titles=('Spotify Global Daily Chart Rank', 'Billboard Hot 100 Rank'), shared_xaxes=False, vertical_spacing=0.15 ) # 添加Spotify趋势线 fig.add_trace( go.Scatter( x=spotify_into_you['date'], y=spotify_into_you['rank'], mode='lines+markers', name='Spotify Rank', line=dict(color='#1DB954', width=3), marker=dict(size=8), hovertemplate='Date: %{x|%Y-%m-%d}<br>Rank: %{y}<extra></extra>' ), row=1, col=1 ) # 倒置Y轴（排名） fig.update_yaxes(autorange="reversed", row=1, col=1) # 添加Billboard趋势线 fig.add_trace( go.Scatter( x=billboard_into_you['chart_date'], y=billboard_into_you['rank'], mode='lines+markers', name='Billboard Rank', line=dict(color='#FF6B6B', width=3, dash='dash'), marker=dict(size=8, symbol='square'), hovertemplate='Date: %{x|%Y-%m-%d}<br>Rank: %{y}<br>Peak Pos: %{customdata[0]}<br>Weeks on Chart: %{customdata[1]}<extra></extra>', customdata=billboard_into_you[['peak_pos', 'weeks_on_chart']] ), row=2, col=1 ) fig.update_yaxes(autorange="reversed", row=2, col=1) # 更新布局 fig.update_layout( height=800, title_text='Ariana Grande - "Into You" Chart Performance Analysis', title_font_size=20, showlegend=True, hovermode='x unified' ) fig.update_xaxes(title_text="Date", row=2, col=1) fig.update_yaxes(title_text="Rank", row=1, col=1) fig.update_yaxes(title_text="Rank", row=2, col=1) # 保存为HTML文件，可在浏览器中交互查看 fig.write_html('./data/into_you_interactive_chart.html') fig.show()

7. 深度分析与洞察

通过图表，我们可以进行一些基础分析：

1. 爬升速度：观察歌曲从首次入榜到达到峰值排名所用的时间，可以反映市场接受速度和宣传效果。
2. 峰值与持久力：最高排名（Peak Position）和停留在榜单上的周数（Weeks on Chart）是衡量单曲成功与否的关键指标。
3. 平台差异：比较同一时期在Spotify和Billboard上的排名趋势。流媒体平台可能更反映核心乐迷的即时收听行为，而Billboard Hot 100综合了销量、流媒体和电台数据，可能更“大众化”，趋势变化可能略有滞后或不同。
4. 事件关联：在图表上标注关键事件的时间点（如MV首播、大型音乐节表演、专辑发行等），可以直观判断这些事件对榜单表现的影响。

8. 常见问题与排查方法

9. 最佳实践与使用建议

1. 合规第一：始终将数据获取的合规性放在首位。先检查robots.txt，尊重网站的rate limit，优先使用官方API或提供的下载方式。
2. 数据备份：将爬取到的原始数据（Raw Data）立即保存为CSV或JSON文件。所有数据处理和分析步骤都应基于这些原始文件的副本进行，确保原始数据可追溯。
3. 模块化代码：将数据获取、清洗、分析和可视化分别写成函数或类，提高代码可读性和复用性。例如，可以创建一个ChartFetcher类来处理不同平台的数据获取。
4. 添加日志：在爬虫脚本中添加日志记录功能，记录成功、失败、跳过等状态，便于后期排查问题。
5. 错误处理与重试：网络请求必须包含异常处理（try...except），对于暂时性错误（如网络超时）可以实现简单的重试机制。
6. 尊重版权与隐私：本项目分析的数据是公开的榜单信息，但得出的分析报告若用于公开传播或商业用途，需注意数据解读的客观性，避免对艺人或作品进行不当评价。所有图表建议注明数据来源和时间范围。

这个项目展示了如何将公开的榜单数据转化为有价值的洞察。虽然不涉及复杂的AI模型，但完整的数据工程流程——从获取、清洗、分析到可视化——是任何数据分析工作的基石。你可以将这套方法轻松复用到其他歌手、其他歌曲或其他榜单（如Apple Music、YouTube音乐榜）的分析上。核心在于找到可靠、合规的数据入口，然后让代码和图表替你讲述数据背后的故事。