磐创AI分享
作者 | Merlin Schäfer 编译 | VK 来源 | Towards Data Science
Spotify提供Duo订阅服务,并附带名为Duo Mix的独特播放列表。这个播放列表应该是为用户和结合他们的音乐品味生成的。
我和女朋友都很想知道这个播放列表到底是怎么回事。我们开始听,但不知怎么的感觉有点不对劲。歌手是“正确的”,但歌曲不是,播放列表几乎没有我们俩都听过的歌。
我们不满意,不再听每周播放列表中的更新。然而,我喜欢这个想法,认为一定有一种方法可以创建我们都希望的播放列表。
所以我决定自己创建一个播放列表,但不是手动创建,因为我想每周更新。我首先想到使用机器学习或其他方法,我提醒自己,我们的目标不是在问题不需要的情况下尝试新的机器学习算法。
我的目标是:
我最终找到了一个有效的解决方案,而且还没有使用机器学习,它实际上只是一些数据操作,通过相似性度量对Spotify的推荐进行一些改进,再加上一点随机性。
这个解决方案是有效的,到目前为止,我们对播放列表很满意,并将继续改进它,也许是使用机器学习。如果有关于我们喜欢和不喜欢的歌曲的数据,一个训练有素的模型就可以改善。
准备创建播放列表
我首先使用我已经创建的Spotify应用程序,并通过应用程序验证我们的账户。如果你不确定如何做这些事情,请查看我的上一篇文章,它将引导你完成这个过程:https://towardsdatascience.com/using-python-to-refine-your-spotify-recommendations-6dc08bcf408e
首先,我为我们两人查询了以下数据:
我使用了下面的函数,它实际上只是组合了一组查询并生成三个数据帧。
def get_dfs(sp):
##查询
# 用户热门曲目
top_tracks_short = sp.current_user_top_tracks(limit = 50,offset=0,time_range='short_term')
top_tracks_med = sp.current_user_top_tracks(limit = 50,offset=0,time_range='medium_term')
top_tracks_long = sp.current_user_top_tracks(limit = 50,offset=0,time_range='long_term')
# 组合 top_tracks
top_tracks_short_df = append_audio_features(create_df_top_songs(top_tracks_short),sp)
top_tracks_med_df = append_audio_features(create_df_top_songs(top_tracks_med),sp)
top_tracks_long_df = append_audio_features(create_df_top_songs(top_tracks_long),sp)
# 从长期热门歌曲中选取样本,以引入更多随机性,避免使用相同的艺术家
top_tracks_long_df = top_tracks_long_df.sample(n = 15)
top_tracks_df = pd.concat([top_tracks_short_df,top_tracks_med_df,top_tracks_long_df]).drop_duplicates().reset_index(drop = True)
# 热门艺术家
top_artists_long = sp.current_user_top_artists(limit = 50, time_range = "long_term")
top_artists_med = sp.current_user_top_artists(limit = 50, time_range = "medium_term")
top_artists_short = sp.current_user_top_artists(limit = 50, time_range = "short_term")
artists_short_df = top_artists_from_API(top_artists_short)
artists_med_df = top_artists_from_API(top_artists_med)
artists_long_df = top_artists_from_API(top_artists_long)
artists_df = pd.concat([artists_short_df,artists_med_df,artists_long_df])
artists_df["genres"] = artists_df["genres"].apply(lambda x: ",".join(x))
artists_df.drop_duplicates().reset_index(drop = True)
# 用户保存的曲目
user_saved_tracks = sp.current_user_saved_tracks(limit = 50)
saved_tracks_df = create_df_saved_songs(user_saved_tracks)
return top_tracks_df,artists_df,saved_tracks_df请注意,我在这里调用的函数将Spotify API查询结果转换为一个可用的数据帧。我不会在这里一一介绍它们的细节。
我在另一篇关于Spotify的文章中提到了一些。你可以在Github上找到完整的代码(参见spotifuncs.py):https://github.com/MerlinSchaefer/spotify_app
第一个重要的数据是用户的所有热门歌曲,我将它们组合成一个完整的热门歌曲列表,涵盖了从短期到长期喜爱的所有内容。
请注意,我只从长期热门歌曲中抽样了15首歌曲,并且这样做时没有设置一个随机种子,以避免每次运行代码时都得到相同的结果。在这个过程中总是使用长期喜欢的完整列表会导致播放列表重复太多。
第二个重要的部分是热门艺术家的数据,就像所有时间帧的曲目检索一样。艺术家对于后面的过滤过程很重要。
最后,我还在检索用户保存的最新50首歌曲。50是上限,这很不幸,因为这限制了数据的使用。
为了避免连续两周遇到同样的歌曲(短期和中期热门歌曲很可能不会有太大变化),上周的播放列表从“playlist .csv”读取。
第一次运行代码时,这个文件只是一个空的.csv文件。但是在创建播放列表过程的最后,新创建的播放列表被保存在.csv文件中,因此它包含上周的播放列表。我在这个过程的不同阶段使用.csv文件中的数据为新的播放列表过滤歌曲。
建立播放列表
创建播放列表需要几个步骤来“组装所有组成它的构件”。这些是:
该播放列表是由上周的播放列表中没有出现的常见热门曲目发起的。因为这些歌都是用户的最爱,理论上他们应该喜欢。
我创建了一个数据帧,通过查找在两个用户的热门曲目数据帧中的曲目来找到共同的热门曲目。这可以通过多种方式实现,我使用以下函数进行所有数据帧的比较:
def dataframe_difference(df1, df2, which=None):
"""
查找两个数据帧之间不同的行。
----------
df1 : Dataframe
df2 : Dataframe
which : 保留哪些行 ("both","left","right",None)
-------
diff_df: 包含行差异的数据帧
"""
comparison_df = df1.merge(df2, indicator=True, how='outer')
if which is None:
diff_df = comparison_df[comparison_df['_merge'] != 'both']
else:
diff_df = comparison_df[comparison_df['_merge'] == which]
diff_df.drop("_merge",axis = 1, inplace = True)
return diff_df.drop_duplicates().reset_index(drop = True)普通的热门曲目只有在上周的播放列表中没有出现时才会添加到播放列表中。
common_songs = dataframe_difference(top_tracks_m,top_tracks_t,which = "both")
new_playlist_df = common_songs[~common_songs["track_id"].isin(last_week_duo["track_id"])]下一个构建块由两个用户的热门歌曲组成,这些歌曲在音频特性上彼此最相似。
对于这个任务,提取每个用户唯一的热门曲目,并计算相似度矩阵。
相似度基于音频特征(不包括' key '和' mode '),并通过余弦相似度计算(参见spotifuncs.py中的create_similarity_score())。从这个矩阵中提取出30个最高的相似度分数和相应的指标。与这些索引相对应的歌曲被放入一个数据帧中,任何重复的歌曲都被删除,并为新的播放列表绘制10首歌曲的样本。
##获得热门歌曲
unique_top_tracks_m = top_tracks_m[~top_tracks_m["track_id"].isin(common_songs["track_id"])]
unique_top_tracks_m.reset_index(drop = True,inplace = True)
unique_top_tracks_t = top_tracks_t[~top_tracks_t["track_id"].isin(common_songs["track_id"])]
unique_top_tracks_t.reset_index(drop = True,inplace = True)
## 获得30首最相似的歌曲
# 创建相似度分数,并找到最大分数
similarity_top_songs = create_similarity_score(unique_top_tracks_m,unique_top_tracks_t)
max_n_scores = [(i,np.argmax(x),x[np.argmax(x)]) for i,x in enumerate(similarity_top_songs)]
# 查找最高分数
idx_simtracks_m = [i[0] for i in nlargest(30,max_n_scores,key=itemgetter(2))]
idx_simtracks_t = [i[1] for i in nlargest(30,max_n_scores,key=itemgetter(2))]
# 通过索引检索歌曲
sim_top_tracks_m = unique_top_tracks_m.loc[idx_simtracks_m]
sim_top_tracks_t = unique_top_tracks_t.loc[idx_simtracks_t]
similar_top_tracks = pd.concat([sim_top_tracks_m,sim_top_tracks_t])
similar_top_tracks.drop_duplicates(inplace = True)
# 检查上周热门歌曲
similar_top_tracks = similar_top_tracks[~similar_top_tracks["track_id"].isin(last_week_duo["track_id"])]
similar_top_tracks.reset_index(drop = True,inplace = True)
# 从最相似的歌曲中添加10首采样的歌曲
new_playlist_df = new_playlist_df.append(similar_top_tracks.sample(10))下一步是根据艺术家筛选最热门的曲目。我试着在两个用户中找到一些普通的歌手,然后过滤他们的热门歌曲。这背后的逻辑如下:
某首歌曲可能只在一个用户的“热门歌曲”中,但它也可能是由两个用户都喜欢的艺术家创作的。在这种情况下,这首歌是Duos播放列表的一个很好的候选曲目,因为两个用户都可能喜欢它,但它可能是其中一个用户的新发现。
common_artists = dataframe_difference(artists_m,artists_t, which = "both")
filtered_top_m = top_tracks_m[top_tracks_m["artist"].isin(common_artists["name"])
& ~top_tracks_m["track_id"].isin(last_week_duo["track_id"])]
filtered_top_t = top_tracks_t[top_tracks_t["artist"].isin(common_artists["name"])
& ~top_tracks_t["track_id"].isin(last_week_duo["track_id"])]对我来说,这种过滤方式通常会导致列表中只包含少数几位艺术家的歌曲,为了避免在新播放列表中出现太多同一歌手的歌曲,我从数据帧中进行了采样。为此,我根据艺术家出现的频率给行赋值,然后从两个数据帧中采样。
这种方法相当有效,然而,仍然有一些缺陷(这可能部分是由我的倾听行为造成的)。
当我创建播放列表时,我的目标是大约25个已知的歌曲(和25个通过推荐的新歌曲)。为了实现这一点,并在某种程度上解释前面步骤的随机性,我在最后一步用保存的采样曲目填充播放列表。对于这一步,我还要确保歌曲没有出现在上周的播放列表中。
在最后一步中,我添加了新的曲目来填充播放列表的另一半。
我不想简单地添加Spotify根据歌曲推荐的歌曲,这些歌曲已经在播放列表中。因此,获得Spotify推荐只是第一步。我正在检索每首歌的多首推荐歌曲,然后根据相似度评分再次过滤。
不幸的是,Spotify API不接受25个曲目的推荐查询,我,因此,结束了分裂成5个曲目“包”的过程,每个“包”检索25首曲目。这125条建议通过它们与播放列表中已知曲目的相似度进行进一步过滤。
#为推荐设置种子歌曲
seed_tracks = new_playlist_df["track_id"].tolist()
#获取建议
recomm_dfs = []
for i in range(5,26,5):
recomms = sp_m.recommendations(seed_tracks = seed_tracks[i-5:i],limit = 25)
recomms_df = append_audio_features(create_df_recommendations(recomms),sp_m)
recomm_dfs.append(recomms_df)
recomms_df = pd.concat(recomm_dfs)
recomms_df.reset_index(drop = True, inplace= True)
#在new_playlist_df和recomms_df之间创建相似矩阵
similarity_score = create_similarity_score(new_playlist_df,recomms_df)
#通过相似度评分获得最终推荐
final_recomms = recomms_df.loc[[np.argmax(i) for i in similarity_score]]
final_recomms = final_recomms.drop_duplicates()
#附加到new_playlist df
new_playlist_df = new_playlist_df.append(final_recomms)
new_playlist_df = new_playlist_df.drop_duplicates()
new_playlist_df.reset_index(drop = True, inplace = True)播放列表完成
现在剩下的唯一一件事就是把歌曲添加到播放列表中