我有三个DB模型(来自Django),它们可以用作构建推荐系统的输入:
userId,username,email等movieId,movieTitle,Topics等userId、movieId和timestamp (当前的推荐系统将比通常在网上找到的方法简单一点,即没有评分,只是用户保存了某部电影,而这个模型包含了所有的电影保存)。我仍然可以使用矩阵因式分解(MF)来构建推荐系统,即使某一项的评级将只是以1和0的形式(保存还是不保存)。
为了使用在scipy或surprise中找到的所有MF算法,我必须创建一个pandas DataFrame并将其枢轴,这样 all userIds将成为行(索引),all movieIds将成为列。
用于执行此操作的代码片段是:
# usersSet and moviesSet contain only ids of users or movies
zeros = numpy.zeros(shape=(len(usersSet), len(moviesSet)), dtype=numpy.int8)
saves_df = pandas.DataFrame(zeros, index=list(usersSet), columns=list(moviesSet))
for save in savesFromDb.iterator(chunk_size=50000):
userId = save['user__id']
movieId = save['movie__id']
saves_df.at[userId, movieId] = 1到目前为止的问题:
pandas的pandas将值赋值给多个列,而不是DataFrame.at给MemoryError。这就是我选择后一种方法的原因。svds的scipy for MF需要浮点数或双倍值作为DataFrame的值,并且一旦完成DataFrame.asfptype(),就会得到一个MemoryError问题:
DataFrame.pivot(),但是有方法从3种不同的DataFrames构建它吗?也就是说,indexes将来自list(usersSet),columns来自list(moviesList)和values,方法是迭代savesFromDb,查看存在userId -> movieId关系的位置,并在支点中添加1。surprise的rating_scale参数可以定义评级(在我的例子中是(0, 1))之外,在算法方法或数据模型结构方面还有其他方法来利用这样的事实:在我的情况下,评级只有1或0 (保存还是不保存)?发布于 2019-08-06 09:58:37
如果有一个选项可以使用稀疏矩阵和接受稀疏矩阵的算法,那么我强烈建议使用稀疏矩阵来解决内存问题。scipy.linalg.svds工作在枕稀疏矩阵上。
--这就是为您的情况创建稀疏矩阵的方法:
假设我们有3个用户(‘a’,'b','c')和3个电影('aa','bb','cc')。保存历史记录如下:
我们需要创建一个csr_matrix A_sparse,以便用户表示行、电影列,如果用户我保存了电影j,则Ai,j= 1
import numpy as np
from scipy.sparse import csr_matrix
# index users and movies by integers
user2int = {u:i for i, u in enumerate(np.unique(users))}
movies2int = {m:i for i, m in enumerate(np.unique(movies))}
# get saved user list and corresponding movie lists
saved_users = ["a", "b", "c", "a"]
saved_movies = ["aa", "bb", "cc", "bb"]
# get row and column indices where we need populate 1's
usersidx = [user2int[u] for u in saved_users]
moviesidx = [movies2int[m] for m in saved_movies]
# Here, we only use binary flag for data. 1 for all saved instances.
# Instead, one could also use something like count of saves etc.
data = np.ones(len(saved_users), )
# create csr matrix
A_sparse = csr_matrix((data, (usersidx, moviesidx)))
print("Sparse array", A_sparse)
#<3x3 sparse matrix of type '<class 'numpy.float64'>'
# with 4 stored elements in Compressed Sparse Row format>
print(A_sparse.data.nbytes)
# 32
print("Dense array", A_sparse.A)
#array([[1., 1., 0.],
# [0., 1., 0.],
# [0., 0., 1.]])
print(A_sparse.A.nbytes)
# 72您可以注意到,由于我们的数据点有一半是零(大约),稀疏矩阵大小几乎是numpy ndarray的一半。因此,内存压缩将增加矩阵中零的百分比。
https://stackoverflow.com/questions/57370472
复制相似问题