首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >基于矩阵分解的海量数据推荐系统给出MemoryError

问基于矩阵分解的海量数据推荐系统给出MemoryError
EN

Stack Overflow用户
提问于 2019-08-06 06:54:18
回答 1查看 1.2K关注 0票数 7

我有三个DB模型(来自Django),它们可以用作构建推荐系统的输入:

  • 用户列表-与userId,username,email等
  • 电影列表-与movieId,movieTitle,Topics等
  • 保存列表-使用userId、movieId和timestamp (当前的推荐系统将比通常在网上找到的方法简单一点,即没有评分,只是用户保存了某部电影,而这个模型包含了所有的电影保存)。

我仍然可以使用矩阵因式分解(MF)来构建推荐系统,即使某一项的评级将只是以1和0的形式(保存还是不保存)。

为了使用在scipy或surprise中找到的所有MF算法,我必须创建一个pandas DataFrame并将其枢轴,这样 all userIds将成为行(索引),all movieIds将成为列。

用于执行此操作的代码片段是:

代码语言:javascript
复制
# usersSet and moviesSet contain only ids of users or movies

zeros = numpy.zeros(shape=(len(usersSet), len(moviesSet)), dtype=numpy.int8)

saves_df = pandas.DataFrame(zeros, index=list(usersSet), columns=list(moviesSet))

for save in savesFromDb.iterator(chunk_size=50000):
    userId = save['user__id']
    movieId = save['movie__id']

    saves_df.at[userId, movieId] = 1

到目前为止的问题:

  • 使用来自pandas的pandas将值赋值给多个列,而不是DataFrame.at给MemoryError。这就是我选择后一种方法的原因。
  • 使用来自svds的scipy for MF需要浮点数或双倍值作为DataFrame的值,并且一旦完成DataFrame.asfptype(),就会得到一个MemoryError

问题:

  1. 考虑到有大约100 K的用户,120 k的电影和~450 k的节省,什么是最好的方法来建模,以便使用推荐算法,但仍然没有得到MemoryError?
  2. 我也尝试过使用DataFrame.pivot(),但是有方法从3种不同的DataFrames构建它吗?也就是说,indexes将来自list(usersSet),columns来自list(moviesList)和values,方法是迭代savesFromDb,查看存在userId -> movieId关系的位置,并在支点中添加1。
  3. 除了surprise的rating_scale参数可以定义评级(在我的例子中是(0, 1))之外,在算法方法或数据模型结构方面还有其他方法来利用这样的事实:在我的情况下,评级只有1或0 (保存还是不保存)?
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2019-08-06 09:58:37

如果有一个选项可以使用稀疏矩阵和接受稀疏矩阵的算法,那么我强烈建议使用稀疏矩阵来解决内存问题。scipy.linalg.svds工作在枕稀疏矩阵上。

--这就是为您的情况创建稀疏矩阵的方法:

假设我们有3个用户(‘a’,'b','c')和3个电影('aa','bb','cc')。保存历史记录如下:

  • A节aa
  • B节bb
  • C节省cc
  • A节bb

我们需要创建一个csr_matrix A_sparse,以便用户表示行、电影列,如果用户我保存了电影j,则Ai,j= 1

代码语言:javascript
复制
import numpy as np
from scipy.sparse import csr_matrix

# index users and movies by integers
user2int = {u:i for i, u in enumerate(np.unique(users))}
movies2int = {m:i for i, m in enumerate(np.unique(movies))}

# get saved user list and corresponding movie lists
saved_users = ["a", "b", "c", "a"]
saved_movies = ["aa", "bb", "cc", "bb"]

# get row and column indices where we need populate 1's
usersidx = [user2int[u] for u in saved_users]
moviesidx = [movies2int[m] for m in saved_movies]

# Here, we only use binary flag for data. 1 for all saved instances.
# Instead, one could also use something like count of saves etc.
data = np.ones(len(saved_users), ) 

# create csr matrix
A_sparse = csr_matrix((data, (usersidx, moviesidx)))

print("Sparse array", A_sparse)

#<3x3 sparse matrix of type '<class 'numpy.float64'>'
#   with 4 stored elements in Compressed Sparse Row format>

print(A_sparse.data.nbytes)
# 32

print("Dense array", A_sparse.A)

#array([[1., 1., 0.],
#       [0., 1., 0.],
#       [0., 0., 1.]])

print(A_sparse.A.nbytes)
# 72

您可以注意到,由于我们的数据点有一半是零(大约),稀疏矩阵大小几乎是numpy ndarray的一半。因此,内存压缩将增加矩阵中零的百分比。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/57370472

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档