MemoryError:无法为形状(5844379795 )和数据类型int64的数组分配43.5 GiB

Question

我有一个大型的dataframe，我正在尝试更新一个列：

Dataframe:

​

​

我想更新最后一列IsFraudsterStatus.

我的代码：

df= pd.concat(chunk_list,)
    def expand_fraud(no_fraud, fraud, col_name):
        t = pd.merge(no_fraud, fraud, on=col_name)
        if len(t):
            df.loc[df.ID.isin(t.ID_x), "IsFraudsterStatus"] = 1
            return True
        return False
    while True:
        added_fraud = False
        fraud = df[df.IsFraudsterStatus == 1]
        no_fraud = df[df.IsFraudsterStatus == 0]
        added_fraud |= expand_fraud(no_fraud, fraud, "DeviceId")
        added_fraud |= expand_fraud(no_fraud, fraud, "Email")
        added_fraud |= expand_fraud(no_fraud, fraud, "MobileNo")
        if not added_fraud:
            break

错误：

​

​

Answer 1

使用达斯克解决了所有“内存错误”问题。