首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >替换dask map_partitions中的现有列会给出SettingWithCopyWarning

问替换dask map_partitions中的现有列会给出SettingWithCopyWarning
EN

Stack Overflow用户
提问于 2022-05-20 16:18:58
回答 1查看 92关注 0票数 3

我正在使用id2替换dask数据帧中的列map_partitions。结果是这些值被替换,但是有一个pandas警告。

这个警告是什么,以及如何在下面的示例中应用.loc建议?

代码语言:javascript
复制
pdf = pd.DataFrame({
    'dummy2': [10, 10, 10, 20, 20, 15, 10, 30, 20, 26],
    'id2': [1, 1, 1, 2, 2, 1, 1, 1, 2, 2],
    'balance2': [150, 140, 130, 280, 260, 150, 140, 130, 280, 260]
})

ddf = dd.from_pandas(pdf, npartitions=3) 

def func2(df):
    df['id2'] = df['balance2'] + 1
    return df

ddf = ddf.map_partitions(func2)

ddf.compute()

C:\Users\xxxxxx\AppData\Local\Temp\ipykernel_30076\248155462.py:2: SettingWithCopyWarning:一个值试图设置在来自DataFrame的片的副本上。尝试使用.locrow_indexer,col_indexer = value代替

请参阅文档中的注意事项:https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy df‘in 2’= df'balance2‘+ 1

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2022-05-20 18:11:22

一个快速的解决方法是添加dataframe的副本:

代码语言:javascript
复制
def func2(df):
    df = df.copy() # will make a copy of the dataframe
    df['id2'] = df['balance2'] + 1
    return df

但是,正如我所理解的,复制dataframe并不是必需的,因为dask dataframe的延迟性质意味着这些更改不会传播回dask dataframe分区。

更新:有一个relevant question解释了.copy在pandas中的原因。在下面的片段中,应用该函数将修改原始的熊猫数据,这可能是不可取的:

代码语言:javascript
复制
from pandas import DataFrame

def addcol(df):
    df['a'] = 1
    return df

df = DataFrame()

df1 = addcol(df)
# without .copy, df is also modified, which might be undesirable

在dask的上下文中,这个警告只是一个警告,所以不需要.copy。

代码语言:javascript
复制
from dask.dataframe import from_pandas
ddf = from_pandas(df, npartitions=1)
ddf1 = ddf.map_partitions(addcol)
# will show warning, but original ddf is not modified
票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/72321979

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档