我正在使用id2替换dask数据帧中的列map_partitions。结果是这些值被替换,但是有一个pandas警告。
这个警告是什么,以及如何在下面的示例中应用.loc建议?
pdf = pd.DataFrame({
'dummy2': [10, 10, 10, 20, 20, 15, 10, 30, 20, 26],
'id2': [1, 1, 1, 2, 2, 1, 1, 1, 2, 2],
'balance2': [150, 140, 130, 280, 260, 150, 140, 130, 280, 260]
})
ddf = dd.from_pandas(pdf, npartitions=3)
def func2(df):
df['id2'] = df['balance2'] + 1
return df
ddf = ddf.map_partitions(func2)
ddf.compute()C:\Users\xxxxxx\AppData\Local\Temp\ipykernel_30076\248155462.py:2: SettingWithCopyWarning:一个值试图设置在来自DataFrame的片的副本上。尝试使用.locrow_indexer,col_indexer = value代替
请参阅文档中的注意事项:https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy df‘in 2’= df'balance2‘+ 1
发布于 2022-05-20 18:11:22
一个快速的解决方法是添加dataframe的副本:
def func2(df):
df = df.copy() # will make a copy of the dataframe
df['id2'] = df['balance2'] + 1
return df但是,正如我所理解的,复制dataframe并不是必需的,因为dask dataframe的延迟性质意味着这些更改不会传播回dask dataframe分区。
更新:有一个relevant question解释了.copy在pandas中的原因。在下面的片段中,应用该函数将修改原始的熊猫数据,这可能是不可取的:
from pandas import DataFrame
def addcol(df):
df['a'] = 1
return df
df = DataFrame()
df1 = addcol(df)
# without .copy, df is also modified, which might be undesirable在dask的上下文中,这个警告只是一个警告,所以不需要.copy。
from dask.dataframe import from_pandas
ddf = from_pandas(df, npartitions=1)
ddf1 = ddf.map_partitions(addcol)
# will show warning, but original ddf is not modifiedhttps://stackoverflow.com/questions/72321979
复制相似问题