首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何在dask中映射函数

问如何在dask中映射函数
EN

Stack Overflow用户
提问于 2020-06-22 23:23:15
回答 1查看 568关注 0票数 1

我正在使用Dask操作一个数据文件(来自CSV文件),我正在寻找一种方法来使用类似于map或apply函数的方法来改进这段代码,因为在大文件中需要很长时间(我知道嵌套for和使用iterrows()是我所能做的最糟糕的事情)

代码语言:javascript
复制
NAN_VALUES = [-999, "INVALID", -9999]
_all_rows=list()
for index, row in df.iterrows():
    _row = list()
    for key, value in row.iteritems():
        if value in NAN_VALUES or pd.isnull(value):
            _row.append(None)
        else:
            _row.append(apply_transform(key, value))
    _all_rows.append(_row)
    rows_count += 1

如何使用map_partitions或pandas.map映射此代码?!

多一点上下文:为了能够应用某些函数,我要用默认值替换NaN值。最后,我需要为每一行创建一个列表,将默认值替换为None。

1.-原始DF

代码语言:javascript
复制
 "name"    "age"    "money"
---------------------------
"David"     NaN      12.345 
"Jhon"      22        NaN    
"Charles"   30       123.45 
  NaN       NaN       NaN    

2.-将NaN传递给默认值

代码语言:javascript
复制
 "name"       "age"    "money"
------------------------------
"David"       -999     12.345 
"Jhon"         22      -9999  
"Charles"      30      123.45 
"INVALID"     -999     -9999  

3.-分析每一行的列表

代码语言:javascript
复制
"name"  , "age", "money"
------------------------
["David", None, 12.345]
["Jhon", 22, None]
["Charles", 30, 123.45]
[None, None, None]
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-06-23 16:54:17

我在这里的建议是,试着和熊猫合作,然后试着把它们翻译成达斯克。

pandas

代码语言:javascript
复制
import pandas as pd
import numpy as np

nan = np.nan

df = {'name': {0: 'David', 1: 'John', 2: 'Charles', 3: nan},
 'age': {0: nan, 1: 22.0, 2: 30.0, 3: nan},
 'money': {0: 12.345, 1: nan, 2: 123.45, 3: nan}}

df = pd.DataFrame(df)

# These are your default values
diz = {"age": -999, "name": "INVALID", "money": -9999}

将NaN传递到默认值

代码语言:javascript
复制
for k,v in diz.items():
    df[k] = df[k].fillna(v)

为每一行获取一个列表

代码语言:javascript
复制
df.apply(list, axis=1)
代码语言:javascript
复制
0       [David, nan, 12.345]
1          [John, 22.0, nan]
2    [Charles, 30.0, 123.45]
3            [nan, nan, nan]
dtype: object

dask

代码语言:javascript
复制
import pandas as pd
import dask.dataframe as dd
import numpy as np

nan = np.nan

df = {'name': {0: 'David', 1: 'John', 2: 'Charles', 3: nan},
 'age': {0: nan, 1: 22.0, 2: 30.0, 3: nan},
 'money': {0: 12.345, 1: nan, 2: 123.45, 3: nan}}

df = pd.DataFrame(df)

# These are your default values
diz = {"age": -999, "name": "INVALID", "money": -9999}

# transform to dask dataframe
df = dd.from_pandas(df, npartitions=2)

将NaN传递到默认值

这和以前完全一样。注意,由于dask很懒,如果您想要看到效果df.compute(),就应该运行

代码语言:javascript
复制
for k,v in diz.items():
    df[k] = df[k].fillna(v)

为每一行获取一个列表

在这里,当您被要求显式地声明输出的dtype时,情况发生了一些变化。

代码语言:javascript
复制
df.apply(list, axis=1, meta=(None, 'object'))

在dask中,您最终可以使用map_partitions,如下所示

代码语言:javascript
复制
df.map_partitions(lambda x: x.apply(list, axis=1))

备注请考虑,如果您的数据适合内存,您不需要dask和pandas可能会更快。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/62524985

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档