首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >高效的python pandas等价物/实现具有多个参数的R扫描

问高效的python pandas等价物/实现具有多个参数的R扫描
EN

Stack Overflow用户
提问于 2019-02-11 05:24:11
回答 2查看 412关注 0票数 4

其他试图提供与R的sweep函数(如here)等效的python的问题并没有真正解决最有用的多个参数的情况。

假设我希望对Dataframe的每一行应用一个双参数函数,其中包含来自另一个DataFrame的列的匹配元素:

代码语言:javascript
复制
df = data.frame("A" = 1:3,"B" = 11:13)
df2= data.frame("X" = 10:12,"Y" = 10000:10002)
sweep(df,1, FUN="*",df2$X)

在python中,我使用apply获得了等价物,基本上就是循环遍历行计数。

代码语言:javascript
复制
df = pd.DataFrame( { "A" : range(1,4),"B" : range(11,14) } )
df2 = pd.DataFrame( { "X" : range(10,13),"Y" : range(10000,10003) } )
pd.Series(range(df.shape[0])).apply(lambda row_count: np.multiply(df.iloc[row_count,:],df2.iloc[row_count,df2.columns.get_loc('X')]))

我非常怀疑这在pandas中的有效性,有什么更好的方法呢?

应用*时,两位代码都应产生6个数字的数据帧/矩阵

代码语言:javascript
复制
   A   B
1 10 110
2 22 132
3 36 156

我应该清楚地说明,目标是将自己的函数插入到这个sweep中,就像这样的行为:

代码语言:javascript
复制
df = data.frame("A" = 1:3,"B" = 11:13)
df2= data.frame("X" = 10:12,"Y" = 10000:10002)
myFunc = function(a,b) { floor((a + b)^min(a/2,b/3))  }
sweep(df,1, FUN=myFunc,df2$X)

结果是:

代码语言:javascript
复制
 A B
[1,] 3 4
[2,] 3 4
[3,] 3 5

在python pandas中做这件事的好方法是什么?

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2019-02-14 22:08:26

如果我理解正确的话,您希望将一个二进制函数f(x,y)以行的方式应用于数据帧(对于x),其中一个方法是借用pandas内部本身的实现。如果你想扩展这个函数(例如,沿着列应用),只要f是二进制的,就可以用类似的方式来完成。如果需要更多参数,可以简单地对f执行partial,将其转换为二进制

代码语言:javascript
复制
import pandas as pd
from pandas.core.dtypes.generic import ABCSeries

def sweep(df, series, FUN):
    assert isinstance(series, ABCSeries)

    # row-wise application
    assert len(df) == len(series)
    return df._combine_match_index(series, FUN)


# define your binary operator
def f(x, y):
    return x*y    

# the input data frames
df = pd.DataFrame( { "A" : range(1,4),"B" : range(11,14) } )
df2 = pd.DataFrame( { "X" : range(10,13),"Y" : range(10000,10003) } )

# apply
test1 = sweep(df, df2.X, f)

# performance
# %timeit sweep(df, df2.X, f)
# 155 µs ± 1.27 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)#

# another method
import numpy as np
test2 = pd.Series(range(df.shape[0])).apply(lambda row_count: np.multiply(df.iloc[row_count,:],df2.iloc[row_count,df2.columns.get_loc('X')]))

# %timeit performance
# 1.54 ms ± 56.4 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

assert all(test1 == test2)

希望这能有所帮助。

票数 2
EN

Stack Overflow用户

发布于 2019-02-11 05:26:20

在pandas中

代码语言:javascript
复制
df.mul(df2.X,axis=0)
    A    B
0  10  110
1  22  132
2  36  156
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/54621203

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档