首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >基于列和行的Pandas条件输出到bool (替换`for`语句)

问基于列和行的Pandas条件输出到bool (替换`for`语句)
EN

Stack Overflow用户
提问于 2020-02-21 07:08:12
回答 1查看 82关注 0票数 0

我正在尝试基于编码在多列中的信息以及索引的相对位置创建一个新列(bool)。

我有一个包含start和end列以及多个行的DataFrame。我希望保留不与其他行重叠的行,优先于最高的行/第一个观察值(DF排序)。

换句话说,如果一个范围(start,end)至少部分包含在一个索引号较低的范围(start,end)内,那么它将被分配False。如果没有发现重叠,它将被分配True。

这是一张图片,直观地解释了我正在尝试做的事情:

​

我已经使用for循环实现了这一点,但即使使用中等大小的DFs,这也很慢。我正在寻找一种更"pandas-y“的过滤方式,以便在<= O(n)中运行。这种for循环方法删除了列(最终我要做的是),而不是创建一个新列,但我设想使用"for - loop“方法创建一个新的bool列要容易得多。下面是我用来实现这一点的代码:

代码语言:javascript
复制
import pandas as pd
df=pd.DataFrame(((5,12),(16,19),(7,14),(6,9),(17,18),(1,3)),columns=["start","end"])

dropIndexes=[]
for i in range(len(df) - 1, 0, -1):
    start=(df.iloc[i]['start'] >= df.iloc[list(range(0, i))][['start']]).start & (
           df.iloc[i]['start'] <= df.iloc[list(range(0, i))][['end']]).end    
    end  =(df.iloc[i]['end']   >= df.iloc[list(range(0, i))][['start']]).start & (
           df.iloc[i]['end']   <= df.iloc[list(range(0, i))][['end']]).end
    if True in (start|end).values: dropIndexes.append(i)
df=df.drop(dropIndexes)
df

这段代码从DF中的“自下而上”开始,分别测试当前行的start值是否包含在索引较低的任何行的start和end之间。然后,它对当前行的end值重复此操作。然后,它测试当前的start或end是否包含在索引范围较低的任何其他行中。

EN

回答 1

Stack Overflow用户

发布于 2020-02-21 14:51:31

假设您的start和end列没有负值。你可以在你的用例中使用pandas.apply。

代码语言:javascript
复制
import pandas as pd
df=pd.DataFrame(((5,12),(16,19),(7,14),(6,9),(17,18),(1,3)),columns=["start","end"])

start, end = -9999, -9999
def select_row(index_start, index_end):
    global start
    global end

    if start == -9999 and end == -9999:
        # case 1: initial case
        start = index_start
        end = index_end
        return True
    elif end < index_start:
        # case 2: towards the left
        end = index_end
        return True
    elif index_end < start:
        # case 3: towards the right
        start = index_start
        return True
    else:
        # case 4: overlapping
        return False

filt_index = df.apply(lambda row: select_row(row["start"], row["end"]), axis=1)
df = df.loc[filt_index, df.columns]
print(df)

另外,因为我得到了UnboundLocalError,所以我不得不使用global变量。此外,我不想将start和end作为参数传递给数据帧中每一行的apply()。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/60329883

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档