我正在尝试基于编码在多列中的信息以及索引的相对位置创建一个新列(bool)。
我有一个包含start和end列以及多个行的DataFrame。我希望保留不与其他行重叠的行,优先于最高的行/第一个观察值(DF排序)。
换句话说,如果一个范围(start,end)至少部分包含在一个索引号较低的范围(start,end)内,那么它将被分配False。如果没有发现重叠,它将被分配True。
这是一张图片,直观地解释了我正在尝试做的事情:

我已经使用for循环实现了这一点,但即使使用中等大小的DFs,这也很慢。我正在寻找一种更"pandas-y“的过滤方式,以便在<= O(n)中运行。这种for循环方法删除了列(最终我要做的是),而不是创建一个新列,但我设想使用"for - loop“方法创建一个新的bool列要容易得多。下面是我用来实现这一点的代码:
import pandas as pd
df=pd.DataFrame(((5,12),(16,19),(7,14),(6,9),(17,18),(1,3)),columns=["start","end"])
dropIndexes=[]
for i in range(len(df) - 1, 0, -1):
start=(df.iloc[i]['start'] >= df.iloc[list(range(0, i))][['start']]).start & (
df.iloc[i]['start'] <= df.iloc[list(range(0, i))][['end']]).end
end =(df.iloc[i]['end'] >= df.iloc[list(range(0, i))][['start']]).start & (
df.iloc[i]['end'] <= df.iloc[list(range(0, i))][['end']]).end
if True in (start|end).values: dropIndexes.append(i)
df=df.drop(dropIndexes)
df这段代码从DF中的“自下而上”开始,分别测试当前行的start值是否包含在索引较低的任何行的start和end之间。然后,它对当前行的end值重复此操作。然后,它测试当前的start或end是否包含在索引范围较低的任何其他行中。
发布于 2020-02-21 14:51:31
假设您的start和end列没有负值。你可以在你的用例中使用pandas.apply。
import pandas as pd
df=pd.DataFrame(((5,12),(16,19),(7,14),(6,9),(17,18),(1,3)),columns=["start","end"])
start, end = -9999, -9999
def select_row(index_start, index_end):
global start
global end
if start == -9999 and end == -9999:
# case 1: initial case
start = index_start
end = index_end
return True
elif end < index_start:
# case 2: towards the left
end = index_end
return True
elif index_end < start:
# case 3: towards the right
start = index_start
return True
else:
# case 4: overlapping
return False
filt_index = df.apply(lambda row: select_row(row["start"], row["end"]), axis=1)
df = df.loc[filt_index, df.columns]
print(df)另外,因为我得到了UnboundLocalError,所以我不得不使用global变量。此外,我不想将start和end作为参数传递给数据帧中每一行的apply()。
https://stackoverflow.com/questions/60329883
复制相似问题