我有一个Pandas数据帧,它有两列,x和y,分别对应于一个大信号。它的大小约为300万行。
我在试着从信号中分离出峰值。在使用scipy之后,我得到了一个1D Python列表,对应于峰值的索引。但是,它们不是信号的实际x值,而只是其对应行的索引:
from scipy.signal import find_peaks
peaks, _ = find_peaks(y, height=(None, peakline))因此,我决定通过将y列中的所有值设置为NaN来过滤原始数据帧,除非它们位于峰值列表中的索引上。我迭代地做了这件事,但是,因为它有3000000行,所以速度非常慢:
peak_index = 0
for data_index in list(data.index):
if data_index != peaks[peak_index]:
data[data_index, 1] = float('NaN')
else:
peak_index += 1有人知道过滤Pandas数据帧的更快方法是什么吗?
发布于 2020-02-02 20:59:51
在大多数情况下,当涉及到熊猫时,循环是非常低效的。假设您只需要在y为峰值时同时包含x和y列的值的已过滤DataFrame,则可以使用以下代码:
df.iloc[peaks]或者,如果您希望检索包含y列的原始DataFrame,并保留其峰值,并使用NaN,则请使用:
df.y = df.y.where(df.y.iloc[peaks] == df.y.iloc[peaks])最后,由于您似乎只关心峰值的x值,因此可以按以下方式重新编写第一部分:
df.iloc[peaks].xhttps://stackoverflow.com/questions/60012951
复制相似问题