我遇到了一些问题,使用.add()方法添加。我有一个数据生成器,用于沿正态分布生成合成数据:
import pandas as pd
import numpy as np
def DataSynthNormal(data, sel, column, fracFull, TotalRows, SelRows, mean, std, abst=False):
fraction = data.loc[data['A'] == sel, column].sample(frac = fracFull).index
if abst:
data1 = pd.DataFrame(np.absolute(np.random.normal(mean, std, round(SelRows*fracFull)).astype('int64')), index=fraction).reindex(range(TotalRows))
else:
data1 = pd.DataFrame(np.random.normal(mean, std, round(SelRows*fracFull)).astype('int64'), index=fraction).reindex(range(TotalRows))
data[column] = data[column].add(data1, fill_value=0)使用此数据this作为示例:
empty = pd.DataFrame(columns=['A','B'], index=range(0,10))
empty.A[0:4] = "C"; empty.A[4:7] = "D"; empty.A[7:10] = "E"
print(empty)
A B
0 C NaN
1 C NaN
2 C NaN
3 C NaN
4 D NaN
5 D NaN
6 D NaN
7 E NaN
8 E NaN
9 E NaN并运行数据生成器:
DataSynthNormal(empty, 'C', 'B', 0.8, 10, 4, 0, 1)我得到以下错误:
回溯(最近一次调用): 文件"",第1行,在DataSynthNormal2(空,'C','B',0.8,10,4,0,1) 文件"",第7行,在DataSynthNormal2 datacolumn = datacolumn.add(data1,fill_value=0)中 文件"C:\Users\User\Anaconda3\lib\site-packages\pandas\core\ops.py",第1358行,在flex_wrapper self.index).finalize(self)中 文件"C:\Users\User\Anaconda3\lib\site-packages\pandas\core\series.py",第274行,init raise_cast_failure=True) 文件"C:\Users\User\Anaconda3\lib\site-packages\pandas\core\series.py",第4163行,在_sanitize_array subarr = com._asarray_tuplesafe(data,dtype=dtype)中 文件"C:\Users\User\Anaconda3\lib\site-packages\pandas\core\common.py",第317行,以_asarray_tuplesafe值= tuple(x)表示x的值 文件"C:\Users\User\Anaconda3\lib\site-packages\pandas\core\common.py",第317行,以值= tuple(x)表示x的值 TypeError:'int‘对象不可迭代
我在这里尝试使用.add(),因为它在添加两个数据时保存NaN,而不是.fillna(0) (由于某种原因,.fillna(0)输出了NaN矩阵)。我希望它做到这一点,因为它试图模拟的真实数据在整个过程中都有空白和0。我也不能使用"datacolumn = data1",因为我需要在不同的时间使用其他条件词(=‘D’,=‘E’),具有不同的平均值和std。
有人知道如何解决这个问题吗?
发布于 2018-07-02 15:30:00
想出了一个解决方案,其中包括创建第二个函数:
def DataSynthNormal(data, sel, column, fracFull, TotalRows, selRows, mean, std, abst=False):
fraction = data.loc[data['A'] == sel, column].sample(frac = fracFull).index
if abst:
data1 = pd.DataFrame(np.absolute(np.random.normal(mean, std, round(selRows*fracFull)).astype('int64')), index=fraction).reindex(range(TotalRows))
else:
data1 = pd.DataFrame(np.random.normal(mean, std, round(selRows*fracFull)).astype('int64'), index=fraction).reindex(range(TotalRows))
data[column] = data1这是第一个,如你所料。
def DataSynthNormal2x(data, sel1, sel2, column, fracFull1, fracFull2, TotalRows, selRows1, selRows2, mean1, std1, mean2, std2, abst=False):
fraction1 = data.loc[data['A'] == sel1, column].sample(frac = fracFull1).index
fraction2 = data.loc[data['A'] == sel2, column].sample(frac = fracFull2).index
if abst:
data1 = pd.DataFrame(np.absolute(np.random.normal(mean1, std1, round(selRows1*fracFull1)).astype('int64')), index=fraction1).reindex(range(TotalRows))
data2 = pd.DataFrame(np.absolute(np.random.normal(mean2, std2, round(selRows2*fracFull2)).astype('int64')), index=fraction2).reindex(range(TotalRows))
else:
data1 = pd.DataFrame(np.random.normal(mean1, std1, round(selRows1*fracFull1)).astype('int64'), index=fraction1).reindex(range(TotalRows))
data2 = pd.DataFrame(np.random.normal(mean2, std2, round(selRows2*fracFull2)).astype('int64'), index=fraction2).reindex(range(TotalRows))
data12 = data1.add(data2, fill_value=0)
data[column] = data12第二,它需要双倍的输入,并将其全部功能组合在一起.这些看起来很管用。
https://stackoverflow.com/questions/51137555
复制相似问题