合并VIPERS和PRIMUS时出现"IndexError:数组索引过多“

Question

您好，我正在尝试从两个调查(PRIMUS和VIPERS)中提取RA、Dec和红移信息，并将它们收集到单个nd数组中。代码如下：

from astropy.io import fits
import numpy as np

hdulist_PRIMUS = fits.open('data/PRIMUS_2013_zcat_v1.fits')

data_PRIMUS = hdulist_PRIMUS[1].data
data_PRIMUS = np.column_stack((data_PRIMUS['RA'], data_PRIMUS['DEC'],
    data_PRIMUS['Z'], data_PRIMUS['FIELD']))
data_PRIMUS = np.array(filter(lambda x: x[3].strip() == 'xmm', data_PRIMUS))[:, :3]
data_PRIMUS = np.array(map(lambda x: [float(x[0]), float(x[1]), float(x[2])], data_PRIMUS))

hdulist_VIPERS = fits.open('data/VIPERS_W1_SPECTRO_PDR2.fits')
data_VIPERS = hdulist_VIPERS[1].data
data_VIPERS = np.column_stack((data_VIPERS['alpha'], data_VIPERS['delta'], data_VIPERS['zspec']))

from astropy import units as u
from astropy.coordinates import SkyCoord

PRIMUS_catalog = SkyCoord(ra=data_PRIMUS[:, 0]*u.degree, dec =data_PRIMUS[:, 1]*u.degree)
VIPERS_catalog = SkyCoord(ra=data_VIPERS[:, 0]*u.degree, dec=data_VIPERS [:, 1]*u.degree)

idx, d2d, d3d = PRIMUS_catalog.match_to_catalog_sky(VIPERS_catalog)
feasible_indices = np.array(map(
    lambda x: x[0],
    filter(lambda x: x[1].value > 1e-3, zip(idx, d2d))))
data_VIPERS = data_VIPERS[feasible_indices]
data_HZ = np.vstack((data_PRIMUS, data_VIPERS))

当我运行这个命令时，我得到一个"IndexError:用于数组的索引太多“。

数据集: PRIMUS红移目录- https://primus.ucsd.edu/version1.html VIPERS红移目录- https://projects.ift.uam-csic.es/skies-universes/VIPERS/photometry/

Answer 1

我认为有几种方法会让你自己变得更加困难，因为你没有有效地使用现有的可用工具。例如，由于您使用的是FITS文件中的表格数据，因此可以利用Astropy的Table接口：

>>> from astropy.table import Table
>>> primus = Table.read('PRIMUS_2013_zcat_v1.fits')

(对于这个特定的文件，我收到了一些关于表中的一些标题是非标准的警告，但这可以忽略)。

如果只想在表的几列上执行一些操作，可以很容易地完成。例如，不是像您所做的那样，选择几列，然后将它们堆叠到一个新的数组中

np.column_stack((data_PRIMUS['RA'], data_PRIMUS['DEC'],
data_PRIMUS['Z'], data_PRIMUS['FIELD']))

您可以从表中选择列的子集，如下所示：

>>> primus[['RA', 'DEC', 'Z', 'FIELD']]
<Table length=213696>
        RA                 DEC             Z          FIELD    
      degree              degree                               
     float64             float64        float32      bytes13   
------------------ ------------------- ---------- -------------
52.892275339281994 -27.833172368069615  0.3420992 calib        
 52.88448889270391  -27.85252305560996  0.4824943 calib        
52.880363885710295  -27.86221750021335 0.33976158 calib        
 52.88334306466262  -27.86937808271639  0.6134631 calib        
  52.8866138857103 -27.871773055662942 0.58744365 calib        
52.885607068267845 -27.889578785511922 0.26873255 calib        
               ...                 ...        ...           ...
          34.54856             -4.5544  0.8544105 xmm          
          34.56942            -4.57564  0.6331108 xmm          
34.567412432719756  -4.572718190305209  1.1456184 xmm          
          34.57134            -4.56414  0.6346616 xmm          
          34.58088            -4.56804   1.081143 xmm          
          34.58686            -4.57449  0.7471819 xmm    

然后，您可以使用filter函数选择字段为xmm的DEC、Z和Numpy列，但是由于这些列是Numpy数组，因此您可以使用Numpy数组索引中内置的过滤功能，以及表索引。唯一棘手的部分是，因为这些是固定宽度的字符字段，所以您仍然需要正确地执行比较。您可以使用Numpy的字符串函数，如np.char.startswith：

>>> primus = primus[np.char.startswith(primus['FIELD'], b'xmm')]

在进行性能比较的过程中，我意识到这一行可能会出现错误IndexError: too many indices for array

>>> np.array(filter(lambda x: x[3].strip() == 'xmm', primus))
array(<filter object at 0x7f5170981940>, dtype=object)

在Python3中，filter函数返回一个迭代器，所以将它包装在np.array()中只会生成一个包含该Python对象的0维数组；它可能不是您想要的，所以它在这里失败了(这就是查看回溯可能有用的地方)。即使您将filter()调用包装在list()中，它也无法工作，因为np.array()通常只接受同构数组。因此，像我给出的方法是完全足够的(尽管可能有稍微更有效的方法)。它还生成下一行：

np.array(map(lambda x: [float(x[0]), float(x[1]), float(x[2])], data_PRIMUS))

没必要。特别是，前三列已经是浮点格式，所以无论如何这都不是必需的。

一些类似的建议也适用于代码的其他部分。我会更像这样写它：

import numpy as np
from astropy.table import Table, vstack
from astropy import units as u
from astropy.coordinates import SkyCoord

primus = Table.read('PRIMUS_2013_zcat_v1.fits')
primus_field = primus['FIELD']
primus = primus[['RA', 'DEC', 'Z']]
primus = primus[np.char.startswith(primus_field, b'xmm')]
vipers = Table.read('VIPERS_W1_SPECTRO_PDR2.fits')[['alpha', 'delta', 'zspec']]

primus_catalog = SkyCoord(ra=primus['RA']*u.degree, dec=primus['DEC']*u.degree)
vipers_catalog = SkyCoord(ra=vipers['alpha']*u.degree, dec=vipers['delta']*u.degree)
idx, d2d, d3d = primus_catalog.match_to_catalog_sky(vipers_catalog)
feasible_indices = idx[d2d > 1e-3]
vipers = vipers[feasible_indices]
vipers.rename_columns(['alpha', 'delta', 'zspec'], ['RA', 'DEC', 'Z'])
hz = vstack(primus, vipers)

如果你对这篇文章有任何疑问，请告诉我。