在SQL Server中从非常大的表(600M)中获取子集(200M)的最快方法

Question

我们正面临以下问题，我们正在努力想出最好的解决方案。

我们使用的是SQL Server 2008。我们有一个表，它有超过6亿条记录，大约有25列。其中一列是ID，并已编制索引。我们需要从这个表中获取记录的一个子集。主要有两种情况：

a)子集包含1000到2亿行；要获取的行的in存储在SQL Server中的索引表中；

b)子集包含的行少于100万行；要获取的行的ID存储在应用程序的服务器内存中(.NET web应用程序)。

我们的挑战是尽可能快地获得这个子集。我们确实需要在几秒钟内实现这一点。

到目前为止，我们的解决方案：

a)我们在两个表之间进行连接。这是可行的，但还不够快。查询看起来类似于SELECT * FROM Big_Table JOIN IndexTable ON Big_Table.ID = IndexTable.ID。

b)我们没有真正的解决方案。我们尝试运行WHERE IN查询，但是如果子集接近百万行(SELECT * FROM Big_Table WHERE ID IN (ID1, ID2, ID3...))，那么这将花费很长时间。一种解决方案可能是将索引存储在临时表中，但这又回到了情况a。

我们正在尝试尽可能多地优化SQL Server，特别是使用良好的索引和分区。今天我更想问的是，您认为在这两种情况下(a和b)提取子集的最佳方法是什么。

任何想法或建议都值得感谢。

谢谢

Answer 1

既然要进行分页，难道不能先从IndexTable中选择一系列行，然后再将其连接到大表中吗？

类似于：

select * from big_table where id in (select top 100 id from indextable)

Answer 2

问题a) ( SELECT * FROM Big_Table JOIN IndexTable ON Big_Table.ID = IndexTable.ID查询)最明显的问题是:您确定在两个表中的ID列上都有索引吗？