在 SQL Server 中批量插入大量数据的最快方法是什么(C

我的 C 遇到了一些性能瓶颈

请先 登录 后评论

5 个回答

Community

我并不是一个真正聪明的人,我对 SqlClient.SqlBulkCopy 方法没有太多经验,但这是我的 2 美分,物有所值。我希望它可以帮助你和其他人(或者至少让人们说出我的无知;)。

除非您的数据库数据文件 (mdf) 位于与事务日志文件 (ldf) 不同的物理磁盘上,否则您将永远无法匹配原始文件的复制速度。此外,任何聚集索引也需要位于单独的物理磁盘上,以便进行更公平的比较。

您的原始副本没有记录或维护选择字段(列)的排序顺序以用于索引目的。

我同意 Portman 关于创建非聚集身份种子并将您现有的非聚集索引更改为聚集索引的观点。

至于您在客户端上使用的构造...(数据适配器、数据集、数据表等)。如果服务器上的磁盘 io 为 100%,我认为最好不要花时间分析客户端构造,因为它们似乎比服务器当前可以处理的速度更快。

如果您关注 Portman 关于最小日志记录的链接,我认为在事务中围绕您的批量复制不会有很大帮助,但我在我的生活中犯过很多次错误;)

这不一定对您现在有帮助,但如果您弄清楚当前的问题,下一条评论可能有助于解决下一个瓶颈(网络吞吐量) - 特别是如果它通过 Internet...

Chopeen 也问了一个有趣的问题。您如何确定使用 300 个记录计数块来插入? SQL Server 有一个默认的数据包大小(我相信它是 4096 字节),对我来说,推导出记录的大小并确保您有效地利用客户端和服务器之间传输的数据包是有意义的。 (注意,您可以在客户端代码上更改数据包大小,而不是服务器选项,这显然会针对所有服务器通信更改它 - 可能不是一个好主意。)例如,如果您的记录大小导致 300 个记录批次需要 4500字节,您将发送 2 个数据包,而第二个数据包大部分被浪费。如果批量记录计数是任意分配的,那么做一些快速简单的数学运算可能是有意义的。

据我所知(并记住数据类型大小),每条记录恰好有 20 个字节(如果 int=4 字节和 smallint=2 字节)。如果您使用 300 个记录计数批次,那么您正在尝试发送 300 x 20 = 6,000 字节(另外我猜测连接会产生一些开销等)。在 200 个记录计数批次(200 x 20 = 4,000 开销空间)= 1 个数据包中发送这些可能会更有效。话又说回来,你的瓶颈似乎仍然是服务器的磁盘 io。

我意识到您正在将原始数据传输与具有相同硬件/配置的 SqlBulkCopy 进行比较,但如果挑战是我的,我也会去这里:

这篇文章可能不再对您有帮助,因为它已经很老了,但我接下来会问您磁盘的 RAID 配置是什么以及您使用的磁盘速度是多少?尝试将日志文件放在数据文件上使用 RAID 10 和 RAID 5(理想情况下为 1)的驱动器上。这可以帮助减少大量主轴移动到磁盘上的不同扇区,并导致更多时间读/写,而不是非生产性的“移动”状态。如果您已经将数据和日志文件分开,您的索引是否与数据文件位于不同的物理磁盘驱动器上(您只能使用聚集索引来执行此操作)。这不仅允许在插入数据的同时更新日志信息,而且允许同时进行索引插入(以及任何代价高昂的索引页操作)。

请先 登录 后评论
Anders Sandvig

如果可能的话,如何增加分配给服务器的内存或服务器使用的缓冲区大小?

请先 登录 后评论
jason saldo

是的,您的想法会有所帮助。
如果在加载时没有发生读取,请使用选项 1。
如果在处理过程中查询目标表,请使用选项 2。

@安德鲁
问题。您插入 300 个块。您插入的总金额是多少? SQL 服务器应该能够非常快速地处理 300 个普通的旧插入。

请先 登录 后评论
Portman

我的猜测是,如果您将该索引更改为非集群,您会看到显着的改进。这为您提供了两种选择:

  1. 将索引更改为非聚集索引,并将其保留为堆表,没有聚集索引
  2. 将索引更改为非聚集索引,然后添加代理键(如“id”)并使其成为标识、主键和聚集索引

其中任何一个都会加快您的插入速度而不会显着减慢您的阅读速度。

这样想——现在,您告诉 SQL 进行批量插入,但随后您要求 SQL 对您添加任何内容的每个表重新排序。使用非聚集索引,您将按照它们进入的任何顺序添加记录,然后构建一个单独的索引来指示它们所需的顺序。

请先 登录 后评论
dguaraglia

您是否尝试过使用交易?

根据您的描述,让服务器将 100% 的时间提交到磁盘,您似乎正在以原子 SQL 语句发送每一行数据,从而迫使服务器每行提交(写入磁盘)。< /p>

如果您改用事务,服务器只会在事务结束时提交一次

更多帮助:您使用什么方法向服务器插入数据?使用 DataAdapter 更新 DataTable,还是使用字符串执行每个句子?

请先 登录 后评论