Несколько строк с одним INSERT в SQLServer 2008

Question

Я тестирую скорость вставки нескольких строк с помощью одного оператора INSERT.

Например: INSERT INTO [MyTable] VALUES (5, 'собака'), (6, 'кошка'), (3, «рыбы)

Это очень быстро, пока я не пройди 50 строк на одно утверждение, то скорость значительно падает.

Вставка 10000 рядов с партиями из 50 единиц занимает 0,9 секунды. Вставка 10000 строк с партиями из 51 занимает 5,7 секунды.

Мой вопрос состоит из двух частей:

1. Почему такой жесткий падение производительности на 50?
2. Могу ли я полагаться на это поведение и кодировать свое приложение, чтобы никогда не отправлять партии более 50?

Мои тесты были выполнены в C++ и ADO.

Редактировать: Похоже, что выпадающая точка не 50 строк, а 1000 столбцов. Я получаю аналогичные результаты с 50 строками из 20 столбцов или 100 строк из 10 столбцов.

Answer 1

Вы сравнили этот товар с аналогичным соединением? http://blog.sqlauthority.com/2007/06/08/sql-server-insert-multiple-records-using-one-insert-statement-use-of-union-all/

Я подозреваю, что есть внутренний кэш/индекс, который используется до 50 строк (это хорошее округлое десятичное число). После 50 строк он возвращается к менее эффективному алгоритму вставки общего случая, который может обрабатывать произвольные количества входов без использования чрезмерной памяти.

Answer 2

замедление, вероятно, синтаксический анализ строковых значений: VALUES (5, 'dog'), (6, 'cat'), (3, 'fish), а не проблема INSERT.

попробовать что-то вроде этого, который будет вставлять одну строку для каждой строки, возвращаемой запросом:

INSERT INTO YourTable1 
    (col1, col2) 
    SELECT 
     Value1, Value2 
     FROM YourTable2 
     WHERE ...--rows will be more than 50 

и посмотреть, что происходит

Answer 3

Если вы используете SQL 2008, то вы можете использовать табличное значение параметры и просто сделать один оператор insert.

лично, я никогда не видел замедление в 50 вставках записей даже с регулярными партиями. Несмотря на это, мы перешли к параметрам табличных значений, которые для нас значительно увеличились.

Answer 4

Случайные мысли:

• является она полностью соответствует при запуске повторно?
• Вы проверяете дубликаты в 1-м строках 10k для второй вставки 10k?
• Вы сначала попробовали размер партии 51?
• Вы лишили таблицу между тестами?

Answer 5

Он также может быть связан с размером строки. Таблица, которую вы используете в качестве примера, кажется, имеет только 2 столбца. Что, если у него 25 столбцов? Выпускается ли производительность также на 50 строк?

Answer 6

Для высокообъемных и высокочастотных вставок рассмотрите возможность использования Bulk Inserts для загрузки ваших данных. Не самая простая вещь, которую должен реализовать мир, и это приносит с собой новый набор проблем, но это может быть намного быстрее, чем выполнение INSERT.