Переместить данные SQL Server в узлах (1000 строк)

Question

Я пишу процесс, который архивирует строки из таблицы SQL Server на основе столбца datetime. Я хочу переместить все строки с датой до X, но проблема в том, что для каждой даты есть миллионы строк, поэтому выполните BEGIN TRANSACTION ... INSERT ... DELETE ... COMMIT для каждой даты занимает слишком много времени , и блокирует базу данных для других пользователей.

Есть ли способ, которым я могу это сделать в небольших кусках? Может быть, использовать ROWCOUNT или что-то в этом роде?

я первоначально считалось чем-то вроде этого:

SET ROWCOUNT 1000 

DECLARE @RowsLeft DATETIME 
DECLARE @ArchiveDate DATETIME 

SET @ROWSLEFT = (SELECT TOP 1 dtcol FROM Events WHERE dtcol <= @ArchiveDate) 

WHILE @ROWSLEFT IS NOT NULL 
BEGIN 

    INSERT INTO EventsBackups 
    SELECT top 1000 * FROM Events 

    DELETE Events 

    SET @ROWSLEFT = (SELECT TOP 1 dtcol FROM Events WHERE dtcol <= @ArchiveDate) 

END 

Но потом я понял, что я не могу гарантировать, что строки я удаляю, те, которые я только что скопированными. Или я могу ...?

UPDATE: Еще вариант я Рассмотренная добавляли шаг:

1. Выбор TOP 1000 строк, которые соответствуют моим критериям даты в временной таблицу
2. начать транзакцию
3. Вставки из температуры таблица в архивную таблицу
4. Удалить из исходной таблицы, соединяясь с временной таблицей в каждом столбце
5. Commit transa фикция
6. Повторить 1-5, пока строки не остаются, которые отвечают критериям даты

Кто-нибудь есть идея, как счет этой серии можно сравнить с некоторыми из других вариантов, обсуждаемых ниже?

ДЕТАЛИ: Я использую SQL 2005, так как кто-то спросил.

Answer 1

Просто вставьте результат УДАЛИТЬ:

WHILE 1=1 
BEGIN 

    WITH EventsTop1000 AS (
    SELECT TOP 1000 * 
     FROM Events 
     WHERE <yourconditionofchoice>) 
    DELETE EventsTop1000 
     OUTPUT DELETED.* 
     INTO EventsBackup; 

    IF (@@ROWCOUNT = 0) 
     BREAK; 
END 

Это атомная и последовательны.

Answer 2

Как насчет:

INSERT INTO EventsBackups 
SELECT TOP 1000 * FROM Events ORDER BY YourKeyField 

DELETE Events 
WHERE YourKeyField IN (SELECT TOP 1000 YourKeyField FROM Events ORDER BY YourKeyField) 

Answer 3

Как насчет этого не делать все это сразу?

INSERT INTO EventsBackups 
SELECT * FROM Events WHERE date criteria 

Позже,

DELETE FROM Events 
SELECT * FROM Events INNER JOIN EventsBackup on Events.ID = EventsBackup.ID 

или эквивалент.

Ничто из того, что вы сказали до сих пор, говорит о необходимости совершения сделки.

Answer 4

У вас есть указатель на поле даты? Если у вас нет, sql может быть принудительно обновлен до блокировки таблицы, которая блокирует всех ваших пользователей во время выполнения ваших заявлений архива.

Я думаю, вам понадобится индекс для этой операции, чтобы выполнить все хорошо! Поместите индекс в поле даты и повторите попытку!

Answer 5

Не могли бы вы сделать копию событий, переместить все строки с датами > = x к этому, удалить события и переименовать копию События? Или скопировать, усечь, а затем скопировать обратно? Если вы можете позволить себе небольшой простоя, вероятно, это самый быстрый подход.

Answer 6

использования ВСТАВИТЬ с выходом в статье для хранения идентификаторов вставленных строк, а затем УДАЛИТЬ присоединение к этой временной таблице, чтобы удалить только те идентификаторы

DECLARE @TempTable (YourKeyValue KeyDatatype not null) 

INSERT INTO EventsBackups 
    (columns1,column2, column3) 
    OUTPUT INSERTED.primaryKeyValue 
    INTO @TempTable 
    SELECT 
     top 1000 
     columns1,column2, column3 
     FROM Events 

DELETE Events 
    FROM Events 
     INNER JOIN @TempTable t ON Events.PrimaryKey=t.YourKeyValue 

Answer 7

Вот что я в конечном итоге делаю:

SET @CleanseFilter = @startdate 
WHILE @CleanseFilter IS NOT NULL 
BEGIN 
    BEGIN TRANSACTION 

     INSERT INTO ArchiveDatabase.dbo.MyTable 
     SELECT * 
      FROM dbo.MyTable 
     WHERE startTime BETWEEN @startdate AND @CleanseFilter 

     DELETE dbo.MyTable 
     WHERE startTime BETWEEN @startdate AND @CleanseFilter 

    COMMIT TRANSACTION 

    SET @CleanseFilter = (SELECT MAX(starttime) 
       FROM (SELECT TOP 1000 
          starttime 
        FROM dbo.MyTable 
         WHERE startTime BETWEEN @startdate AND @enddate 
        ORDER BY starttime) a) 
END 

Я не вытаскиваю точно 1000, всего 1000 символов, поэтому он правильно обрабатывает повторы в столбце времени (что-то я беспокоился о том, когда я рассматривал использование ROWCOUNT). Поскольку в столбце времени часто повторяются повторы, я вижу, что он регулярно перемещает 1002 или 1004 строки/итерацию, поэтому я знаю, что все получается.

Я представляю это как ответ, поэтому его можно судить по другим решениям, которые люди предоставили. Дайте мне знать, если что-то явно не так с этим методом. Спасибо за вашу помощь, всем, и я соглашусь, какой ответ набрал больше всего голосов за несколько дней.

Answer 8

Другим вариантом является добавление триггерной процедуры в таблицу событий, которая ничего не делает, кроме добавления той же записи в таблицу EventsBackup.

Таким образом, EventsBackup всегда обновляется, и все, что вы делаете, периодически очищает записи из вашей таблицы событий.