Pentaho PDI (Spoon): вывод таблицы MySQL очень медленный (~ 2000 строк/с)

Question

Мой шаг вывода таблицы очень медленный (~ 2.000 строк в секунду) по сравнению со входом (100.000-200.000 строк в секунду). Сервер MySQL не является проблемой, используя собственный MySQL, например. с шагом «Execute SQL script», я получаю что-то в 100 тыс./сек. Я уже пытался (безуспешно) общим решением расширения возможностей SQL по:

useServerPrepStmts=false 
rewriteBatchedStatements=true 
useCompression=true 

Я также варьировал параметр размера совершить (100, 1.000, 10.000) и Use batch updates for inserts включен, также не увенчался успехом. Что еще я могу сделать? У меня есть таблицы с ~ 10.000.000 строк, а Pentaho работает на очень мощной машине, поэтому это неприемлемо.

Answer 1

Для этого я думаю, что идеальным шагом является шаг MySQL Bulk Loader, указанный в разделе «Загрузка навалом». Наряду с этим используют указанные

useServerPrepStmts=false 
rewriteBatchedStatements=true 
useCompression=true 

в вариантах JDBC в соединении. Эти useCompression сжимают трафик между клиентом и сервером MySQL , где остальные два образуют INSERT INTO tbl (a,b) VALUES (1,'x'),(2,'y'),(3,'z'); без использования отдельных инструкций вставки для каждого.

Answer 2

Выполните следующие действия:

1. Увеличение RAM Размер для PDI a.k.a ложке.
2. Использование служебной программы командной строки, такой как (Кухня или панорамирование), запускает ваше задание или преобразование.

Ну теперь сравните скорость.

Cheers!