Каков наилучший способ для копирования большой таблицы (> 1.ой строки) в другую таблицу

Question

datastax-предприятие

datastax-запуск

Мы используем DataStax DSE кластер.

Мы пытаемся перенести таблицу в другую таблицу с таким же определением, что и 1-й таблица, но со средним индексом

Она имеет около 1,7 млн ​​строк

1) Сначала пользователя Cassandra COPY команды cqlsh , Это занимает много времени> 1 час. Таймаут, не работает 2) Затем мы пишем программу для экспорта 1-й таблицы в файл CSV. Мы разбиваем этот CSV-файл на отдельные CSV-файлы и пытаемся загрузить его со второй таблицы.

Вкладыш занимает некоторое время, и он не

3) Мы смотрим в http://www.datastax.com/dev/blog/using-the-cassandra-bulk-loader-updated

Поскольку у нас есть CSV-файл, это правильный подход?

И мы используем этот lib https://github.com/yukim/cassandra-bulkload-example для генерации SSTABLE.

Это правильный способ справиться с этим?

Answer 1

Если у вас есть CSV-файл, я бы рекомендовал использовать этот навальный погрузчик:

https://github.com/brianmhess/cassandra-loader

Если искровые аналитики включена в кластере:

sc.cassandraTable ("ks1", "стол ") .saveToCassandra (" KS2" , "стол")

Смотрите также:

http://docs.datastax.com/en/latest-dse/datastax_enterprise/migration/migratingBulkSparkRDD.html