Чтение/запись из того же ключевого пространства из двух разных сеансов cassandra

Question

У меня есть 2 искровых задания, которые подключаются к Cassandra, используя разъем искровой кассандры. https://github.com/datastax/spark-cassandra-connector

Первая работа использует Kafka для передачи данных в Spark и процесса в реальном времени. После обработки каждого сообщения он сохраняет сообщение в Cassandra.

Вторая работа - пакетное задание, которое разворачивается каждые 10 секунд для чтения данных из cassandra.

Итак, одно потоковое искровое задание записывает данные в пространство ключей Cassandra, а другое пакетное задание снова и снова развертывается для чтения данных из SAME ключей. Мой вопрос:

Можете ли вы открыть 2 сеанса из 2 искровых заданий для чтения/записи того же самого ключа?

Примечание: Я также использую то же имя пользователя и пароль для подключения к cassandra из обоих искровых заданий.

Answer 1

Я нашел решение. Проблема не имела ничего общего с Кассандрой. У моего Spark-кластера были очень ограниченные ресурсы. Все ресурсы были заняты моей потоковой работой. Когда я развернул свою пакетную работу, ресурсов не было выделено, и моя работа находилась в состоянии ожидания. Как только другая работа была выполнена, мое пакетное задание было выполнено.

Я изменил конфигурацию обоих моих искровых заданий, чтобы использовать только 1 ядро ​​и 1 ГБ ОЗУ для водителя/исполнителя. Теперь оба моих задания запускаются параллельно без каких-либо проблем. Оба задания используют одно и то же имя пользователя/пароль для подключения к Cassandra, а одно задание записывается в cassandra, а другое задание - из одного и того же пространства ключей.

фактор репликации для моего ключевого пространства равен 1.

Поскольку моя партия работа висит, я думал, что эта проблема должна быть с Кассандрой, потому что я читаю/пишу же пространство ключей. Это был мой первый раз, когда я взаимодействовал с cassandra, поэтому ....