ошибка Google Cloud Bigtable StatusRuntimeException при сканировании всех строк таблицы

Question

Я пытаюсь сканировать все строки (~ 1.3M строк) из таблицы Google BigTable, используя API Java, однако я получаю следующее сообщение об ошибке:

Error while reading table 'projects/firm-link-147413/instances/some-bigger-table/tables/media-location-demo' : Response was not consumed in time; terminating connection. (Possible causes: row size > 256MB, slow client data read, and network problems) 

Размер всего набора данных составляет около 2 ГБ, а размер отдельных рядов очень мал (< 100k). Сетевое соединение отлично подходит как для загрузки, так и для загрузки. Клиент имеет возможность читать данные (у меня есть аналогичный код, который выполняется при загрузке, и он отлично работает).

Благодарим за помощь!

Вся ошибка:

com.google.cloud.bigtable.grpc.io.IOExceptionWithStatus: Ошибка в поток ответа на com.google.cloud.bigtable.grpc.scanner.ResultQueueEntry $ ExceptionResultQueueEntry.getResponseOrThrow (ResultQueueEntry.java:88) ~ [bigtable-hbase-1.2-0.9.3.jar! /: Na] at com.google.cloud.bigtable.grpc.scanner.ResponseQueueReader.getNextMergedRow (ResponseQueueReader.java:95) ~ [bigtable-hbase-1.2-0.9.3.jar! /: na] at com.google.cloud.bigtable.grpc.scanner.StreamingBigtableResultScanner.next (StreamingBigtableResultScanner.java:60) ~ [bigtable-hbase-1.2-0.9 .3.jar! /: Na] at com.google.cloud.bigtable.grpc.scanner.StreamingBigt (Runtum). [...] [:]:: at com.google.cloud.bigtable.grpc.scanner.ResumingStreamingResultScanner.next (ResumingStreamingResultScanner.java: 89) [bigtable-hbase-1.2-0.9.3.jar! /: Na] at com.google.cloud.bigtable.grpc.scanner.ResumingStreamingResultScanner.next (ResumingStreamingResultScanner.java:35) [bigtable-hbase-1.2- 0.9.3.jar! /: Na] at com.google.cloud.bigtable.hbase.adapters.read.BigtableResultScannerAdapter $ 1.next (BigtableResultScannerAdapter.java:58) [bigtable-hbase-1.2-0.9.3.jar! /: na] at org.apache.hadoop.hbase.client.AbstractClientScanner $ 1.hasNext (AbstractClientScanner.java:94) [hbase-client-1.2.1.jar! /: 1.2.1] at com.shutterfly. corp.migrator.locspec.service.BigTableConnector.scanAllRows (BigTableConnector.java:157) [classes! /: 0.0.1-SNAPSHOT] at com.shutterfly.corp.migrator.locspec.service.MediaIALookupMigrator.verifyMigratedData (MediaIALookupMigrator.java:86) [classes! /: 0.0.1-SNAPSHOT] at com.shutterfly.corp.migrator.locspec.LocspecMigratorApplication.main (LocspecMigratorApplication.java:21) [classes! /: 0.0.1-SNAPSHOT] at sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) ~ [na: 1.8.0_102] at sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl .java: 62) ~ [na: 1.8.0_102] at sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) ~ [na: 1.8.0_102] at java.lang.reflect.Method.invoke (метод .java: 498) ~ [na: 1.8.0_102] at org.springframework.boot.loader.MainMethodRunner.run (MainMethodRunner.java:48) [locspec-migrator-0.0.1-SNAPSHOT.jar: 0.0.1- SNAPSHOT] at org.springframework.boot.loader.Launcher.launch (Launcher.java:87) [locspec-migrator-0.0.1-SNAPSHOT.jar: 0.0.1-SNAPSHOT] по адресу org.springframework.boot.loader.Launcher .launch (Launcher.java:50) [locspec-migrator-0.0.1-SNAPSHOT.jar: 0.0.1-SNAPSHOT] at org.springframework.boot.loader.JarLauncher.main (JarLauncher.java:58) [locspec -migrator-0.0.1-SNAPSHOT.jar: 0.0.1-SNAPSHOT] Вызвано: com.google.bigtable.repackaged.io.grpc.StatusRuntimeException: DEADLINE_EXCEEDED: Ошибка при чтении таблицы 'projects/firm-link-147413/экземпляры/some-large-table/tables/media-location-demo ': ответ не был использован вовремя; завершающее соединение. (Возможные причины: размер строки> 256 МБ, чтение медленных клиентских данных и проблемы с сетью) по адресу com.google.bigtable.repackaged.io.grpc.Status.asRuntimeException (Status.java:536) ~ [bigtable-hbase-1.2- 0.9.3.jar! /: Na] at com.google.cloud.bigtable.grpc.scanner.StreamObserverAdapter.onClose (StreamObserverAdapter.java:61) ~ [bigtable-hbase-1.2-0.9.3.jar! /: na] at com.google.cloud.bigtable.grpc.io.ChannelPool $ InstrumentedChannel $ 2.onClose (ChannelPool.java:201) ~ [bigtable-hbase-1.2-0.9.3.jar! /: Na] at com.google.bigtable.repackaged.io.grpc.internal.ClientCallImpl $ ClientStreamListenerImpl.close (ClientCallImpl.java:481) ~ [bigtable-hbase-1.2-0.9.3.jar! /: Na] at com.google.bigtable.repackaged.io.grpc.internal.ClientCallImpl $ ClientStreamListenerImpl.access $ 600 (ClientCallImpl. java: 398) ~ [bigtable-hbase-1.2-0.9.3.jar! /: na] at com.google.bigtable.repackaged.io.grpc.internal.ClientCallImpl $ ClientStreamListenerImpl $ 1StreamClosed.runInContext (ClientCallImpl.java: 513) ~ [bigtable-hbase-1.2-0.9.3.jar! /: Na] at com.google.bigtable.repackaged.io.grpc.internal.ContextRunnable.run (Con textRunnable.java:52) ~ [bigtable-hbase-1.2-0.9.3.jar! /: na] at com.google.bigtable.repackaged.io.grpc.internal.SerializingExecutor $ TaskRunner.run (SerializingExecutor.java: 154) ~ [bigtable-hbase-1.2-0.9.3.jar! /: Na] at java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1142) ~ [na: 1.8.0_102] в java. util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor.java:617) ~ [na: 1.8.0_102] at java.lang.Thread.run (Thread.java:745) ~ [na: 1.8.0_102]

Answer 1

Я смотрю на это. Это зависит от некоторых обстоятельств, которые уникальны для вашего использования, в частности, что вы работаете на разных континентах. Не могли бы вы опубликовать это на Google Groups? Любой разговор о дальнейшем руководстве может быть конфиденциальным, а не публичным, и Группы дают нам этот вариант.