DataProc MapReduce перестает работать

Question

Я запускаю стандартный класс hbase для подсчета строк (RowCounter) в таблице BigTable. Используется DataProc gui в Google Консоли. Это сработало хорошо, но через несколько недель я попытался запустить аналогичную банку, и работа завершилась неудачей из-за едва объяснимой причины. Это не похоже на проблему с параметром подключения, потому что, если я использую существующее имя таблицы Hbase, оно это понимает.

Результаты аналогичны для клиентов 1.1.2 и 1.0.1.1 Hbase. 1.0.1.1 - пример. Я обнаружил, что версия 1.1.2 используется кластером, который устанавливается bdutils.

6/02/08 14:35:34 INFO mapreduce.Job: map 100% reduce 0% 
16/02/08 14:35:34 INFO mapreduce.Job: Task Id : attempt_1454940934781_0001_m_000000_0, Status : FAILED 
Error: java.io.IOException: Cannot create a record reader because of a previous error. Please look at the previous logs lines from the task's full log for more details. 
    at org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.createRecordReader(TableInputFormatBase.java:174) 
    at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.<init>(MapTask.java:515) 
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:758) 
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341) 
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at javax.security.auth.Subject.doAs(Subject.java:422) 
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657) 
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158) 
Caused by: java.lang.IllegalStateException: The input format instance has not been properly initialized. Ensure you call initializeTable either in your constructor or initialize method 
    at org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.getTable(TableInputFormatBase.java:585) 
    at org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.createRecordReader(TableInputFormatBase.java:169) 
    ... 8 more 

Answer 1

В кластерах Dataproc, созданных до того, как ~ в настоящее время активированы еженедельные обновления для JVM auto. Одно из этих обновлений нарушило совместимость с баком ALPN-boot, используемым библиотекой клиентов Bigtable.

Завершена свертка, которая обновит версии JVM по умолчанию и банку ALPN, чтобы снова быть совместимыми. Чтобы использовать фиксированные изображения, вам нужно запустить новый кластер.

Если вам необходимо выполнить исправление на месте, вы можете обновить копию ALPN-boot.jar на всех узлах вашего кластера, который находится в каталоге/usr/local/share/google/alpn. См. Эту таблицу для совместимости версий http://www.eclipse.org/jetty/documentation/current/alpn-chapter.html#alpn-versions