Где Samza на YARN размещает свои государственные магазины KV?

Question

Мне нужно найти, где Самза на YARN размещает свои государственные магазины KV. Я подозреваю, что это в локальном каталоге приложений YARN как все приложения YARN, но я считаю, что он настраивается, поскольку я сделал это несколько месяцев назад (сопоставленная папка в память) в другой среде, но не помню сейчас.

Для того чтобы это было возможно, мне нужно иметь возможность отделить хранилища samza KV от других данных приложения YARN других приложений.

Answer 1

Вот решение. Он был напечатан на выходе журнала Samza:

[WARN] Не было переопределено для зарегистрированного каталога базы данных магазина. Этот отключает повторное использование локального состояния при перезапуске приложения. Если вы хотите включить эту функцию, установите LOGGED_STORE_BASE_DIR в качестве переменной среды во всех машинах, работающих под управлением контейнером Samza

LOGGED_STORE_BASE_DIR может быть установлен как часть запуска NodeManager. Например:

# Typical environment setup. 
export JAVA_HOME=... 
export YARN_CONF_DIR=... 
export YARN_LOG_DIR=... 
export HADOOP_LOG_DIR=... 
export YARN_MASTER=... 
export YARN_PID_DIR=... 
export YARN_IDENT_STRING=... 
export YARN_NICENESS=... 
export YARN_OPTS="-XX:+UseG1GC -XX:ErrorFile=logs/hs_err.log -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -XX:ErrorFile=logs/hs_err.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -Xloggc:logs/gc.log" 

# Location of samza-kv stores for host affinity (should be on an SSD). 
export LOGGED_STORE_BASE_DIR="/mnt/myssd/samza/logged-stores" 

# Startup the Yarn NodeManager 
./yarn-daemon.sh" --config "$YARN_CONF_DIR" nodemanager 

Answer 2

Путь магазина настраивается только в том случае, если в магазине есть изменения.

Расположение магазина управляется переменной среды LOGGED_STORE_BASE_DIR

Более подробная информация представлена ​​здесь: http://samza.apache.org/learn/documentation/0.11/yarn/yarn-host-affinity.html