Сколько узлов NUMA на процессоре Power8

Question

Я использую Ubuntu 15.04 на двух гнездах Power8, каждый разъем имеет 10 ядер. "numactl -H" выходы:

available: 4 nodes (0-3) 
node 0 cpus: 0 8 16 24 32 
node 0 size: 30359 MB 
node 0 free: 26501 MB 
node 1 cpus: 40 48 56 64 72 
node 1 size: 0 MB 
node 1 free: 0 MB 
node 2 cpus: 80 88 96 104 112 
node 2 size: 30425 MB 
node 2 free: 27884 MB 
node 3 cpus: 120 128 136 144 152 
node 3 size: 0 MB 
node 3 free: 0 MB 
node distances: 
node 0 1 2 3 
    0: 10 20 40 40 
    1: 20 10 40 40 
    2: 40 40 10 20 
    3: 40 40 20 10 

Проблема заключается в том, есть два NUMA узлов на каждом процессоре Power8? Любой, у кого есть память, а у другого нет ничего. Я не могу найти какой-либо документ об этом. Будем благодарны вам за любую информацию.

Еще один вопрос, если в соке есть два узла, то их общий уровень кэша разделяют, как NUMA-узлы (данные могут находиться во всех кэшах) или как в одном и том же сокете (может существовать только одна копия).

Answer 1

Системы масштабирования POWER8 используют двухканальные модули (DCM). Как следует из названия, DCM упаковывает два многоядерных чипа с некоторой дополнительной логикой в ​​пределах одного физического пакета. Существует встроенное в кеш-кеш-соединение 32 Гбит/с (ошибочно называемое шиной SMP) между двумя чипами и двумя отдельными путями к буферам внешней памяти, по одному для каждого чипа. Таким образом, каждый сокет представляет собой систему с двумя узлами NUMA, аналогичную, например, многомодульным AMD Opterons. В вашем случае вся локальная память для данного сокета, вероятно, устанавливается только в слоты, принадлежащие первому чипу этого сокета, поэтому второй домен NUMA отображается как 0 МБ.

Как межсетевые шины (X-bus), так и межпакетные (шина) являются кэш-когерентными, то есть кэши L3 синхронизируются. Внутри многоядерного чипа каждое ядро ​​напрямую связано с областью кэша L3, а через межсоединение микросхем имеет доступ ко всем другим кэшам L3 одного и того же чипа, то есть к NUCA (неравномерной архитектуре кэша).

Для получения дополнительной информации см. Логическую схему системы S824 в this Redpaper.