Можно ли настроить jvm для того, чтобы быть внимательным и делиться вычислительными ресурсами (ЦП и ОЗУ) с другими процессами?

Question

Я запускаю существующие программы, написанные на Java или Scala. Эти программы написаны разными авторами и служат совершенно другим целям, поэтому интеграция их в одну мега-программу не представляется возможной. Когда какая-либо из этих java-программ запускается на узле со многими ядрами (например, 32) и большой ОЗУ (например, 200G), каждый пытается взять как можно больше ресурсов в той мере, в какой узел замедляется и не может быть полезным вычислением делается. Например, запуск 32 экземпляров Beagle на разных наборах данных приводит к 32 jvms, каждый из которых пытается использовать 32 ядра и большую часть памяти. (Beagle не настроен для явной многопоточности с nthreads=1 как по умолчанию.)

Так как я могу настроить JVM вести себя как традиционные программы, которая использует только как много памяти и процессор, как это действительно нужно ...

Мне известны следующие флаги, но есть ли какие-либо другие флаги? -Xmx limits maximum memory -XX:+UseSerialGC disables multithreaded garbage collection

Может ли jvm быть однопоточным?

Кроме того, достаточно легкие java-программы стараются использовать по меньшей мере 30 ГБ ОЗУ на узле с 200 ГБ ОЗУ, когда им действительно нужно только < 1G ОЗУ. Я установил -Xmx1G, и эти программы выполнялись без ошибок или заметной деградации производительности; Фактически, время запуска было намного быстрее.

Есть ли более элегантное решение, чем установка жесткого верхнего предела памяти? Если я установил -Xmx слишком низко, программа выйдет из строя. Если я установил его слишком высоко, ресурсы будут потрачены впустую. Работая с программами, написанными на C++, написанными осторожными авторами, мне не нужно настраивать эти вещи. Использование памяти программ на C++ обычно масштабируется с учетом размера входных данных.

Почему jvm не может использовать столько, сколько ему нужно по умолчанию?

Помимо nice и ulimit, есть ли лучшие решения?

nice +10 java может столкнуться с проблемами при запуске новых процессов с более высоким приоритетом. ulimit java может вызывать jvm для подгонки.

Я работаю в среде без доступа к корню. Я не работаю на сервере Linux, а не на Android.

Answer 1

-XX:-UseSerialGC

что отключает серийный GC, который является противоположностью того, что вы хотите.

Я работаю в среде без доступа к корню.

Если ядро ​​скомпилировано с пользовательскими пространствами имен можно использовать unshare ввести новое пространство имен пользователя, а затем использовать контрольные группы в пределах этого пространства имен, чтобы ограничить ресурсы.

Answer 2

Может ли jvm быть однопоточным?

Нет, когда он может работать одновременно. Вы можете использовать набор задач, чтобы ограничить JCVM только одним байтом процессора, он будет работать довольно плохо, если вы это сделаете, поскольку для этого требуется больше одного процессора.

Есть ли более элегантное решение, чем установка жесткого верхнего предела памяти?

Я попытался бы определить, что вы имеете в виду под этим.

Почему я не могу использовать jvm столько, сколько вам нужно?

Он использует столько CPU и памяти, сколько ему нужно.

хороший +10 Java может столкнуться с проблемами, когда новые процессы постоянно запускаются

Запуск новых JVMs может создать гораздо больше накладных расходов, чем пользы. Я хотел бы запустить JVM как можно меньше, если вы хотите сохранить CPU.