titan-hbase-solr graph load gremlin-server java.lang.OutOfMemoryError: превышен верхний предел GC

Мы пытаемся создать огромный тираж (около 100 000 вершин) в титане, используя удаленное соединение сервера gremlin. Мы выполнили код примера, доступный в https://github.com/pluradj/titan-tp3-driver-example, для создания удаленного подключения к титану через сервер gremlin. Мы можем создавать индексы, вершины, ребра запрашивать простые графики, созданные без каких-либо проблем;titan-hbase-solr graph load gremlin-server java.lang.OutOfMemoryError: превышен верхний предел GC

Однако, когда мы пытаемся создать огромный график с помощью генератора (он создает вершины и ребра непосредственно на сервере с помощью удаленного подключения установленного), мы получаем следующее сообщение об ошибке:

6041316 [gremlin-server-exec-6] WARN org.apache.tinkerpop.gremlin.server.op.AbstractEvalOpProcessor - Exception processing a script on request [RequestMessage{, requestId=81f949ad-0e37-4293-bcaa-0714cb159c3b, op='eval', processor='', args={gremlin=g.V().has('idObj', 'OC97').next().addEdge('OC_LC', g.V().has('idObj', 'LC9643').next()), batchSize=64}}]. 
java.lang.OutOfMemoryError: GC overhead limit exceeded 
    at org.codehaus.groovy.reflection.CachedClass$3.initValue(CachedClass.java:106) 
    at org.codehaus.groovy.reflection.CachedClass$3.initValue(CachedClass.java:84) 
    at org.codehaus.groovy.util.LazyReference.getLocked(LazyReference.java:49) 
    at org.codehaus.groovy.util.LazyReference.get(LazyReference.java:36) 
    at org.codehaus.groovy.reflection.CachedClass.getMethods(CachedClass.java:260) 
    at groovy.lang.MetaClassImpl.addInterfaceMethods(MetaClassImpl.java:419) 
    at groovy.lang.MetaClassImpl.fillMethodIndex(MetaClassImpl.java:342) 
    at groovy.lang.MetaClassImpl.initialize(MetaClassImpl.java:3264) 
    at org.codehaus.groovy.reflection.ClassInfo.getMetaClassUnderLock(ClassInfo.java:254) 
    at org.codehaus.groovy.reflection.ClassInfo.getMetaClass(ClassInfo.java:285) 
    at org.codehaus.groovy.reflection.ClassInfo.getMetaClass(ClassInfo.java:295) 
    at org.codehaus.groovy.runtime.metaclass.MetaClassRegistryImpl.getMetaClass(MetaClassRegistryImpl.java:261) 
    at org.codehaus.groovy.runtime.InvokerHelper.getMetaClass(InvokerHelper.java:873) 
    at org.codehaus.groovy.runtime.callsite.CallSiteArray.createPojoSite(CallSiteArray.java:125) 
    at org.codehaus.groovy.runtime.callsite.CallSiteArray.createCallSite(CallSiteArray.java:166) 
    at org.codehaus.groovy.runtime.callsite.CallSiteArray.defaultCall(CallSiteArray.java:48) 
    at org.codehaus.groovy.runtime.callsite.AbstractCallSite.call(AbstractCallSite.java:113) 
    at org.codehaus.groovy.runtime.callsite.AbstractCallSite.call(AbstractCallSite.java:133) 
    at Script72559.run(Script72559.groovy:1) 
    at org.apache.tinkerpop.gremlin.groovy.jsr223.GremlinGroovyScriptEngine.eval(GremlinGroovyScriptEngine.java:534) 
    at org.apache.tinkerpop.gremlin.groovy.jsr223.GremlinGroovyScriptEngine.eval(GremlinGroovyScriptEngine.java:374) 
    at javax.script.AbstractScriptEngine.eval(AbstractScriptEngine.java:233) 
    at org.apache.tinkerpop.gremlin.groovy.engine.ScriptEngines.eval(ScriptEngines.java:102) 
    at org.apache.tinkerpop.gremlin.groovy.engine.GremlinExecutor.lambda$eval$0(GremlinExecutor.java:258) 
    at org.apache.tinkerpop.gremlin.groovy.engine.GremlinExecutor$$Lambda$137/1500273035.call(Unknown Source) 
    at java.util.concurrent.FutureTask.run(FutureTask.java:266) 
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 
    at java.lang.Thread.run(Thread.java:745)

генерации графа быстро в начале и медленно замедляется, и обрывается около 31000 вершин, выкидывая указанную выше ошибку.

Мы попытались изменять параметры кэша по умолчанию, как показано ниже

cache.db-cache=true 
cache.db-cache-clean-wait=0 
cache.db-cache-time=10000 
cache.db-cache-size=0.1

Также мы попытались деактивация кэш, установив cache.db-кэш = ложь. Но ни один из шагов не сработал для нас.

#Our environment: 
CDH 5.7.1 
Titan 1.1.0-SNAPSHOT 
Solr 4.10.3 
HBase 1.2.0

Не могли бы вы направить нас, как преодолеть эту проблему?

источник

2017-01-09 bbary

Сколько элементов вы пытаетесь создать на одном коммите? Попробуйте выполнить меньшее количество вершин/ребер за раз, а не 100K за один снимок. –

Также убедитесь, что вы используете параметризованные скрипты http://tinkerpop.apache.org/docs/current/reference/#parameterized-scripts –

Проблема почти наверняка связана с параметризацией. –

Проблема забывал использовать параметризованных Сценарии http://tinkerpop.apache.org/docs/current/reference/#parameterized-scripts

Gremlin сервер кэширует все сценарии, которые передаются ему: использование параметризованных скриптов уменьшает кэширование, потому что только не общие скрипты кэшируются (ГВ (х))

Не с помощью параметризованных сценариев и использовать вместо string.Format, например (как мы это делали) следует кэшировать все скрипты Gremlin отдельно, что очень дорого и вызывает OutOfMemoryError

Я надеюсь, это поможет кому-то;)

источник

2017-01-09 17:35:40 bbary

titan-hbase-solr graph load gremlin-server java.lang.OutOfMemoryError: превышен верхний предел GC

ответ

Смежные вопросы