MarkLogic: Ошибка при импорте файлов с использованием MLCP

Я попытался импортировать файлы с помощью насоса содержимого MarkLogic на сервере MarkLogic, работающем в рабочей среде, используя следующую команду.MarkLogic: Ошибка при импорте файлов с использованием MLCP

C:\Users\Admin\Desktop\mlcp-1.3-3\bin>mlcp.bat import -host localhost -port 8891 -username admin -password admin -mode local -input_file_type archive -input_file_path /d:/NewFolder/

Путь входного файла имеет двоичные и XML-файлы.

"D:\NewFolder\20150626200126+0800-000000-BINARY.zip" 
"D:\NewFolder\20150626200126+0800-000001-XML.zip"

Когда я попытался запустить команду импорта в командной строке. Я получил следующий ответ, с которым я не знаком.

15/06/29 16:53:11 INFO contentpump.ContentPump: Hadoop library version: 2.6.0 
15/06/29 16:53:11 INFO contentpump.LocalJobRunner: Content type: XML 
15/06/29 16:53:11 ERROR contentpump.ContentPump: Error running a ContentPump job 

java.lang.RuntimeException: Error while running command to get file permissions 
: ExitCodeException exitCode=-1073741515: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:538) 
    at org.apache.hadoop.util.Shell.run(Shell.java:455) 
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java: 
715) 
    at org.apache.hadoop.util.Shell.execCommand(Shell.java:808) 
    at org.apache.hadoop.util.Shell.execCommand(Shell.java:791) 
    at org.apache.hadoop.fs.FileUtil.execCommand(FileUtil.java:1097) 
    at org.apache.hadoop.fs.RawLocalFileSystem$DeprecatedRawLocalFileStatus. 
loadPermissionInfo(RawLocalFileSystem.java:582) 
    at org.apache.hadoop.fs.RawLocalFileSystem$DeprecatedRawLocalFileStatus. 
getPermission(RawLocalFileSystem.java:557) 
    at org.apache.hadoop.fs.LocatedFileStatus.<init>(LocatedFileStatus.java: 
42) 
    at org.apache.hadoop.fs.FileSystem$4.next(FileSystem.java:1699) 
    at org.apache.hadoop.fs.FileSystem$4.next(FileSystem.java:1681) 
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.singleThreadedL 
istStatus(FileInputFormat.java:303) 
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(File 
InputFormat.java:264) 
    at com.marklogic.contentpump.FileAndDirectoryInputFormat.getSplits(FileA 
ndDirectoryInputFormat.java:80) 
    at com.marklogic.contentpump.ArchiveInputFormat.getSplits(ArchiveInputFo 
rmat.java:56) 
    at com.marklogic.contentpump.LocalJobRunner.run(LocalJobRunner.java:128) 

    at com.marklogic.contentpump.ContentPump.runJobLocally(ContentPump.java: 
307) 
    at com.marklogic.contentpump.ContentPump.runCommand(ContentPump.java:204 
) 
    at com.marklogic.contentpump.ContentPump.main(ContentPump.java:67) 

    at org.apache.hadoop.fs.RawLocalFileSystem$DeprecatedRawLocalFileStatus. 
loadPermissionInfo(RawLocalFileSystem.java:620) 
    at org.apache.hadoop.fs.RawLocalFileSystem$DeprecatedRawLocalFileStatus. 
getPermission(RawLocalFileSystem.java:557) 
    at org.apache.hadoop.fs.LocatedFileStatus.<init>(LocatedFileStatus.java: 
42) 
    at org.apache.hadoop.fs.FileSystem$4.next(FileSystem.java:1699) 
    at org.apache.hadoop.fs.FileSystem$4.next(FileSystem.java:1681) 
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.singleThreadedL 
istStatus(FileInputFormat.java:303) 
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(File 
InputFormat.java:264) 
    at com.marklogic.contentpump.FileAndDirectoryInputFormat.getSplits(FileA 
ndDirectoryInputFormat.java:80) 
    at com.marklogic.contentpump.ArchiveInputFormat.getSplits(ArchiveInputFo 
rmat.java:56) 
    at com.marklogic.contentpump.LocalJobRunner.run(LocalJobRunner.java:128) 

    at com.marklogic.contentpump.ContentPump.runJobLocally(ContentPump.java: 
307) 
    at com.marklogic.contentpump.ContentPump.runCommand(ContentPump.java:204 
) 
    at com.marklogic.contentpump.ContentPump.main(ContentPump.java:67) 
java.lang.RuntimeException: Error while running command to get file  permissions 
: ExitCodeException exitCode=-1073741515: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:538) 
    at org.apache.hadoop.util.Shell.run(Shell.java:455) 
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java: 
715) 
    at org.apache.hadoop.util.Shell.execCommand(Shell.java:808) 
    at org.apache.hadoop.util.Shell.execCommand(Shell.java:791) 
    at org.apache.hadoop.fs.FileUtil.execCommand(FileUtil.java:1097) 
    at org.apache.hadoop.fs.RawLocalFileSystem$DeprecatedRawLocalFileStatus. 
loadPermissionInfo(RawLocalFileSystem.java:582) 
    at org.apache.hadoop.fs.RawLocalFileSystem$DeprecatedRawLocalFileStatus. 
getPermission(RawLocalFileSystem.java:557) 
    at org.apache.hadoop.fs.LocatedFileStatus.<init>(LocatedFileStatus.java: 
42) 
    at org.apache.hadoop.fs.FileSystem$4.next(FileSystem.java:1699) 
    at org.apache.hadoop.fs.FileSystem$4.next(FileSystem.java:1681) 
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.singleThreadedL 
istStatus(FileInputFormat.java:303) 
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(File 
InputFormat.java:264) 
    at com.marklogic.contentpump.FileAndDirectoryInputFormat.getSplits(FileA 
ndDirectoryInputFormat.java:80) 
    at com.marklogic.contentpump.ArchiveInputFormat.getSplits(ArchiveInputFo 
rmat.java:56) 
    at com.marklogic.contentpump.LocalJobRunner.run(LocalJobRunner.java:128) 

    at com.marklogic.contentpump.ContentPump.runJobLocally(ContentPump.java: 
307) 
    at com.marklogic.contentpump.ContentPump.runCommand(ContentPump.java:204 
) 
    at com.marklogic.contentpump.ContentPump.main(ContentPump.java:67) 

    at org.apache.hadoop.fs.RawLocalFileSystem$DeprecatedRawLocalFileStatus. 
loadPermissionInfo(RawLocalFileSystem.java:620) 
    at org.apache.hadoop.fs.RawLocalFileSystem$DeprecatedRawLocalFileStatus. 
getPermission(RawLocalFileSystem.java:557) 
    at org.apache.hadoop.fs.LocatedFileStatus.<init>(LocatedFileStatus.java: 
42) 
    at org.apache.hadoop.fs.FileSystem$4.next(FileSystem.java:1699) 
    at org.apache.hadoop.fs.FileSystem$4.next(FileSystem.java:1681) 
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.singleThreadedL 
istStatus(FileInputFormat.java:303) 
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(File 
InputFormat.java:264) 
    at com.marklogic.contentpump.FileAndDirectoryInputFormat.getSplits(FileA 
ndDirectoryInputFormat.java:80) 
    at com.marklogic.contentpump.ArchiveInputFormat.getSplits(ArchiveInputFo 
rmat.java:56) 
    at com.marklogic.contentpump.LocalJobRunner.run(LocalJobRunner.java:128) 

    at com.marklogic.contentpump.ContentPump.runJobLocally(ContentPump.java: 
307) 
    at com.marklogic.contentpump.ContentPump.runCommand(ContentPump.java:204 
) 
    at com.marklogic.contentpump.ContentPump.main(ContentPump.java:67)

Может ли кто-нибудь помочь мне по этому вопросу?

Спасибо.

источник

2015-06-29 Gowtham

«/ d:/NewFolder /» правильный? – sss4r

@ sss4r ya его правильная команда выше imort работает нормально, если я бегу от своего локального – Gowtham

А, ОК, просто проверяю - я только несколько раз использовал mlcp, и этот синтаксис выглядел незнакомым мне. – sss4r

сообщение об ошибке кажется похож на тот, перечисленные здесь: Hadoop error stalling job reduce process

Разрешение там было увеличение размера кучи. Добавить -Xmx512m в переменную среды, называемую JVM_OPTS ..

HTH!

источник

2015-06-30 19:13:46 grtjn

Являются ли входные документы результатом экспорта содержимого с использованием MLCP? Это, по-видимому, является целью архива -input_file_type. Если это не то, откуда пришли документы, попробуйте -input_file_type documents -input_compressed true.

источник

2015-07-17 11:06:00

Да, входные документы экспортируются с использованием MLCP, и у него есть как файлы, так и метаданные, и он экспортируется с другого сервера. – Gowtham

Является ли такая же версия MarkLogic в обеих средах? Какая версия? –

[В примере Windows MLCP] (https://docs.marklogic.com/guide/ingestion/content-pump#id_56922) в документах показано «-input_file_path C: \ space \ bill» - вы могли бы попробовать это вместо "-input_file_path/d:/NewFolder /"? «Ошибка при запуске команды для получения разрешений на файлы» предполагает, что MLCP испытывает проблемы с поиском или чтением входных файлов. –

Я столкнулся с этой же ошибкой при выполнении курса курса MarkLogic University XQuery II. vm, которые у них были доступны для курса, были очень медленными, поэтому я настраивал свою собственную виртуальную машину Windows 7 в Parallels.

Когда я побежал это из блока 6: mlcp.bat import -host localhost -port 8012 -username admin -password admin -input_file_path C:\mls-developer-2\socialmedia\content\enriched -mode local -input_file_pattern "disqus.*\.xml" -output_uri_replace "C:/mls-developer-2/socialmedia/content/enriched, 'socialmedia/disqus'"

Я получил ту же ошибку, которую вы видите ... Я попытался установить _JAVA_OPTIONS увеличить объем памяти, доступной для виртуальной машины Java, как некоторые должности предложили, но это было не эффект.

В конце концов я получил команду работать, изменяя его: «. Disqus * XML» mlcp.bat import -host localhost -port 8012 -username admin -password admin -input_file_path "C:\mls-developer-2\socialmedia\content\enriched\*.xml" -mode local -output_uri_replace "C:/mls-developer-2/socialmedia/content/enriched, 'socialmedia/disqus'"

Существовал что-то о input_file_pattern, что это не нравится. Не похоже, что это одно и то же в вашем случае, но я думал, что разместил здесь свою проблему для других.

источник

2015-12-03 20:16:35

MarkLogic: Ошибка при импорте файлов с использованием MLCP

ответ

Смежные вопросы