2015-07-30 11 views
0

бегаю пакетное задание на вычислительную систему с высокой производительностью для сортировки выровнен чтения и используется GNU параллельно, чтобы ускорить свою работу, но моя работа не удалось по следующей причине:

parallel: Error: Output is incomplete. Cannot append to buffer file in $TMPDIR. Is the disk full? parallel: Error: Change $TMPDIR with --tmpdir or use --compress.

Моя работа сценарий выглядит следующим образом:

module load samtools/1.2 

export TMPDIR=/scratch/$SLURM_JOBID 

cd /data 
ls *sam* | parallel "samtools sort –T /scratch/$SLURM_JOBID/{.} -O bam -o {}.bam {}" 

кто-нибудь знает, как решить эту проблему?

ответ

1

Вы пробовали то, что предлагает GNU Parallel?

parallel: Error: Change $TMPDIR with --tmpdir or use --compress. 
+0

Я уже пробовал: ls * sam * | parallel --compress --tmpdir/scratch/$ SLURM_JOBID "samtools sort -T/scratch/$ SLURM_JOBID/{.} -O bam -o {} .bam {}" Но это все еще не работает. – lisa

+0

Но есть/scratch/$ SLURM_JOBID достаточно большой для этого? Можете ли вы использовать другой каталог, где есть больше свободного места? GNU Parallel пытается сказать вам, что свободное пространство слишком мало. –

+0

Я выделил 500 ГБ для/scratch/$ SLURM_JOBID. Как вы думаете, мой код для изменения и установки $ TMPDIR верен или нет? экспорт TMPDIR =/царапина/$ SLURM_JOBID ls * sam * | parallel --compress --tmpdir/scratch/$ SLURM_JOBID "samtools sort -T/scratch/$ SLURM_JOBID/{.} -O bam -o {} .bam {}" – lisa

0

я получаю то же сообщение «параллельно: Ошибка: Изменение $ TMPDIR с --tmpdir или использовать --compress»

Я пытаюсь добавить "--tmpdir/дома/MyDirectory" сценарию, но когда я вижу, что файл «/ home/mydirectory /» ничего не создает, я вижу каталог по умолчанию «/ tmp /», и временные файлы (например,/tmp/pAh6uWuQCg,/tmp/opjhZCzAX4 и т. д.) все еще созданы в этом каталоге. Для меня это означает, что параметр «--tmpdir/home/mydirectory» в скрипте не работает.

В моем случае я запустить сценарий моего приложения изолированного и проверить журналы, и понимаю, что мое приложение было с ошибкой, потому что в журналах отображаются сообщениями об ошибках, и это было заполнить файл «/ TMP /»

Возможно, мой опыт поможет вам

 Смежные вопросы

  • Нет связанных вопросов^_^