Спасибо за прекрасный инструмент для трубопроводов!snakemake LSF выпуски
У меня есть конвейер, который отлично работает в командной строке (snakemake -l --snakefile snakemake_example/sankefile_test9.txt). Я хотел бы иметь возможность использовать его в кластере. Конвейер принимает образцы (указанные в файле конфигурации) и выполняет несколько этапов обработки - это конвейер rna-seq. Я попытался представить кластер, используя эти два параметра: 1. snakemake --snakefile sankefile_test9_config.txt --jobs 999 --cluster 'bsub -q bio -R "rusage [mem = 4000]"' 2.snakemake --snakefile sankefile_test9_config.txt --cluster 'bsub -q био' -j
Provided cluster nodes: 48
Job counts:
count jobs
1 all
2 collate_barcodes
2 correct_counts
2 count_reads
2 dedup_counts
2 extract_gz_samples
2 mark_duplicaticates
2 move_bc
2 run_cutadapt
2 star_mapping
19
rule extract_gz_samples:
input: cluster_fastq/Zelzer_M_Spindle_M_1.R1.fastq.gz, cluster_fastq/Zelzer_M_Spindle_M_1.R2.fastq.gz
output: cluster_fastq/Zelzer_M_Spindle_M_1.R1.fastq, cluster_fastq/Zelzer_M_Spindle_M_1.R2.fastq
wildcards: sample=cluster_fastq/Zelzer_M_Spindle_M_1
Memory reservation is (MB): 2048
Memory Limit is (MB): 2048
rule extract_gz_samples:
input: cluster_fastq/WT_M_DT_T_393.R1.fastq.gz, cluster_fastq/WT_M_DT_T_393.R2.fastq.gz
output: cluster_fastq/WT_M_DT_T_393.R1.fastq, cluster_fastq/WT_M_DT_T_393.R2.fastq
wildcards: sample=cluster_fastq/WT_M_DT_T_393
Memory reservation is (MB): 2048
Memory Limit is (MB): 2048
Waiting at most 5 seconds for missing files.
Exception in thread Thread-1:
Traceback (most recent call last):
File "/apps/RH6U4/python/3.5.2/lib/python3.5/site-packages/snakemake/dag.py", line 257, in check_and_touch_output
wait_for_files(expanded_output, latency_wait=wait)
File "/apps/RH6U4/python/3.5.2/lib/python3.5/site-packages/snakemake/io.py", line 341, in wait_for_files
latency_wait, "\n".join(get_missing())))
OSError: Missing files after 5 seconds:
cluster_fastq/Zelzer_M_Spindle_M_1.R1.fastq
cluster_fastq/Zelzer_M_Spindle_M_1.R2.fastq
Во время обработки вышеуказанного исключения, другое исключение произошло:
Traceback (самый последний вызов последнего):
Файл «/ Apps /RH6U4/python/3.5.2/lib/python3.5/threading.py ", строка 914, в _bootstrap_inner
self.run()
Файл" /apps/RH6U4/python/3.5.2/l ib/python3.5/threading.py ", строка 862, в запуске self._target (* self._args, ** self._kwargs)
Файл" /apps/RH6U4/python/3.5.2/lib/python3 .5/site-packages/snakemake/executors.py ", строка 517, в _wait_for_jobs self.finish_job (active_job.job)
Файл« /apps/RH6U4/python/3.5.2/lib/python3.5/site -packages/snakemake/executors.py ", строка 426, in finish_job
super(). finish_job (job, upload_remote = False) Файл« /apps/RH6U4/python/3.5.2/lib/python3.5/site -packages/snakemake/executors.py ", строка 153, in finish_job
super(). finish_job (job, upload_remote = upload_remote) Файл« /apps/RH6U4/python/3.5.2/lib/python3.5/site -packages/snakemake/исполнители. py ", строка 111, in finish_job
self.dag.check_and_touch_output (job, wait = self.latency_wait)
Файл« /apps/RH6U4/python/3.5.2/lib/python3.5/site-packages/snakemake /dag.py», строка 259, в check_and_touch_output
рейза MissingOutputException (ул (е), правило = job.rule)
snakemake.exceptions.MissingOutputException: Отсутствующие файлы через 5 секунд:
cluster_fastq/Zelzer_M_Spindle_M_1.R1.fastq
cluster_fastq/Zelzer_M_Spindle_M_1.R2.fastq
^C^H^CTerminating процессы по запросу пользователя.
Выйдет после завершения текущих рабочих заданий.
Удаления выходных файлов неудачного extract_gz_samples заданий, так как они могут быть испорчены:
cluster_fastq/Zelzer_M_Spindle_M_1.R1.fastq, cluster_fastq/Zelzer_M_Spindle_M_1.R2.fastq
Удаление выходных файлов неудачного extract_gz_samples заданий, так как они могут быть повреждены:
cluster_fastq /WT_M_DT_T_393.R1.fastq, cluster_fastq/WT_M_DT_T_393.R2.fastq
В этот момент программа, кажется, застревает (см.^C^H^C, мой перерыв) - и если я проверю задания (в другой сеанс) с использованием bjobs, в очереди нет заданий.
Буду признателен за ваш совет.
Спасибо большое,
N
Вы попробовали работать с --dryrun? – Andreas
Может быть проблема с задержкой: попробуйте использовать «-latency-wait 100» в командной строке –