Удаление строк с более чем 30% строчными буквами

Question

Я пытаюсь обрабатывать некоторые данные, но я не могу найти рабочее решение для своей проблемы. У меня есть файл, который выглядит как:

>ram 
cacacacacacacacacatatacacatacacatacacacacacacacacacacacacaca 
cacacacacacacaca 
>pam 
GAATGTCAAAAAAAAAAAAAAAAActctctct 
>sam 
AATTGGCCAATTGGCAATTCCGGAATTCaattggccaattccggaattccaattccgg 

and many lines more.... 

Я хочу, чтобы отфильтровать все строки и соответствующие заголовки (заголовок начинается с>), где строка последовательности (те, которые не начинаются с>) является содержащими 30 или более процентами строчные буквы. И последовательности строк могут охватывать несколько строк.

Таким образом, после команды ху вывод должен выглядеть следующим образом:

>pam 
GAATGTCAAAAAAAAAAAAAAAAActctctct 

Я пробовал некоторые микс из цикла в то время как для чтения входного файла, а затем работать с AWK, Grep, СЭД, но не было хорошим результатом.

Answer 1

Или:

awk '{n=length(gensub(/[A-Z]/,"","g"));if(NF && n/length*100 < 30)print a $0;a=RT}' RS='>[a-z]+\n' file 

1. RS='>[a-z]+\n' - Устанавливает разделитель в строке, содержащей «> 'и название

2. RT - это значение устанавливается, что подобрано RS выше

3. a=RT - сохранить предыдущее значение RT

4. n=length(gensub(/[A-Z]/,"","g")); - получить длину нижнего случае обугливается

5. if(NF && n/length*100 < 30)print a $0; - проверить у нас есть значение и что процент меньше 30 для символов нижнего регистра

Answer 2

Вот одна идея, которая устанавливает разделитель записей в «>», чтобы обрабатывать каждый заголовок с его строками последовательности в виде одной записи.

Поскольку ввод начинается с символа «>», который вызывает начальную пустую запись, мы берем вычисление с помощью NR > 1 (номер записи больше одного).

Чтобы подсчитать количество символов, мы добавляем длины всех строк после заголовка. Чтобы подсчитать количество символов в нижнем регистре, мы сохраняем строку в другой переменной и используем gsub для замены всех строчных букв ничем --- только потому, что gsub возвращает количество сделанных замещений, что является удобным способом подсчета их.

Наконец, мы проверяем соотношение и печатаем или нет (добавление начального «>» при печати).

BEGIN { RS = ">" } 

NR > 1 { 
    total_cnt = 0 
    lower_cnt = 0 
    for (i=2; i<=NF; ++i) { 
     total_cnt += length($i) 
     s = $i 
     lower_cnt += gsub(/[a-z]/, "", s) 
    } 
    ratio = lower_cnt/total_cnt 
    if (ratio < 0.3) print ">"$0 
} 


$ awk -f seq.awk seq.txt 
>pam 
GAATGTCAAAAAAAAAAAAAAAAActctctct 

Answer 3

awk '/^>/{b=B;gsub(/[A-]/,"",b); 
      if(length(b) < length(B) * 0.3) print H "\n" B 
      H=$0;B="";next} 

    {B=((B != "") ? B "\n" : "") $0} 

    END{ b=B;gsub(/[A-]/,"",b); 
      if(length(b) < length(B) * 0.3) print H "\n" B 
     }' YourFile 

быстро Qnd грязный, функция люкс лучше потребность для печати

Answer 4

В настоящее время я не буду использовать sed или awk больше ни на что большее, чем на 2 линии.

#! /usr/bin/perl 
use strict;        # Force variable declaration. 
use warnings;        # Warn about dangerous language use. 

sub filter         # Declare a sub-routing, a function called `filter`. 
{ 
    my ($header, $body) = @_;    # Give the first two function arguments the names header and body. 
    my $lower = $body =~ tr/a-z//;   # Count the translation of the characters a-z to nothing. 
    print $header, $body, "\n"    # Print header, body and newline, 
    unless $lower/length ($body) > 0.3; # unless lower characters have more than 30%. 
} 

my ($header, $body);      # Declare two variables for header and body. 
while (<>) {        # Loop over all lines from stdin or a file given in the command line. 
    if (/^>/) {        # If the line starts with >, 
    filter ($header, $body)    # call filter with header and body, 
     if defined $header;     # if header is defined, which is not the case at the beginning of the file. 
    ($header, $body) = ($_, '');   # Assign the current line to header and an empty string to body. 
    } else { 
    chomp;         # Remove the newline at the end of the line. 
    $body .= $_;       # Append the line to body. 
    } 
} 
filter ($header, $body);     # Filter the last record.