Поиск замены uniq -c для больших файлов

Question

У меня есть большой файл (50 ГБ), и я могу рассчитать количество вхождений разных строк в нем. Обычно я хотел бы использовать

sort bigfile | uniq -c 

но файл достаточно велик, что сортировка требует непомерно много времени и памяти. Я мог бы сделать

grep -cfx 'one possible line' 

для каждой уникальной строки в файле, но это будет означать п проходит через файл для каждой возможной линии, которая (хотя и гораздо больше памяти дружественной) занимает даже больше, чем оригинал.

Любые идеи?

---

related question спрашивает о пути к найти уникальные строки в большой файл, но я искал способ подсчета число экземпляров каждого - я уже знаю, что это возможно линии.

Answer 1

Применение awk

awk '{c[$0]++} END {for (line in c) print c[line], line}' bigfile.txt 

Это О (п) во время, и вывод (уникальные линии) в пространстве.

Answer 2

#!/bin/bash 
# port this logic to awk or ksh93 to make it fast 

declare -A counts=() 
while IFS= read -r line; do 
    counts[$line]=$((counts[$line] + 1)) # increment counter 
done 

# print results 
for key in "${!counts[@]}"; do 
    count=${counts[$key]} 
    echo "Found $count instances of $key" 
done 

Answer 3

Решение проблемы с использованием jq 1.5. Это по сути то же самое, что и решение awk, как в подходах, так и в характеристиках производительности, но выход - объект JSON, представляющий хэш. (Программа может быть тривиальным образом изменена, чтобы производить выход в альтернативном формате.)

Призывание:

$ jq -nR 'reduce inputs as $line ({}; .[$line] += 1)' bigfile.txt 

Если bigfile.t состояла из этих линий:

a 
a 
b 
a 
c 

, то выход будет :

{ 
    "a": 3, 
    "b": 1, 
    "c": 1 
}