д текст как данные: Как исправить ошибки поле больше, чем предел поля

Question

Я пытаюсь суммировать столбец среднего размера файла данных (15M строк), но я получаю следующее сообщение об ошибке:

$> q -Ht 'select sum(value) from datafile.txt' 

Error('field larger than field limit (131072)' 

Мой поиск привел к ссылкам, предлагающим изменение размера поля по умолчанию в python-анализе csv.fieldsize(), однако после проверки с awk я проверил, что в моем файле нет больших полей.

Answer 1

никогда не забывайте: очистить ваши данные перед обработкой

я обнаружил, что мой файл данные полона названий продуктов с одинарными и двойными кавычками (одинарными кавычками для притяжательных имен, и в два раз, чтобы представить «дюймы» . Это приводит к тому, питону парсеру для чтения разделителя в виде буквенных символов в поле

ли это:.

sed s:\"::g data.txt > tmp ; sed s:\'::g tmp > data.txt 

Ужасные, ужасные одиночные/двойные кавычки в данных.