Экспортированный файл TSV имеет пробелы между каждым символом при использовании текстового процессора (Perl CSV или find/findstr DOS)

Question

У меня есть файл TSV, экспортированный из приложения (веб-проигрыватель Spotfire с использованием Internet Explorer). При просмотре этого файла в Notepad ++ или в блокноте все выглядит хорошо (PFA - моментальный снимок).

Но если я введу файл в Perl на основе CSV Parser (фактически TSV) или просто использую команды find/findstr MS-DOS, каждый символ на самом деле появляется с пробелом.

Я пытаюсь исключить несколько строк (в зависимости от конкретных дат), но из-за этой проблемы я не могу этого сделать.

Answer 1

Ваш файл закодирован Unicode. (Notepad ++ показывает его как «UCS-2 Little Endian» в строке состояния.) Вам нужно сказать Perl, что такое кодировка и декодировать данные во время чтения из файла.

use Encode qw(decode); 
# read from file into $octets... 
my $chars = decode('UCS-2LE', $octets, Encode::FB_CROAK);