Ошибка чтения метаданных CTF для больших файлов в CNTK

Question

Я использую функцию чтения CTF после учебников CNTK в Github.

def create_reader(path, is_training, input_dim, label_dim): 
    return MinibatchSource(CTFDeserializer(path, StreamDefs(
     features = StreamDef(field='x', shape=input_dim, is_sparse=True), 
     labels = StreamDef(field='y', shape=label_dim, is_sparse=False) 
    )), randomize=is_training, epoch_size= INFINITELY_REPEAT if is_training else FULL_DATA_SWEEP) 

Это работает полностью нормально, за исключением случаев, когда размер входного файла больше определенного размера (неизвестно). Затем он выдает ошибку, как это:

WARNING: Sparse index value (269) at offset 8923303 in the input file (C:\local\CNTK-2-0-beta6-0-Windows-64bit-CPU-Only\cntk\Examples\common\data_pos_train_balanced_ctf.txt) exceeds the maximum expected value (268). 
attempt: Reached the maximum number of allowed errors while reading the input file (C:\local\CNTK-2-0-beta6-0-Windows-64bit-CPU-Only\cntk\Examples\common\data_pos_train_balanced_ctf.txt)., retrying 2-th time out of 5... 
. 
. 
. 

RuntimeError: Reached the maximum number of allowed errors while reading the input file (C:\local\CNTK-2-0-beta6-0-Windows-64bit-CPU-Only\cntk\Examples\common\data_pos_train_balanced_ctf.txt). 

я определил, что такого рода ошибки бросаются в файле TextParser.cpp https://github.com/Microsoft/CNTK/blob/5633e79febe1dc5147149af9190ad1944742328a/Source/Readers/CNTKTextFormatReader/TextParser.cpp

Что такое решение или работы вокруг этого?

Answer 1

Вы должны знать размерность вашего входа, а также знать, что индексы начинаются с 0. Таким образом, если вы создали файл аудиовходов свой словарный запас в диапазоне от 1 до 20000 размерность составляет 20001.