Извлечение данных с использованием шаблона набора файлов U-SQL при бесшумном переключателе является истинным

Question

Я хочу извлечь данные из нескольких файлов, поэтому я использую шаблон набора файлов, для которого требуется один виртуальный столбец. Из-за некоторых проблем в моих данных я также требую тихого переключения, но я не могу обрабатывать свои данные. Похоже, когда я использую виртуальный столбец с тихим переключателем, он не извлекает ни одной строки.

@drivers = 
EXTRACT name string, 
     age string, 
     origin string 
FROM "/input/{origin:*}file.csv" 
USING Extractors.Csv(silent:true); 

Обратите внимание, что я могу извлечь данные из одного файла, удалив виртуальный столбец. Есть ли решение этой проблемы?

Answer 1

Прежде всего вам не нужно указывать подстановочный знак (и выставлять виртуальный столбец), если вы не планируете ссылаться на значение. Хотя мы рекомендуем вам убедиться, что вы не обрабатываете слишком много файлов с помощью этого шаблона, лучше всего использовать виртуальный столбец в качестве фильтра, чтобы ограничить количество файлов до нескольких тысяч прямо сейчас, пока мы не улучшим реализацию для работы на большее количество файлов.

Я предполагаю, что хотя бы один файл содержит несколько строк с двумя столбцами? Если это так, я думаю, вы нашли ошибку. Не могли бы вы отправить мне простой реестр (один файл, который работает, и дополнительный файл, где он перестает работать, и сценарий) на мой адрес электронной почты, чтобы я мог его загрузить, и мы можем его исследовать?

Спасибо!