Какое лучшее решение для анализа файлов для преобразования файлов?

Question

Я ищу лучшее решение для пользовательского анализа файлов для наших процедур импорта предприятия. Я хочу в основном изменить один формат файла в стандартный формат файла и иметь одну подпрограмму, которая импортирует эти данные в базу данных. Мне нужно иметь возможность создавать собственные сценарии для каждого клиента, так как трудно заставить клиента соответствовать стандарту или шаблону. Я смотрел PowerShell и Iron Python, чтобы сделать это до сих пор, но я не уверен, что это маршрут, который я хочу. Я также рассмотрел некоторые инструменты, такие как Talend, который является инструментом стиля перетаскивания, который может или не может дать мне то, что я хочу, насколько гибкость. Мы являемся магазином .NET и создали собственный код для этого в прошлом, но мне нужно что-то, что быстрее создавать, а затем кодировать пользовательские функции синтаксического анализа каждый раз, когда мы получаем новый формат файла.

Answer 1

Python замечателен для этого Такие вещи. Вот почему мы используем. Каждая новая передача клиентов - это новое приключение, и Python дает нам гибкость для быстрого реагирования.

---

Редактировать. Все скрипты python, которые читают файлы, являются «настраиваемыми файловыми парсерами». Без фактического примера нецелесообразно приводить подробный пример.

with open("some file", "r") as source: 
    for line in source: 
     process(line) 

Это все, что касается «пользовательского парсера файлов». Если вы разбираете файлы .csv или .xml, у Python есть модули для этого. Если вы обрабатываете файлы фиксированного формата, вы должны использовать операции нарезания строк. Если вы разбираете другие файлы (X12? JSON? YAML?), Вам понадобятся соответствующие парсеры.

Tab-Delim.

from collections import namedtuple 
RecordLayout = namedtuple('RecordLayout',['field1','field2','field3',...]) 
def process(aLine): 
    record = RecordLayout(aLine.split('\t')) 
    ... 

Fixed Layout.

from collections import namedtuple 
RecordLayout = namedtuple('RecordLayout',['field1','field2','field3',...]) 
def process(aLine): 
    fields = (aLine[:10], aLine[10:20], aLine[20:30], ...) 
    record = RecordLayout(fields) 
    ... 

Answer 2

В зависимости от сложности и изменчивости вашей работы вы должны рассмотреть инструмент ETL, такой как SSIS (службы интеграции SQL Server).