Моя компания обрабатывает данные, поступающие от наших клиентов. Наши клиенты отправляют данные, нажимая их на сервер sftp, который мы поддерживаем. Наш код (в основном в Java, Scala и Node.js с небольшим количеством Python/shell) затем удаляет эти серверы в режиме только для чтения и выполняет кучу обработки данных после загрузки этих файлов.Внутренние шаблоны проектирования файлового сервера?
Мы разочарованы этой системой, потому что не только библиотеки Java не так хороши для выполнения sftp, но даже один из узлов не работает в Windows, что некоторые разработчики используют, поэтому у нас есть сценарии хакерской оболочки для синхронизации файлов с sftp.
Каковы хорошие архитектурные шаблоны для решения этой проблемы? Нам нужен безопасный внутренний файловый сервер, к которому легко можно получить хорошие агностические библиотеки OS, и у него есть хорошие инструменты для просмотра через просмотрщик файлов?
Имеет смысл для ваших клиентов использовать SFTP ... но зачем вам это нужно? Мы говорим о нескольких больших файлах? Миллионы небольших файлов? Серверы в одной стойке или разделены через Интернет? – Brad
Около 10^5 файлов теперь, каждый день добавляется около 10^3 файлов. Каждый файл довольно маленький - несколько килобайт в секунду. Но этот объем может расти. – pathikrit