2017-02-08 7 views
1

Мне нужно сохранить некоторые данные, которые являются поплавковым номером и эпохой текущего времени (частота составляет 1 секунду, но может быть выше в будущем). Мне нужно делать это в течение длительных периодов времени, может быть, даже лет, а затем мне нужно получить к нему доступ по дате. Пример. Предположим, что я сохранил данные за 1 год. Теперь мне нужно знать значение этого числа с плавающей точкой, когда эпоха была X.Храните большой объем данных и обращайтесь к ним при необходимости

Моя первая мысль заключалась в том, чтобы разделить эти данные в каталогах, например Dir Year-2017, Month-02, Day-08. И мне было интересно, какой будет лучший подход. Какой язык больше подходит для такого рода вещей? В основном я использую и , но я могу кодировать и на других языках.

Я не ищу фрагменты кода напрямую (хотя, если вы хотите их поместить, они высоко ценятся), но где я могу научиться это делать?

+2

хранить данные в базе данных, такой как mySQL или sqlite3 –

+0

когда-либо слышал о базе данных? – WhatsThePoint

+0

Да, я слышал о базах данных. Мне было интересно, будет ли БД по-прежнему оптимальным выбором, учитывая, что я должен хранить 150 номеров каждую секунду, и частота может быть выше в будущем, и если мне придется хранить 1000 номеров каждую секунду, БД все еще будет лучший выбор, учитывая, что это может продолжаться годами? – HeyOh

ответ

1

Простым способом сделать это будет хранение данных в базе данных, например SQL, с каждой записью, содержащей ваш флоат, ваш номер эпохи и любые другие метаданные, которые вы хотите включить.

sqlite3 - это простой API-интерфейс python для создания и добавления в базы данных. много загрузок учебников онлайн;)

+0

Хорошо, даже если мне нужно хранить больше номеров? Я имею в виду, что у меня есть поток из 150 номеров для хранения каждую секунду (и мне может потребоваться сохранить его на более высокой частоте в будущем), в течение всего дня, и это будет продолжаться годами, не будет ли DB слишком длинным ? – HeyOh

+0

Нет, все будет хорошо. Вы можете, конечно, структурировать базу данных определенным образом, что одна запись относится к одному дню? один час? В структуре используется эффективность и элегантность базы данных, но в зависимости от того, кого вы хотите использовать, вы должны хорошо ее проектировать. если вы собираетесь хранить все эти цифры, они так или иначе станут «длинными»? – JB1

+0

Вы также можете посмотреть Apache Hive, но снова его просто еще один инструмент для хранения данных – JB1