Я собираюсь использовать Google Big Query для хранения записей вызовов в реальном времени, содержащих около 3 миллионов строк в день, вставленных и не обновляемых.Google BigQuery для данных записей звонков в реальном времени
Я подписался на демо счет и провел несколько тестов
У меня есть несколько проблем, прежде чем я могу идти вперед с развитием
При потоковой передаче данных с помощью PHP она занимает около 10-20 минут когда-то, чтобы загрузиться на мои таблицы, и это для нас стоппер для шоу, потому что инженеры по поддержке сетей нуждаются в этих данных в реальном времени для устранения неполадок качества.
Разделы, мы можем хранить данные в разделах, разделенных на каждый да но это также включает в себя один раздел размером 2,5 ГБ в любой день и который снимает мои расходы на запрос данных в диапазоне тысяч в месяц. Есть ли другой способ снизить стоимость? Мы можем хранить данные раздельно в час, но такой поддержки нет.
Если не BigQuery, какие другие решения существуют на рынке, которые могут обеспечить схожую производительность и могут решить эти проблемы?
Вы уверены, что ваши проекции были правильными? Обычно «тыс.» В месяц означает, что вы работаете между 200 ТБ и 2000 ТБ? Вы действительно проецировали между этими цифрами? – Pentium10
, как если бы я вычислял 2.5 ГБ в день, через год вы получаете только 1 ТБ и не приближаетесь к верхнему пределу 2 ПБ для счета 10 тыс. По запросам. – Pentium10
, и вы запустили только запрос count() или данные не отображаются в самом запросе? (первое может произойти, поскольку счет обновляется только после того, как данные попадают в хранилище в течение длительного времени) – Pentium10