Обработка большого MySql DB через некоторую услугу

Question

Мы используем MySql db в нашей организации, а таблицы становятся большими и большими. Он накладывает большую нагрузку на наш сервер и занимает много времени, когда Query сложный и возвращает миллионы записей.

Итак, мы решили использовать некоторые доступные УСЛУГИ для решения этой проблемы. Пожалуйста, не давайте решения, чтобы справиться с этим.

Мы вольны использовать любой сервис от Google, Amazon и т.д.

Вопрос заключается в основном, чтобы спросить, какие услуги доступны здесь, и , что было бы лучшим из них.

Итак, эта загрузка на нашем сервере становится меньше, и данные начинают быстро развиваться.

Спасибо заранее.

Answer 1

Я хотел бы использовать Amazon Aurora вместо MySQL. Aurora совместима с MySQL, поэтому вам не придется менять какой-либо код или даже изменять используемые вами драйверы базы данных. Он работает лучше, чем MySQL при большой нагрузке, особенно с большим количеством одновременных запросов.

Возможно, вам также понадобится использовать Amazon Redshift, хотя для этого вам потребуются некоторые изменения. В зависимости от типа данных, которые вы храните, и типа запросов, которые вы используете, Redshift имеет потенциал на порядок быстрее, чем MySQL. Я говорю об этом по опыту, так как я работаю над перемещением больших таблиц от MySQL до Redshift в настоящее время, и увеличение скорости невероятно.

В противном случае вы интегрируете кеширование в свою систему? Разумное использование кэширования данных может действительно снять нагрузку с вашей базы данных. Я рекомендую Redis для кеширования. Вы можете использовать сервис Amazon's ElastiCache, или RedisLabs, который я предпочитаю.

Answer 2

Google Cloud SQL FAQ должен быть хорошей стартовой страницей, чтобы получить информацию об этой услуге.

Наиболее смыслового функции от Cloud SQL которые связаны с ним интеграции с другими продуктами Google Cloud Platform, как App Engine, Compute Engine и Data Store, и большинство задач Обще управления и технического обслуживания, управляемых Goggle.

Cloud SQL - это пример из MySQL в облаке. Все основные общие черты от экземпляра MySQL будут доступны в экземпляре Cloud SQL, как

• Стандартный MySQL
• MySQL Проводное
• Интеграция с инструментами (Ex: Workbench)
• Logs (не полный)
• отчетности (хранимые процедуры, триггеры и представления)
• InnoDB и хранения MyISAM двигателей
• Импорт/экспорт данных

Особенности и ресурсы от Cloud SQL, который дифференциал являются:

• Вертикальное масштабирование (R/W, выращивая дискового ввода/вывода, процессор и память)
• Горизонтальное масштабирование (R, чтения экземпляры репликации) использующий только
• управления базы данных в качестве службы (создание, изменение размер, репликация, резервное копирование)
• быстрого соединение между App Engine и Compute Engine экземпляров
• Accessi от никуда
• Автоматические и запланированные резервные копии и восстановление по времени
• Зашифрованные, исходящие и входящие трафик.
• Экземпляры изменений (диск, память и т. Д.) С несколькими секундами простоя.

Существует 7 типов tiers (примеры шаблонов) с различными ресурсами.

Cloud SQL имеет 2 варианта выставления счетов: Пакет и использование.

• Пакет: Фиксированная цена на экземпляр (ежедневно) типа (уровня)
• Per Use: Фиксированная цена на час с использованием уровня (Эта модель огибает час 1:40 HOUS раундов по 2.: 00)
• Биллинг только для исходящего сетевого трафика (трафик в облачной инфраструктуре Google не будет оплачиваться exe: через App Engine и GCE не будет взиматься плата).
• Вычисление суммы, не превышающей распределения.
• Платеж для ввода/вывода на диск (каждый уровень имеет пакет операций ввода-вывода по умолчанию).
• Хранение заряжается ГБ/ч.
• Плата за выставление счетов рассчитывается с использованием US Pacific Time.

Совет: Если используется> = 450 часов в месяц, лучше использовать пакетный план.

В любом случае, облачный SQL рекомендуется для проектов малого и среднего размера (до 500 ГБ БД и 10PS-100s QPS), и существует предел 100 ожидающих соединений независимо от уровня.

Answer 3

Перенос данных, которые нажимают один сервер на свои пределы на один экземпляр облака, приведет только к более медленному времени доступа.

Приобретите машину с большим количеством процессоров, больше оперативной памяти и большим количеством жестких дисков и передайте свой SQL на нее, пока не сможете эффективно реализовать решение «Большие данные», которое разбивает ваши данные на несколько компьютеров.

Если ваши данные не разделены на несколько компьютеров, использование онлайн-сервиса «облако» не даст вам никакой пользы. Вы должны перепроектировать данные, чтобы воспользоваться преимуществами нескольких машин, прежде чем вы увидите какую-либо выгоду от AWS или GCE.

Я не могу сказать вам, сколько раз люди думают, что просто перемещение их материалов с локальных серверов на AWS или GCE сделает его быстрее. Они всегда разочарованы, когда их приложение или данные медленнее, потому что они думали, что AWS = скорость. Но AWS = мощность, а не скорость.