Что такое эффективный способ поддержки локальной копии только для чтения живой удаленной базы данных MySQL?

Question

Я поддерживаю сервер, который запускает ежедневные задания cron для агрегирования источников данных и создания отчетов, доступных частному приложению Ruby on Rails.

Одним из наших источников данных является частичный сброс базы данных наших партнеров. Партнер запускает активное приложение, а база данных MySQL содержит сотни таблиц. Они дали нам доступ только для чтения к относительно маломощному ведомому только для чтения их прикладной БД.

Из-за проблем с задержкой и узких мест производительности на их подчиненной БД мы поддерживали ограниченную локальную копию их БД. Нам нужны только около 20 таблиц для наших отчетов, поэтому я просто отказываюсь от этих таблиц. Нам также нужны данные только для ежедневной детализации, поэтому синхронизация в реальном времени не является обязательным требованием.

В течение нескольких месяцев я реализовал ночной cron, который передавал дамп необходимых таблиц в локальную базу данных production_tmp. Затем, когда все таблицы были импортированы, я сбросил production и переименовал production_tmp в production. Это работало до тех пор, пока БД не выросла до более чем 25 ГБ, и мы начали использовать ограничения на дисковое пространство.

На данный момент, я удалил шаг избыточности, и я просто передаю свалку прямо на production на нашем локальном сервере. Мне это кажется немного хлипким, и я хотел бы применить более безопасный подход. Кроме того, в настоящее время полная загрузка дампа/загрузка занимает наш сервер в течение 2 часов, и я хотел бы реализовать подход, который не займет много времени. База данных будет продолжать расти, поэтому я хотел бы реализовать что-то в будущем.

Любые предложения будут оценены!

Answer 1

Я полагаю, что вы никогда не слышали, или считаете MySQL Replication?

Идея состоит в том, что вы восстанавливаете один раз резервное копирование &, а затем настраиваете реплику на «подписку» на непрерывный поток изменений, поскольку они создаются на основном экземпляре MySQL. Любое изменение, применяемое к первичному, автоматически применяется к реплике в течение нескольких секунд. Вам не нужно снова делать резервную копию &, если только реплика не повреждена.

Требуется помощь в настройке и продолжении работы, но это гораздо более эффективный способ синхронизации двух экземпляров.

@SusannahPotts упоминает горячее резервное копирование и/или инкрементное резервное копирование. Вы можете получить обе эти функции бесплатно, не заплатив за MySQL Enterprise, используя Percona XtraBackup.

Вы также можете рассмотреть возможность использования MySQL Transportable Tablespaces.

---

Вам понадобится доступ к файловой системе для запуска Percona XtraBackup или MySQL Enterprise Backup. Например, невозможно использовать эти физические средства резервного копирования для Amazon RDS.

Альтернативой является создание ведомого репликации в той же сети, что и в режиме реального времени, и запуск Percona XtraBackup на этом подчиненном устройстве, где у вас есть доступ к файловой системе.

Другой вариант - передать двоичные журналы другому хосту (см. https://dev.mysql.com/doc/refman/5.6/en/mysqlbinlog-backup.html), а затем периодически передавать их в локальный экземпляр и воспроизводить их.

Каждое из этих решений имеет свои плюсы и минусы. Трудно рекомендовать, какое решение лучше для вас, потому что вы не делитесь полной информацией о своих требованиях.

Answer 2

Это работало до тех пор, пока БД не выросла до более чем 25 ГБ, и мы начали использовать ограничения на дисковое пространство.

Некоторые знаки вопроса «здесь»:

• Почему вы не просто увеличить доступную DISKSPACE для вашей базы данных? 25 GB ничего не кажется, когда дело доходит до дискового пространства?
• Почему бы вам не изменить свой скрипт так: загрузить table1, import table1_tmp, drop table1_prod, переименовать table1_tmp в table1_prod; промыть и повторить.

Кроме этого:

• Почему вы не спросите своего партнера для системы с достаточной производительностью для запуска отчетов о? Я уверен, он предпочел бы это, вместо того, чтобы каждый день загружать конфиденциальные данные на ваш «местный сайт»?

Последняя мысль (требуется MySQL Enterprise Backup https://www.mysql.de/products/enterprise/backup.html):

• Вместо того, демпинг, загрузку и импорт 25 Гб каждый день:
• Создать полную резервную копию
• Скачать и импортировать
• Используйте дифференциальные или инкрементные резервные копии.
• На следующий день загрузки (и импорт) только данные-дельта: https://dev.mysql.com/doc/mysql-enterprise-backup/4.0/en/mysqlbackup.incremental.html