Обработка больших объектов в R

Я пытаюсь выполнить проект по распознаванию объектов с использованием набора данных изображения CIFAR с использованием R, однако есть одна проблема с обработкой набора данных, когда я читаю данные в каком-либо фрейме или матрице данных, размер объекта для объектов становится большим около 98 МБ, и это заставляет мою программу работать очень медленно, мой код векторизован, но все же я сталкиваюсь с проблемами производительности. Пожалуйста, кто-нибудь может предложить, как я могу решить эту проблему.Обработка больших объектов в R

Спасибо.

источник

2014-11-19 user37940

98MB не такой большой. Какие другие пакеты/функции вы используете? – screechOwl

Я не использую какой-либо пакет, просто обычный фрейм данных и матрицу – user37940

Это поможет, если вы дадите немного более подробную информацию. Если вы просто читаете данные, смотрите 'fread()' в пакете data.table. Если вы занимаетесь нервными сетями или подобными вещами, то это совсем другая ситуация. – screechOwl

Похоже, что двоичная форма этих данных будет идеально вписываться в формат типа плоского файла, например, с помощью пакетов bigmemory, ff или rhdf5.

источник

2014-11-20 00:02:41

ответ

Смежные вопросы