Как использовать неиспользуемую вычислительную мощность для выполнения огромных задач

Question

У нас есть работа, которая обрабатывает набор элементов около 100 000 для вычисления и обновления различных атрибутов этих элементов. Когда мы работаем на четырехъядерном сервере Xenon, программа занимает около 40 часов. 40 часов огромны, и у нас есть необходимость завершить эту работу в течение 5 часов. Вся логика приложения оптимизирована, и, кроме того, мы использовали несколько потоков с ThreadPool для использования всех ядер процессора.

Теперь мы изучаем возможность использования грид-вычислений и проводим исследования для хорошего и простого грид-компьютерного программного обеспечения, поскольку у нас есть около 500 настольных компьютеров, которые простаивают более 12 часов в день. Мы не смогли найти ничего готового к использованию фреймворка. Пожалуйста, предложите любую хорошую структуру, предпочтительно используя .NET.

Answer 1

NGrid выглядит так, как будто он подходит для вас. Он, похоже, не очень хорошо поддерживается (последнее совершение было 3 года назад), но это может стать хорошей отправной точкой.

Answer 2

Посмотрите на . Он был успешно использован для сбора запасного времени процессора в течение многих лет. Я использовал его только как клиент, а не для этого. Но я могу сказать, что пользовательский интерфейс довольно хорош.

Word Community Grid использовать его для различных исследовательских проектов. И я думаю, что фолдинг @ дома тоже использует его, но я не проверял.