Как я могу ускорить свою программу, созданную в Jupyter Notebook?

Question

У меня есть программа python, которая создана в ноутбуке Jupter. Из-за используемого множителя данных и оптимизационного алгоритма 4-кратная пользовательская перекрестная проверка в некотором диапазоне занимает около 30 минут.

Окружающая среда компьютера: CPU i5 3,3 ГГц, 8 ГБ оперативной памяти DDR3, SSD.

Я задаюсь

1. Если можно развернуть его на какой-то сервер и может сделать скорость немного быстрее? (Файл данных составляет всего около 30 МБ, я думаю, что можно загружать данные и программу). И это также может помочь другим, кто хочет использовать программу.

2. Могу ли я сделать что-нибудь, чтобы ускорить проверку креста? Это добрый ручный процесс. Я использую sklearn.cross_validation.KFold для извлечения поезда и тестового набора. Затем я прокручиваю каждую складку, чтобы построить модель и проверить ее результат. Я не уверен, возможно ли инкапсулировать мой метод построения модели и выполнить проверку перекрестных ссылок в parrallel?

Answer 1

1: Есть пара платных серверов HPC, таких как Amazon, но это не относится к SO.

2: Итерация проверки креста может выполняться параллельно.

Поскольку поперечные валидация не связаны, я хотел бы предложить что-то вроде этого:

import multiprocessing 

def validation_function(args): 
    do_validation 
    ... 
    ... 

p = multiprocessing.Pool(processes=multiprocessing.cpu_count()) 
for _ in p.imap_unordered(validation_function, args): 
    pass