Уменьшение объема памяти из-за циклов и списков

Question

У меня есть функция, которая я пытаюсь уменьшить объем памяти. Максимальный объем памяти, который я могу использовать, составляет всего 500 МБ. Кажется, что использование .split('\t') и для циклов действительно использует много памяти. Есть ли способ уменьшить это использование памяти?

Line # Mem usage Increment Line Contents 
============================================== 
10  35.4 MiB  0.0 MiB @profile 
11        def function(username): 
12  35.4 MiB  0.0 MiB  key = s3_bucket.get_key(username) 
13  85.7 MiB  50.2 MiB  file_data = key.get_contents_as_string() 
14 159.3 MiB  73.6 MiB  g = [x for x in file_data.splitlines() if not x.startswith('#')] 
15 144.8 MiB -14.5 MiB  del file_data 
16 451.8 MiB 307.1 MiB  data = [x.split('\t') for x in g] 
17 384.0 MiB -67.8 MiB  del g 
18 
19 384.0 MiB  0.0 MiB  d = [] 
20 661.7 MiB 277.7 MiB  for row in data: 
21 661.7 MiB  0.0 MiB   d.append({'key': row[0], 'value':row[3]}) 
22 583.7 MiB -78.0 MiB  del data 
25 700.8 MiB 117.1 MiB  database[username].insert_many(d) 
26 700.8 MiB  0.0 MiB  return 

Update1

По предложению @ Жан-FrançoisFabre и @Torxed, это улучшение, но генераторы до сих пор, кажется, взять большой объем памяти.

@martineau Я предпочитаю использовать MongoDB .insert_many(), как Перебор ключей и выполнение .insert()является гораздо медленнее.

20  35.3 MiB  0.0 MiB @profile 
21        def function(username): 
22  85.4 MiB  50.1 MiB  file_data = s3_bucket.get_key(username).get_contents_as_string() 
23 610.5 MiB 525.2 MiB  data = (x.split('\t') for x in isplitlines(file_data) if not x.startswith('#')) 
24 610.5 MiB  0.0 MiB  d = ({'key': row[0], 'value':row[3]} for row in data) 
25 123.3 MiB -487.2 MiB  database[username].insert_many(d) 
26 123.3 MiB  0.0 MiB  return 

UDPATE2

Я определил источник использования памяти, поскольку этот профиль показывает:

21  41.6 MiB  0.0 MiB @profile 
22        def insert_genotypes_into_mongodb(username): 
23  91.1 MiB  49.4 MiB  file_data = s3_bucket.get_key(username).get_contents_as_string() 
24  91.1 MiB  0.0 MiB  genotypes = (x for x in isplitlines(file_data) if not x.startswith('#')) 
25  91.1 MiB  0.0 MiB  d = ({'rsID': row.split('\t')[0], 'genotype':row.split('\t')[3]} for row in genotypes) 
26         # snps_database[username].insert_many(d) 
27  91.1 MiB  0.0 MiB  return 

insert_many() функция четко решает предыдущие строки, вызывающие весь список должны быть загружены в память и путает профилировщик.

Решение вставить ключи в MongoDB в кусках:

22  41.5 MiB  0.0 MiB @profile 
23        def insert_genotypes_into_mongodb(username): 
24  91.7 MiB  50.2 MiB  file_data = s3_bucket.get_key(username).get_contents_as_string() 
25 180.2 MiB  88.6 MiB  genotypes = (x for x in isplitlines(file_data) if not x.startswith('#')) 
26 180.2 MiB  0.0 MiB  d = ({'rsID': row.split('\t')[0], 'genotype':row.split('\t')[3]} for row in genotypes) 
27  91.7 MiB -88.6 MiB  chunk_step = 100000 
28 
29  91.7 MiB  0.0 MiB  has_keys = True 
30 127.4 MiB  35.7 MiB  keys = list(itertools.islice(d,chunk_step)) 
31 152.5 MiB  25.1 MiB  while has_keys: 
32 153.3 MiB  0.9 MiB   snps_database[username].insert_many(keys) 
33 152.5 MiB  -0.9 MiB   keys = list(itertools.islice(d,chunk_step)) 
34 152.5 MiB  0.0 MiB   if len(keys) == 0: 
35 104.9 MiB -47.6 MiB    has_keys = False 
36         # snps_database[username].insert_many(d[i*chunk_step:(i+1)*chunk_step]) 
37 104.9 MiB  0.0 MiB  return 

Спасибо за помощь.

Answer 1

Во-первых, не используйте splitlines(), поскольку он создает list, вам нужен итератор. Таким образом, вы могли бы использовать Iterate over the lines of a string пример, чтобы получить версию Итератор splitlines():

def isplitlines(foo): 
    retval = '' 
    for char in foo: 
     retval += char if not char == '\n' else '' 
     if char == '\n': 
      yield retval 
      retval = '' 
    if retval: 
     yield retval 

Личная примечание: это не очень эффективно из-за конкатенации. Я переписал это с помощью списка и str.join. Моя версия:

def isplitlines(buffer): 
    retval = [] 
    for char in buffer: 
     if not char == '\n': 
      retval.append(char) 
     else: 
      yield "".join(retval) 
      retval = [] 
    if retval: 
     yield "".join(retval) 

затем, избегать использования del, как без промежуточного списка (за исключением одного разбиения строки) используются. Просто «сжать» ваш код, пропуская g часть и создать d как генератор понимания вместо списка понимания:

def function(username): 
    key = s3_bucket.get_key(username) 
    file_data = key.get_contents_as_string() 
    data = (x.split('\t') for x in isplitlines(file_data) if not x.startswith('#')) 
    d = ({'key': row[0], 'value':row[3]} for row in data) 
    database[username].insert_many(d) 

это может быть «onelined» немного больше, но было бы трудно понять. И текущий код в порядке. Смотрите, что, как прикованный генератор понимание/выражения, работающие вместе с только один большим источником куском памяти: file_data

Answer 2

Решения вставить ключи в MongoDB в кусках:

22  41.5 MiB  0.0 MiB @profile 
23        def insert_genotypes_into_mongodb(username): 
24  91.7 MiB  50.2 MiB  file_data = s3_bucket.get_key(username).get_contents_as_string() 
25 180.2 MiB  88.6 MiB  genotypes = (x for x in isplitlines(file_data) if not x.startswith('#')) 
26 180.2 MiB  0.0 MiB  d = ({'rsID': row.split('\t')[0], 'genotype':row.split('\t')[3]} for row in genotypes) 
27  91.7 MiB -88.6 MiB  chunk_step = 100000 
28 
29  91.7 MiB  0.0 MiB  has_keys = True 
30 127.4 MiB  35.7 MiB  keys = list(itertools.islice(d,chunk_step)) 
31 152.5 MiB  25.1 MiB  while has_keys: 
32 153.3 MiB  0.9 MiB   snps_database[username].insert_many(keys) 
33 152.5 MiB  -0.9 MiB   keys = list(itertools.islice(d,chunk_step)) 
34 152.5 MiB  0.0 MiB   if len(keys) == 0: 
35 104.9 MiB -47.6 MiB    has_keys = False 
36         # snps_database[username].insert_many(d[i*chunk_step:(i+1)*chunk_step]) 
37 104.9 MiB  0.0 MiB  return