от вложенного словаря в CSV файл

Question

Я вложенный словаря (с длиной> 70,000):

users_item = { 
    "sessionId1": { 
     "12345645647": 1.0, 
     "9798654": 5.0 

    },   
    "sessionId2":{ 
     "3445657657": 1.0 

    }, 
    "sessionId3": { 
     "87967976": 5.0, 
     "35325626436": 1.0, 
     "126789435": 1.0, 
     "72139856": 5.0  
    }, 
    "sessionId4": { 
     "4582317": 1.0   
    } 
...... 
} 

Я хочу создать CSV-файл из моего вложенного словаря, мой результат будет выглядеть следующим образом:

sessionId1 item rating 
sessionId1 item rating 
sessionId2 item rating 
sessionId3 item rating 
sessionId3 item rating 
sessionId3 item rating 
sessionId3 item rating 
....... 

Я нашел этот пост: Convert Nested Dictionary to CSV Table

Это похоже на мой вопрос, но он не работает, когда я пытаюсь ответить, pandas библиотека закончилась памяти

Как я могу сделать CSV-файл с моими данными?

Answer 1

Просто пройдите через словарь и используйте Python csv writer для записи в файл csv.

with open('output.csv', 'w') as csv_file: 
    csvwriter = csv.writer(csv_file, delimiter='\t') 
    for session in users_item: 
     for item in users_item[session]: 
      csvwriter.writerow([session, item, users_item[session][item]]) 

Answer 2

Предполагая, что вы хотите каждую сессию как строки, число столбцов для каждой строки будет общее количество уникальных ключей во всех сеансах dicts. Основываясь на данных, которые вы указали, я предполагаю, что количество уникальных ключей является астрономическим.

Вот почему у вас проблемы с памятью с решением given in this discussion. Это просто слишком много данных для хранения в памяти за один раз.

Ваш единственный вариант, если мои предположения верны, состоит в том, чтобы разделить и победить. Разбивайте данные на более мелкие куски и записывайте их в файл в формате csv. Затем слейте файлы csv в конце.

Answer 3

for session, ratings in users_item.items(): 
    for rating, value in ratings.items(): 
     print("{} {}".format(session, value)) 

Выход:

sessionId3 5.0 
sessionId3 1.0 
sessionId3 5.0 
sessionId3 1.0 
sessionId1 5.0 
sessionId1 1.0 
sessionId4 1.0 
sessionId2 1.0 

Примечание что dict (user_items) имеет нет порядка. Поэтому, если вы не укажете порядок строк каким-либо другим способом, то вывод будет в том порядке, который используется dict.

Редактировать: У этого подхода нет проблем с файлом, содержащим 70 тыс. Записей.

Редактировать: Если вы хотите записать в CSV-файл, используйте модуль csv или просто подключите вывод к файлу.

Answer 4

Если вы итеративно записи файла, не должно быть никаких проблем с памятью:

import csv 

users_item = { 
    "sessionId1": { 
     "12345645647": 1.0, 
     "9798654": 5.0 

    }, 
    "sessionId2":{ 
     "3445657657": 1.0 

    }, 
    "sessionId3": { 
     "87967976": 5.0, 
     "35325626436": 1.0, 
     "126789435": 1.0, 
     "72139856": 5.0 
    }, 
    "sessionId4": { 
     "4582317": 1.0 
    } 
} 

with open('nested_dict.csv', 'w') as output: 
    writer = csv.writer(output, delimiter='\t') 
    for sessionId in sorted(users_item): 
     ratings = users_item[sessionId] 
     for item in ratings: 
      writer.writerow([sessionId, item, ratings[item]]) 

Итоговые содержимое выходного файла (где » представляет собой символы табуляции):

sessionId1» 12345645647» 1.0 
sessionId1» 9798654»  5.0 
sessionId2» 3445657657» 1.0 
sessionId3» 126789435» 1.0 
sessionId3» 87967976»  5.0 
sessionId3» 35325626436» 1.0 
sessionId3» 72139856»  5.0 
sessionId4» 4582317»  1.0