2016-10-05 5 views
0

У меня есть большой файл python (> 500 000 строк) и хотелось бы читать непустые ячейки в столбце в dataframe (panda). Сейчас я делаю это:Эффективный способ чтения непустых ячеек в столбце в CSV-файле

df = pd.read_csv(filename) 

myiter = []  

    for xiter, x in enumerate(df['Column_name']): 

     if (np.isnan(x) == False): 
      myiter.append(xiter) 

Есть ли более эффективный способ сделать то же самое?

ответ

0

Отмечены ли они как NaN в вашем df?

если да, то сделать

df.dropna() 
+0

Я понял, что отбрасывает все строки, даже если данный столбец не имеет значение NaN (как и другие столбцы могут также иметь NaN). Есть ли способ удалить только строки с NaN в указанном столбце? – Piyush

+0

, что было бы невозможно, как бы вы сбросили значение col 1, если хотите сохранить значение col 2 и сохранить индекс? если вы хотите создать df из столбца без na, вы можете сделать 'newdf = df ['Column_name']. dropna()' –

+0

weird ... показать нам, что вы пробовали – MMF

 Смежные вопросы

  • Нет связанных вопросов^_^