питон, панды, работать через плохие данные

Question

поэтому у меня есть очень большой dataframe в основном плавает (читать из CSV), но каждый сейчас и потом, я получаю строку, или нан

      date load 
0 2016-07-12 19:04:31.604999 0 
... 
10 2016-07-12 19:04:31.634999 nan 
... 
50 2016-07-12 19:04:31.664999 ".942.197" 
... 

I может иметь дело с NaNs (интерполировать), но не может понять, как использовать заменить для того, чтобы поймать строки, а не число

df.replace(to_replace='^[a-zA-Z0-9_.-]*$',regex=True,value = float('nan')) 

возвращает весь Nans. Я не буду использовать только тогда, когда это на самом деле строка

Answer 1

Я думаю, вы хотите pandas.to_numeric. Он работает с последовательными данными.

In [1]: import pandas as pd 

In [2]: df = pd.DataFrame([0, float('nan'), '.942.197'], columns=['load']) 

In [3]: df 
Out[3]: 
     load 
0   0 
1  NaN 
2 .942.197 

In [4]: pd.to_numeric(df['load'], errors='coerce') 
Out[4]: 
0 0.0 
1 NaN 
2 NaN 
Name: load, dtype: float64 

На самом деле to_numeric будет пытаться преобразовать каждый элемент в числовой, так что если у вас есть строка, которая выглядит как номер будет преобразован:

In [5]: df = pd.DataFrame([0, float('nan'), '123.456'], columns=['load']) 

In [6]: df 
Out[6]: 
     load 
0  0 
1  NaN 
2 123.456 

In [7]: pd.to_numeric(df['load'], errors='coerce') 
Out[7]: 
0  0.000 
1  NaN 
2 123.456 
Name: load, dtype: float64 

Я не знаю, какой-либо способ, чтобы преобразовать каждый нецифровой тип до nan, кроме итерации (или, может быть, apply или map) и проверьте на isinstance.

Answer 2

Это мое понимание, что .replace() применимо только к string datatypes. Если вы примените его к нестрочному типу данных (например, к вашим числовым типам), он вернет nan. Преобразование всего кадра/серии в строку перед использованием replace будет работать вокруг этого, но, вероятно, это не лучший способ сделать это (например, см. Ответ @ Goyo)!

См. Примечания на странице this.