добавить данные в csv column wise using pandas

Question

У меня есть некоторые файлы csv, и я хочу скопировать определенный столбец из всех них и сохранить его в новом столбце csv-файла wise. Но следующий код добавляет их в один столбец.

Кроме того, я должен пройти почти 20 М данных, поэтому я не хочу хранить их в одном кадре данных и сохранять их в последний раз.

Вот мой код:

import os 
import glob 
import pandas as pd 
k= glob.glob("*.csv") 
colu="Close" 
file="merged.csv" 
temp_dirr="./temp/" 
if not os.path.exists(temp_dirr): 
    os.makedirs(temp_dirr) 

filename=temp_dirr+file 

df=pd.read_csv(k[0])[colu].dropna() 
df.to_csv(filename,header=False,index=False) 
for i in k[1:]: 
    df=pd.read_csv(i)[colu].dropna() 
    df.to_csv(filename,mode="a",header=False,index=False) 

и здесь является выходным merged.csv файлу

23.6 1065 23.45 1150 172.7 11098 11443.3

Но я хочу, чтобы выходной файл, который будет как этот 23.6 172.7 1065 11098 23.45 11443.3 1150

Здесь папка имеет 2 файла csv и два столбца для "close" столбец из этих 2 файлов. Итак, как добавить их по столбцам?

Answer 1

вы можете сделать это следующим образом:

def get_merged_csv(flist, **kwargs): 
    return pd.concat([pd.read_csv(f, **kwargs) for f in flist], axis=1) 

fmask = '*.csv' 
# column numbers are starting from 0, so 9th column has index 8 
df = get_merged_csv(glob.glob(fmask), usecols=[8]) 
df.to_csv(filename,mode="a",header=False,index=False) 

Answer 2

я не уверен, как это сделать с помощью Pythond, но в R, это очень легко.

Объединить все столбцы в File1 и Column12 в File2.

import pandas as pd 
file1 = pd.read_table('C:\\Users\Users\\your_path_here\\Book1.csv', delimiter=',', header=None) 
file2 = pd.read_table('C:\\Users\\Users\\your_path_here\\Book2.csv', delimiter=',', header=None) 
file2_short = file2.ix[:,12:13] 

#print (file2_short) 
frames=[file1, file2_short] 
new = pd.concat(frames) 
new.to_csv('C:\\Users\\your_path_here\\newfile.csv')