Как скопировать файл на удаленный сервер в Python с помощью SCP или SSH?

Question

У меня есть текстовый файл на моей локальной машине, который генерируется ежедневным скриптом Python, запущенным в cron.

Я хотел бы добавить немного кода, чтобы этот файл был надежно отправлен на мой сервер через SSH.

Answer 1

Если вы хотите простой подход, это должно сработать.

Вы сначала захотите «.close()», чтобы вы знали, что он сброшен на диск с Python.

import os 
os.system("scp FILE USER@SERVER:PATH") 
#e.g. os.system("scp foo.bar joe@srvr.net:/path/to/foo.bar") 

Вам необходимо заранее произвести (на исходной машине) и установите (на целевом компьютере) ключа SSH, так что УПП автоматически получает проверку подлинности с помощью открытого ключа SSH (другими словами, так что ваш сценарий Безразлично не запрашивать пароль).

ssh-keygen example

Answer 2

Вид Hacky, но должно работать :)

import os 
filePath = "/foo/bar/baz.py" 
serverPath = "/blah/boo/boom.py" 
os.system("scp "+filePath+" user@myserver.com:"+serverPath) 

Answer 3

Вы бы, вероятно, использовать subprocess module. Что-то вроде этого:

import subprocess 
p = subprocess.Popen(["scp", myfile, destination]) 
sts = os.waitpid(p.pid, 0) 

destination Где, вероятно, в форме user@remotehost:remotepath. Благодаря @Charles Duffy за то, что он указал на слабость моего первоначального ответа, который использовал один строковый аргумент, чтобы указать операцию scp shell=True - это не будет обрабатывать пробелы в путях.

Документация Модуль имеет examples of error checking that you may want to perform in conjunction with this operation.

Убедитесь, что вы настроили соответствующие учетные данные, так что вы можете выполнить unattended, passwordless scp between the machines. Существует stackoverflow question for this already.

Answer 4

Есть несколько различных способов подойти к решению проблемы:

1. Wrap программы командной строки
2. использовать библиотеку Python, которая предоставляет возможности SSH (например - Paramiko или Twisted Conch)

Каждый подход имеет свои собственные причуды. Вам нужно будет настроить SSH-ключи, чтобы включить учетные записи без пароля, если вы обмениваете системные команды, такие как «ssh», «scp» или «rsync». Вы можете вставлять пароль в сценарий, используя Paramiko или какую-либо другую библиотеку, но вы можете обнаружить, что недостаток документации разочаровывает, особенно если вы не знакомы с основами SSH-соединения (например, обмен ключами, агенты и т. Д.). Вероятно, само собой разумеется, что ключи SSH почти всегда лучше, чем пароли для такого рода вещей.

ПРИМЕЧАНИЕ: его трудно бить rsync, если вы планируете передавать файлы через SSH, особенно если альтернатива - это простой старый scp.

Я использовал Парамико с целью замены системных вызовов, но обнаружил, что обращается к завернутым командам из-за их простоты использования и непосредственного знакомства. Вы можете быть разными. Некоторое время назад я дал Кончу, но это не понравилось мне.

Если вы выбираете путь системного вызова, Python предлагает массив таких параметров, как os.system или команды/подпроцессы. Я бы пошел с модулем подпроцесса при использовании версии 2.4+.

Answer 5

Чтобы сделать это в Python (т.е. не оборачивать УПП через subprocess.Popen или аналогичный) с Paramiko библиотекой, вы могли бы сделать что-то вроде этого:

import os 
import paramiko 

ssh = paramiko.SSHClient() 
ssh.load_host_keys(os.path.expanduser(os.path.join("~", ".ssh", "known_hosts"))) 
ssh.connect(server, username=username, password=password) 
sftp = ssh.open_sftp() 
sftp.put(localpath, remotepath) 
sftp.close() 
ssh.close() 

(Вы, вероятно, хотите иметь дело с неизвестными хозяевами , ошибки, создание любых необходимых каталогов и т. д.).

Answer 6

fabric может быть использован для загрузки файлов по отношению SSH:

#!/usr/bin/env python 
from fabric.api import execute, put 
from fabric.network import disconnect_all 

if __name__=="__main__": 
    import sys 
    # specify hostname to connect to and the remote/local paths 
    srcdir, remote_dirname, hostname = sys.argv[1:] 
    try: 
     s = execute(put, srcdir, remote_dirname, host=hostname) 
     print(repr(s)) 
    finally: 
     disconnect_all() 

Answer 7

Вызов scp команд через подпроцесс не позволяет получить отчет о ходе работы внутри скрипта. pexpect может быть использован для получения этой информации:

import pipes 
import re 
import pexpect # $ pip install pexpect 

def progress(locals): 
    # extract percents 
    print(int(re.search(br'(\d+)%$', locals['child'].after).group(1))) 

command = "scp %s %s" % tuple(map(pipes.quote, [srcfile, destination])) 
pexpect.run(command, events={r'\d+%': progress}) 

См python copy file in local network (linux -> linux)

Answer 8

Достигнута такая же проблема, но вместо «взлома» или эмуляции командной строки:

этот ответ here.

from paramiko import SSHClient 
from scp import SCPClient 

ssh = SSHClient() 
ssh.load_system_host_keys() 
ssh.connect('example.com') 

with SCPClient(ssh.get_transport()) as scp: 
    scp.put('test.txt', 'test2.txt') 
    scp.get('test2.txt') 

Answer 9

from paramiko import SSHClient 
from scp import SCPClient 
import os 

ssh = SSHClient() 
ssh.load_host_keys(os.path.expanduser(os.path.join("~", ".ssh", "known_hosts"))) 
ssh.connect(server, username='username', password='password') 
with SCPClient(ssh.get_transport()) as scp: 
     scp.put('test.txt', 'test2.txt') 

Answer 10

очень простой подход заключается в следующем:

import os 
sshpass -p "password" scp user@host:/path/to/file ./ 

нет библиотеки Python не требуется (только ОС) и он работает

Answer 11

Я использовал sshfs смонтировать удаленный каталог с помощью ssh и shutil, чтобы скопировать файлы:

$ mkdir ~/sshmount 
$ sshfs user@remotehost:/path/to/remote/dst ~/sshmount 

Тогда в питоне:

import shutil 
shutil.copy('a.txt', '~/sshmount') 

Этот метод имеет то преимущество, что вы можете передавать данные через если вы генерируете данные, а не кэшировать локально и посылая один большой файл.