Отправить os.Stdin через http POST без загрузки файла в память

Question

Я пытаюсь отправить файл на сервер через запрос POST. Для этого я использую следующий код:

func newfileUploadRequest(uri string) (*http.Request, error) { 

    body := new(bytes.Buffer) 
    writer := multipart.NewWriter(body) 
    part, err := writer.CreateFormFile("file", "file") 
    if err != nil { 
     return nil, err 
    } 
    io.Copy(part, os.Stdin) 

    err = writer.Close() 
    if err != nil { 
     return nil, err 
    } 

    request, err := http.NewRequest("POST", uri, body) 
    if err != nil { 
     return nil, err 
    } 
    request.Header.Set("Content-Type", writer.FormDataContentType()) 
    return request, nil 
} 


func main() { 
    r, err := newfileUploadRequest("http://localhost:8080/") 
    if err != nil { 
     panic(err) 
    } 

    client := &http.Client{} 
    resp, err := client.Do(r) 
    if err != nil { 
     panic(err) 
    } 
    body, err := ioutil.ReadAll(resp.Body) 
    if err != nil { 
     panic(err) 
    } 
    print(string(body)) 
} 

В то время как это работает хорошо, это мое понимание того, что io.Copy будет копировать весь файл в память, прежде чем запрос POST отправляется. Большие файлы (несколько GB) создадут проблемы. Есть ли способ предотвратить это? Я нашел this, но это просто говорит использовать io.Copy.

Answer 1

Вы можете избежать копирования данных в памяти с помощью io.Pipe и goroutine, что копии из файла в трубе:

func newfileUploadRequest(uri string) (*http.Request, error) { 
    r, w := io.Pipe() 
    writer := multipart.NewWriter(w) 
    go func() { 
    part, err := writer.CreateFormFile("file", "file") 
    if err != nil { 
     w.CloseWithError(err) 
     return 
    } 
    _, err = io.Copy(part, os.Stdin) 
    if err != nil { 
     w.CloseWithError(err) 
     return 
    } 
    err = writer.Close() 
    if err != nil { 
     w.CloseWithError(err) 
     return 
    } 
    }() 

    request, err := http.NewRequest("POST", uri, r) 
    if err != nil { 
    return nil, err 
    } 
    request.Header.Set("Content-Type", writer.FormDataContentType()) 
    return request, nil 
} 

Answer 2

Использование io.Pipe() - https://golang.org/pkg/io/#Pipe

Вам нужно будет использовать goroutine, но это не так уж трудно сделать. Если вам нужен конкретный пример, оставьте комментарий, и я получу его для вас.