Загрузите видеофайл по кускам

Question

Да, это длинный вопрос с большим количеством подробностей ... Итак, мой вопрос: как я могу передать загрузку в Vimeo в сегментах?

Для тех, кто хочет, чтобы скопировать и отлаживать на своей собственной машине: Вот вещи, которые вам нужны:

• Мой код here.
• Включите библиотеку Scribe нашел here
• Иметь действительный видеофайл (mp4), который, по крайней мере больше, чем 10 МБ и поместить его в каталог C:\test.mp4 или изменить этот код, чтобы указать, где ваше есть.
• Вот и все! Спасибо, что помогли мне!

Большое обновление: Я оставил рабочий ключ API и секрет для Vimeo в коде here. Поэтому, пока у вас есть учетная запись Vimeo, весь код должен работать нормально, если вы разрешили приложение и ввели свой токен. Просто скопируйте код с этой ссылки в проект в вашей любимой среде IDE и посмотрите, можете ли вы исправить это со мной. Я дам награду тому, кто дает мне рабочий код. Благодаря! О, и не ожидайте долгого использования этого ключа и тайны. Как только эта проблема будет решена, я удалю ее. :)

Обзор проблемы: Проблема заключается в том, когда я посылаю последний кусок байтов Vimeo, а затем проверить загрузку, ответ возвращает, что длина всего содержимого длина только последнего куска , а не все куски, как это должно быть.

SSCCE Примечание: У меня есть все мое SSCCE here. Я помещаю это в другое место, так что это может быть C ompilable. Это НЕ очень S hort (около 300 строк), но, надеюсь, вы найдете его S эльф, и это, безусловно, E xample!). Я, однако, размещаю соответствующие части моего кода в этом сообщении.

Вот как это работает: При загрузке видео на Vimeo с помощью метода потоковой передачи (см Загрузить API документации here для установки, чтобы добраться до этой точки), вы должны дать несколько заголовков: конечную точку, контент- длины и типа содержимого. В документации говорится, что он игнорирует любые другие заголовки. Вы также даете ему полезную информацию о байтах для загружаемого файла. А затем подпишите и отправьте его (у меня есть метод, который будет делать это, используя scribe).

Моя проблема: Все работает отлично, когда я просто отправляю видео по одному запросу. Моя проблема заключается в том, что когда я загружаю несколько больших файлов, компьютер, который я использую, не имеет достаточной памяти для загрузки всей этой информации о байте и помещает ее в запрос HTTP PUT, поэтому мне нужно разбить ее на 1 МБ сегментов. Здесь все становится сложно. В документации упоминается, что можно «возобновить» загрузку, поэтому я пытаюсь сделать это с помощью своего кода, но это работает не так. Ниже вы увидите код для отправки видео. Запомнить мой SSCCE is here.

Что я пробовал: Я думаю, что это как-то связано с заголовком Content-Range ...Так вот вещи, которые я пробовал в изменении, что говорит заголовок Content-Range ...

• Не добавляя заголовок диапазона содержание первого фрагмента

• Добавление префикса в заголовок диапазона содержимого (каждый с комбинацией предыдущего заголовка):

  • «байты»
  • «байт» (броски ошибка подключения, см самого дна за ошибки) -> оказывается в documentation, что это то, что они я ищу, но я уверен, что есть t ypos в документации, поскольку они имеют заголовок диапазона содержимого на примере «возобновления»: 1001-339108/339108, когда это должно быть 1001-339107/339108. Так что ... Да ...
  • "байт% 20"
  • "байт:"
  • "байт:"
  • "байт ="
  • "байт ="

• не добавляя ничего в качестве префикса к заголовку диапазона содержимого

Вот код:

/** 
* Send the video data 
* 
* @return whether the video successfully sent 
*/ 
private static boolean sendVideo(String endpoint, File file) throws FileNotFoundException, IOException { 
    // Setup File 
    long contentLength = file.length(); 
    String contentLengthString = Long.toString(contentLength); 
    FileInputStream is = new FileInputStream(file); 
    int bufferSize = 10485760; // 10 MB = 10485760 bytes 
    byte[] bytesPortion = new byte[bufferSize]; 
    int byteNumber = 0; 
    int maxAttempts = 1; 
    while (is.read(bytesPortion, 0, bufferSize) != -1) { 
    String contentRange = Integer.toString(byteNumber); 
    long bytesLeft = contentLength - byteNumber; 
    System.out.println(newline + newline + "Bytes Left: " + bytesLeft); 
    if (bytesLeft < bufferSize) { 
     //copy the bytesPortion array into a smaller array containing only the remaining bytes 
     bytesPortion = Arrays.copyOf(bytesPortion, (int) bytesLeft); 
     //This just makes it so it doesn't throw an IndexOutOfBounds exception on the next while iteration. It shouldn't get past another iteration 
     bufferSize = (int) bytesLeft; 
    } 
    byteNumber += bytesPortion.length; 
    contentRange += "-" + (byteNumber - 1) + "/" + contentLengthString; 
    int attempts = 0; 
    boolean success = false; 
    while (attempts < maxAttempts && !success) { 
     int bytesOnServer = sendVideoBytes("Test video", endpoint, contentLengthString, "video/mp4", contentRange, bytesPortion, first); 
     if (bytesOnServer == byteNumber) { 
     success = true; 
     } else { 
     System.out.println(bytesOnServer + " != " + byteNumber); 
     System.out.println("Success is not true!"); 
     } 
     attempts++; 
    } 
    first = true; 
    if (!success) { 
     return false; 
    } 
    } 
    return true; 
} 

/** 
* Sends the given bytes to the given endpoint 
* 
* @return the last byte on the server (from verifyUpload(endpoint)) 
*/ 
private static int sendVideoBytes(String videoTitle, String endpoint, String contentLength, String fileType, String contentRange, byte[] fileBytes, boolean addContentRange) throws FileNotFoundException, IOException { 
    OAuthRequest request = new OAuthRequest(Verb.PUT, endpoint); 
    request.addHeader("Content-Length", contentLength); 
    request.addHeader("Content-Type", fileType); 
    if (addContentRange) { 
    request.addHeader("Content-Range", contentRangeHeaderPrefix + contentRange); 
    } 
    request.addPayload(fileBytes); 
    Response response = signAndSendToVimeo(request, "sendVideo on " + videoTitle, false); 
    if (response.getCode() != 200 && !response.isSuccessful()) { 
    return -1; 
    } 
    return verifyUpload(endpoint); 
} 

/** 
* Verifies the upload and returns whether it's successful 
* 
* @param endpoint to verify upload to 
* @return the last byte on the server 
*/ 
public static int verifyUpload(String endpoint) { 
    // Verify the upload 
    OAuthRequest request = new OAuthRequest(Verb.PUT, endpoint); 
    request.addHeader("Content-Length", "0"); 
    request.addHeader("Content-Range", "bytes */*"); 
    Response response = signAndSendToVimeo(request, "verifyUpload to " + endpoint, true); 
    if (response.getCode() != 308 || !response.isSuccessful()) { 
    return -1; 
    } 
    String range = response.getHeader("Range"); 
    //range = "bytes=0-10485759" 
    return Integer.parseInt(range.substring(range.lastIndexOf("-") + 1)) + 1; 
    //The + 1 at the end is because Vimeo gives you 0-whatever byte where 0 = the first byte 
} 

Вот метод signAndSendToVimeo:

/** 
* Signs the request and sends it. Returns the response. 
* 
* @param service 
* @param accessToken 
* @param request 
* @return response 
*/ 
public static Response signAndSendToVimeo(OAuthRequest request, String description, boolean printBody) throws org.scribe.exceptions.OAuthException { 
    System.out.println(newline + newline 
      + "Signing " + description + " request:" 
      + ((printBody && !request.getBodyContents().isEmpty()) ? newline + "\tBody Contents:" + request.getBodyContents() : "") 
      + ((!request.getHeaders().isEmpty()) ? newline + "\tHeaders: " + request.getHeaders() : "")); 
    service.signRequest(accessToken, request); 
    printRequest(request, description); 
    Response response = request.send(); 
    printResponse(response, description, printBody); 
    return response; 
} 

А вот некоторые (пример ... Весь вывод можно найти here) выхода из методов printRequest и printResponse: ПРИМЕЧАНИЕ Этот выход изменяется в зависимости от того, для чего установлен contentRangeHeaderPrefix, и для логического элемента first установлено значение (которое указывает, включать ли заголовок Content-Range в первый фрагмент или нет).

We're sending the video for upload! 


Bytes Left: 15125120 


Signing sendVideo on Test video request: 
    Headers: {Content-Length=15125120, Content-Type=video/mp4, Content-Range=bytes%200-10485759/15125120} 

sendVideo on Test video >>> Request 
Headers: {Authorization=OAuth oauth_signature="zUdkaaoJyvz%2Bt6zoMvAFvX0DRkc%3D", oauth_version="1.0", oauth_nonce="340477132", oauth_signature_method="HMAC-SHA1", oauth_consumer_key="5cb447d1fc4c3308e2c6531e45bcadf1", oauth_token="460633205c55d3f1806bcab04174ae09", oauth_timestamp="1334336004", Content-Length=15125120, Content-Type=video/mp4, Content-Range=bytes: 0-10485759/15125120} 
Verb: PUT 
Complete URL: http://174.129.125.96:8080/upload?ticket_id=5ea64d64547e38e5e3c121852b2d306d 

sendVideo on Test video >>> Response 
Code: 200 
Headers: {null=HTTP/1.1 200 OK, Content-Length=0, Connection=close, Content-Type=text/plain, Server=Vimeo/1.0} 


Signing verifyUpload to http://174.129.125.96:8080/upload?ticket_id=5ea64d64547e38e5e3c121852b2d306d request: 
    Headers: {Content-Length=0, Content-Range=bytes */*} 

verifyUpload to http://174.129.125.96:8080/upload?ticket_id=5ea64d64547e38e5e3c121852b2d306d >>> Request 
Headers: {Authorization=OAuth oauth_signature="FQg8HJe84nrUTdyvMJGM37dpNpI%3D", oauth_version="1.0", oauth_nonce="298157825", oauth_signature_method="HMAC-SHA1", oauth_consumer_key="5cb447d1fc4c3308e2c6531e45bcadf1", oauth_token="460633205c55d3f1806bcab04174ae09", oauth_timestamp="1334336015", Content-Length=0, Content-Range=bytes */*} 
Verb: PUT 
Complete URL: http://174.129.125.96:8080/upload?ticket_id=5ea64d64547e38e5e3c121852b2d306d 

verifyUpload to http://174.129.125.96:8080/upload?ticket_id=5ea64d64547e38e5e3c121852b2d306d >>> Response 
Code: 308 
Headers: {null=HTTP/1.1 308 Resume Incomplete, Range=bytes=0-10485759, Content-Length=0, Connection=close, Content-Type=text/plain, Server=Vimeo/1.0} 
Body: 


Bytes Left: 4639360 


Signing sendVideo on Test video request: 
    Headers: {Content-Length=15125120, Content-Type=video/mp4, Content-Range=bytes: 10485760-15125119/15125120} 

sendVideo on Test video >>> Request 
Headers: {Authorization=OAuth oauth_signature="qspQBu42HVhQ7sDpzKGeu3%2Bn8tM%3D", oauth_version="1.0", oauth_nonce="183131870", oauth_signature_method="HMAC-SHA1", oauth_consumer_key="5cb447d1fc4c3308e2c6531e45bcadf1", oauth_token="460633205c55d3f1806bcab04174ae09", oauth_timestamp="1334336015", Content-Length=15125120, Content-Type=video/mp4, Content-Range=bytes%2010485760-15125119/15125120} 
Verb: PUT 
Complete URL: http://174.129.125.96:8080/upload?ticket_id=5ea64d64547e38e5e3c121852b2d306d 

sendVideo on Test video >>> Response 
Code: 200 
Headers: {null=HTTP/1.1 200 OK, Content-Length=0, Connection=close, Content-Type=text/plain, Server=Vimeo/1.0} 


Signing verifyUpload to http://174.129.125.96:8080/upload?ticket_id=5ea64d64547e38e5e3c121852b2d306d request: 
    Headers: {Content-Length=0, Content-Range=bytes */*} 

verifyUpload to http://174.129.125.96:8080/upload?ticket_id=5ea64d64547e38e5e3c121852b2d306d >>> Request 
Headers: {Authorization=OAuth oauth_signature="IdhhhBryzCa5eYqSPKAQfnVFpIg%3D", oauth_version="1.0", oauth_nonce="442087608", oauth_signature_method="HMAC-SHA1", oauth_consumer_key="5cb447d1fc4c3308e2c6531e45bcadf1", oauth_token="460633205c55d3f1806bcab04174ae09", oauth_timestamp="1334336020", Content-Length=0, Content-Range=bytes */*} 
Verb: PUT 
Complete URL: http://174.129.125.96:8080/upload?ticket_id=5ea64d64547e38e5e3c121852b2d306d 

4639359 != 15125120 
verifyUpload to http://174.129.125.96:8080/upload?ticket_id=5ea64d64547e38e5e3c121852b2d306d >>> Response 
Success is not true! 
Code: 308 
Headers: {null=HTTP/1.1 308 Resume Incomplete, Range=bytes=0-4639359, Content-Length=0, Connection=close, Content-Type=text/plain, Server=Vimeo/1.0} 
Body: 

Затем код идет для завершения загрузки и установки видео информации (вы можете увидеть, что в my full code).

Редактировать 2: Исправлена ​​ошибка «% 20» из диапазона содержимого и получена эта ошибка при подключении. Я должен использовать либо «байты% 20» или не добавить «байты» вообще ...

Exception in thread "main" org.scribe.exceptions.OAuthException: Problems while creating connection. 
    at org.scribe.model.Request.send(Request.java:70) 
    at org.scribe.model.OAuthRequest.send(OAuthRequest.java:12) 
    at autouploadermodel.VimeoTest.signAndSendToVimeo(VimeoTest.java:282) 
    at autouploadermodel.VimeoTest.sendVideoBytes(VimeoTest.java:130) 
    at autouploadermodel.VimeoTest.sendVideo(VimeoTest.java:105) 
    at autouploadermodel.VimeoTest.main(VimeoTest.java:62) 
Caused by: java.io.IOException: Error writing to server 
    at sun.net.www.protocol.http.HttpURLConnection.writeRequests(HttpURLConnection.java:622) 
    at sun.net.www.protocol.http.HttpURLConnection.writeRequests(HttpURLConnection.java:634) 
    at sun.net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:1317) 
    at java.net.HttpURLConnection.getResponseCode(HttpURLConnection.java:468) 
    at org.scribe.model.Response.<init>(Response.java:28) 
    at org.scribe.model.Request.doSend(Request.java:110) 
    at org.scribe.model.Request.send(Request.java:62) 
    ... 5 more 
Java Result: 1 

Edit 1: Обновленный код и выход. Еще нужна помощь!

Answer 1

Я думаю, ваша проблема может быть просто результатом этой линии:

request.addHeader("Content-Range", "bytes%20" + contentRange); 

Try и заменить "bytes%20" просто "bytes "

В вашем выходе вы видите соответствующий заголовок имеет неправильное содержание:

Headers: { 
    Content-Length=15125120, 
    Content-Type=video/mp4, 
    Content-Range=bytes%200-10485759/15125120  <-- INCORRECT 
} 

По вопросу Content-Range ...

Вы правы, что примерный конечный блок контента должен иметь диапазон, например 14680064-15125119/15125120. Это часть спецификации HTTP 1.1.

Answer 2

Здесь

String contentRange = Integer.toString(byteNumber + 1); 

вы начинаете с 1, а не от 0 на первой итерации.

Здесь

request.addHeader("Content-Length", contentLength); 

вы положили всю длину содержимого файла, а не длину текущего фрагмента.

Answer 3

На странице API vimeo говорится: «Последний шаг - вызвать vimeo.videos.upload.complete, чтобы поставить очередь на видео для перекодирования. Этот вызов вернет video_id, который затем вы можете использовать в других вызовах установите заголовок, описание, конфиденциальность и т. д.). Если вы не вызываете этот метод, видео не будет обработано ».

Я добавил этот бит кода до конца и получил его на работу:

request = new OAuthRequest(Verb.PUT, "http://vimeo.com/api/rest/v2"); 
    request.addQuerystringParameter("method", "vimeo.videos.upload.complete"); 
    request.addQuerystringParameter("filename", video.getName()); 
    request.addQuerystringParameter("ticket_id", ticket); 
    service.signRequest(token, request);   

    response = request.send();