HttpWebRequest & Native GZip сжатие

Question

При запросе страницы с сжатием Gzip я получаю много из следующих ошибок:

System.IO.InvalidDataException: CRC в GZip сноска, не совпадает с CRC вычисляется из декомпрессированных данные

Я использую родной GZipStream для распаковки, и я рассматриваю это решение. Имея это в виду, есть ли работа для решения этой или другой библиотеки GZip (бесплатно?), Которая будет правильно обрабатывать эту проблему?

Я проверки WebResponse ContentEncoding является GZIP

Update 5/11 упрощенный Snippit

//Caller 
public void SOSampleGet(string url) 
{ 
    // Initialize the WebRequest. 
    webRequest = (HttpWebRequest)WebRequest.Create(url); 
    webRequest.Method = WebRequestMethods.Http.Get; 
    webRequest.KeepAlive = true; 
    webRequest.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"; 
    webRequest.Headers.Add("Accept-Encoding", "gzip,deflate"); 
    webRequest.Referer = WebUtil.GetDomain(url); 

    HttpWebResponse webResponse = (HttpWebResponse)webRequest.GetResponse();  

    using (Stream stream = GetStreamForResponse(webResponse, READTIMEOUT_CONST)) 
    { 
     //use stream 
    } 
} 

//Method 
private static Stream GetStreamForResponse(HttpWebResponse webResponse, int readTimeOut) 
{ 
    Stream stream; 
    switch (webResponse.ContentEncoding.ToUpperInvariant()) 
    { 
     case "GZIP": 
      stream = new GZipStream(webResponse.GetResponseStream(), CompressionMode.Decompress); 
      break; 
     case "DEFLATE": 
      stream = new DeflateStream(webResponse.GetResponseStream(), CompressionMode.Decompress); 
      break; 

     default: 
      stream = webResponse.GetResponseStream(); 
      stream.ReadTimeout = readTimeOut; 
      break; 
     }  
    return stream; 
} 

Answer 1

Уроженец GZipStream может прочитать сжатый GZIP (RFC 1952) поток, но он может» t обрабатывает формат файла ZIP.

От http://www.geekpedia.com/tutorial190_Zipping-files-using-GZipStream.html:

Недостатком использования класса GZipStream через 3 партия продукта является то, что он имеет ограниченные возможности . Одним из ограничений является то, что вы не можете указать имя файла , который вы размещаете в архиве. Когда GZipStream сжимает файл в ZIP-архив, он берет последовательность байтов из из этого файла, а использует алгоритмы сжатия, которые создают меньшую последовательность байтов. Новая последовательность байтов помещается в новый файл ZIP в . Когда вы открываете ZIP-файл , вы сами откроете архивный файл ; самые популярные ZIP экстракторы (WinZip, WinRar и т. д.) будут показать вам содержимое ZIP в виде файла , который имеет то же самое, что и архив .

---

EDIT: выше примечание неправильно. GZipStream не создает ZIP-файл. Это не «поток ZIP с одним файлом». Это поток GZIP. Это разные вещи. Нет никакой гарантии, что инструменты, обрабатывающие ZIP-архивы, будут обрабатывать файл .gz.

---

Для реализации, которая может читать ZIP архивы, в отличие от одного файла ZIP потоков, попробуйте #ziplib (SharpZipLib, formerly NZipLib).

Answer 2

См. Мой комментарий выше, но это обычно является признаком поврежденного файла. Если сайт является вашим собственным, замените файл, к которому вы пытаетесь получить доступ.

Answer 3

Вы развеяете и закрываете поток? Попробуйте обернуть свой GZipStream с помощью инструкции.

Answer 4

Я нашел пример кода, который показывает весь запрос/ответ для GZip-кодированных страниц. Он использует GZipStream.

http://www.know24.net/blog/Decompress+GZip+Deflate+HTTP+Responses.aspx

Answer 5

Что о WebRequest AutomaticDecompression собственности доступен, так как .net 2? Просто добавьте:

webRequest.AutomaticDecompression = DecompressionMethods.GZip | DecompressionMethods.Deflate; 

Он также добавляет gzip, дефлятирует заголовок кодировки accept.

См http://msdn.microsoft.com/en-us/library/system.net.httpwebrequest.automaticdecompression.aspx

Answer 6

для .NET Основные вещи немного сложнее. A GZipStream необходим, поскольку нет свойства (с момента написания) для AutomaticCompression. Смотрите мой ответ здесь: https://stackoverflow.com/a/44508724/2421277

Код от ответа:

var req = WebRequest.CreateHttp(uri); 

/* 
* Headers 
*/ 
req.Headers[HttpRequestHeader.AcceptEncoding] = "gzip, deflate"; 

/* 
* Execute 
*/ 
try 
{ 
    using (var resp = await req.GetResponseAsync()) 
    { 
     using (var str = resp.GetResponseStream()) 
     using (var gsr = new GZipStream(str, CompressionMode.Decompress)) 
     using (var sr = new StreamReader(gsr)) 

     { 
      string s = await sr.ReadToEndAsync(); 
     } 
    } 
} 
catch (WebException ex) 
{ 
    using (HttpWebResponse response = (HttpWebResponse)ex.Response) 
    { 
     using (StreamReader sr = new StreamReader(response.GetResponseStream())) 
     { 
      string respStr = sr.ReadToEnd(); 
      int statusCode = (int)response.StatusCode; 

      string errorMsh = $"Request ({url}) failed ({statusCode}) on, with error: {respStr}"; 
     } 
    } 
}