Проблема с огромным CSV-файлом с php fgetcsv - понимание потребления памяти

Question

Доброе утро, Я действительно переживаю тяжелые уроки, пытаясь обрабатывать огромные файлы csv до 4 ГБ.

Цель состоит в том, чтобы искать некоторые элементы в файле csv (данные данных Amazon) с помощью данного режима браузера, а также с помощью определенного элемента id (ASIN). Чтобы получить сочетание существующих элементов (в моей базе данных) плюс некоторые дополнительные новые темы, так как время от времени элементы исчезают на рынке. Я также фильтрую название элементов, потому что есть много элементов, использующих то же самое.

Я читал здесь много советов и наконец решил использовать php's fgetcsv() и думал, что эта функция не исчерпывает память, так как она читает файл по строкам. Но независимо от того, что я пытаюсь, у меня всегда заканчивается память. Я не могу понять, почему мой код использует столько памяти.

Я установил ограничение на память до 4096 МБ, ограничение времени равно 0. Сервер имеет 64 ГБ RAM и два жестких диска SSD.

Может кто-нибудь, пожалуйста, загляните в мой кусок кода и объясните, как возможно, что у них не хватает памяти и что важнее, как используется память?

private function performSearchByASINs() 
{ 
    $found = 0; 
    $needed = 0; 
    $minimum = 84; 
    if(is_array($this->searchASINs) && !empty($this->searchASINs)) 
    { 
     $needed = count($this->searchASINs); 
    } 
    if($this->searchFeed == NULL || $this->searchFeed == '') 
    { 
     return false; 
    } 
    $csv = fopen($this->searchFeed, 'r'); 
    if($csv) 
    { 
     $l = 0; 
     $title_array = array(); 
     while(($line = fgetcsv($csv, 0, ',', '"')) !== false) 
     { 
      $header = array(); 
      if(trim($line[6]) != '') 
      { 
       if($l == 0) 
       { 
        $header = $line; 
       } 
       else 
       { 
        $asin = $line[0]; 
        $title = $this->prepTitleDesc($line[6]); 
        if(is_array($this->searchASINs) 
        && !empty($this->searchASINs) 
        && in_array($asin, $this->searchASINs)) //search for existing items to get them updated 
        { 
         $add = true; 
         if(in_array($title, $title_array)) 
         { 
          $add = false; 
         } 
         if($add === true) 
         { 
          $this->itemsByASIN[$asin] = new stdClass(); 
          foreach($header as $k => $key) 
          { 
           if(isset($line[$k])) 
           { 
            $this->itemsByASIN[$asin]->$key = trim(strip_tags($line[$k], '<br><br/><ul><li>')); 
           } 
          } 
          $title_array[] = $title; 
          $found++; 
         } 
        } 
        if(($line[20] == $this->bnid || $line[21] == $this->bnid) 
        && count($this->itemsByKey) < $minimum 
        && !isset($this->itemsByASIN[$asin])) // searching for new items 
        { 
         $add = true; 
         if(in_array($title, $title_array)) 
         { 
          $add = false; 
         } 
         if($add === true) 
         { 
          $this->itemsByKey[$asin] = new stdClass(); 
          foreach($header as $k => $key) 
          { 
           if(isset($line[$k])) 
           { 
            $this->itemsByKey[$asin]->$key = trim(strip_tags($line[$k], '<br><br/><ul><li>'));         
           } 
          } 
          $title_array[] = $title; 
          $found++; 
         } 
        } 
       } 
       $l++; 
       if($l > 200000 || $found == $minimum) 
       { 
        break; 
       } 
      } 
     } 
     fclose($csv); 
    } 
} 

Answer 1

Очень сложно управлять большими данными с использованием массива без возникновения проблемы с таймаутом. Вместо этого, почему бы не разобрать этот файл данных в таблице базы данных и сделать тяжелый подъем оттуда.

Answer 2

Вы пробовали это? SplFileObject::fgetcsv

<?php 
$file = new SplFileObject("data.csv"); 
while (!$file->eof()) { 
    //your code here 
} 
?> 

Вы работаете из памяти, потому что вы используете переменные, и вы никогда не делаете в unset(); и использовать слишком много вложенных foreach. Вы можете уменьшить этот код в большем количестве функций. Решение должно быть, вместо этого используйте реальную базу данных.

Answer 3

Я знаю, что мой ответ немного запоздалый, но у меня была аналогичная проблема с fgets() и вещи, основанные на fgets(), как функция SplFileObject->current(). В моем случае это было в системе Windows при попытке прочитать файл + 800MB. Я думаю, что fgets() не освобождает память предыдущей строки в цикле. Таким образом, каждая прочитанная строка оставалась в памяти и позволяла ошибкам со смертельным исходом. Я исправил его, используя fread($lineLength), но это немного сложнее, так как вы должны указать длину.