Поиск по нескольким темам в одной папке в то же время

Question

В настоящее время у меня есть .txt-файл из примерно 170 000 jpg-файлов, и я читаю их все в List (fileNames).

Я хочу найти одну папку (в этой папке есть подпапки), чтобы проверить, существует ли каждый файл в именах файлов в этой папке, и если да, скопируйте его в новую папку.

Я делал приблизительную оценку, но каждый поиск и копирование для каждого имени файла в файлах имен занимает около 0,5 секунд. Таким образом, 170 000 секунд составляют примерно 48 часов, поэтому разделите на 2, что займет около 24 часов, чтобы мое приложение искало каждое имя файла, используя 1 поток! Очевидно, это слишком долго, поэтому я хочу сузить это и ускорить процесс. Каков наилучший способ сделать это с помощью многопоточности?

В настоящее время я думал создать 20 отдельных потоков и разбить мой список (имена файлов) на 20 разных списков и искать файлы одновременно. Например, я бы 20 различных потоков выполнения ниже в то же время:

  foreach (string str in fileNames) 
      { 
       foreach (var file in Directory.GetFiles(folderToCheckForFileName, str, SearchOption.AllDirectories)) 
       { 
        string combinedPath = Path.Combine(newTargetDirectory, Path.GetFileName(file)); 
        if (!File.Exists(combinedPath)) 
        { 
         File.Copy(file, combinedPath); 
        } 
       } 
      } 

ОБНОВЛЕНО ПОКАЗАТЬ МОЕ РЕШЕНИЕ НИЖЕ:

  string[] folderToCheckForFileNames = Directory.GetFiles("C:\\Users\\Alex\\Desktop\\ok", "*.jpg", SearchOption.AllDirectories); 

      foreach(string str in fileNames) 
      { 
       Parallel.ForEach(folderToCheckForFileNames, currentFile => 
        { 
         string filename = Path.GetFileName(currentFile); 
         if (str == filename) 
         { 
          string combinedPath = Path.Combine(targetDir, filename); 
          if (!File.Exists(combinedPath)) 
          { 
           File.Copy(currentFile, combinedPath); 
           Console.WriteLine("FOUND A MATCH AND COPIED" + currentFile); 
          } 
         } 

        } 
       ); 

      } 

Спасибо всем за ваш вклад! Очень ценим!

Answer 1

Вместо того, чтобы использовать обычное высказывание Еогеасп в выполнении поиска, вы должны использовать Parallel LINQ. Parallel linq сочетает в себе простоту и удобочитаемость синтаксиса LINQ с возможностью параллельного программирования. Также как код, предназначенный для параллельной библиотеки задач. Это защитит вас от малой обработки нисходящего потока и вероятных исключений (трудно найти/отлаживать исключения), разделив вашу работу среди многих потоков. Таким образом, вы могли бы сделать что-то вроде этого:

fileNames.AsParallel().ForAll(str => 
      { 
       var files = Directory.GetFiles(folderToCheckForFileName, str, SearchOption.AllDirectories); 
       files.AsParallel().ForAll(file => 
       { 
        if (!string.IsNullOrEmpty(file)) 
        { 
         string combinedPath = Path.Combine(newTargetDirectory, Path.GetFileName(file)); 
         if (!File.Exists(combinedPath)) 
         { 
          File.Copy(file, combinedPath); 
         } 
        } 
       }); 
      }); 

Answer 2

20 разных потоков не помогут, если ваш компьютер имеет менее 20 ядер. Фактически, это может сделать процесс медленнее, потому что вы должны: 1) вынуждены тратить время переключение контекста между каждым потоком (который является способом вашего процессора для эмуляции более 1 потока/ядра) и 2) Thread в .NET резервирует 1 МБ для его стек, который довольно здоров.

Вместо этого попробуйте разделить свои входы/выходы на рабочие нагрузки async, используя Task.Run для частей, связанных с процессором. Кроме того, держите свой номер Tasks, возможно, от 4 до 8 при макс.

Пример кода:

var tasks = new Task[8]; 
var names = fileNames.ToArray(); 
for (int i = 0; i < tasks.Length; i++) 
{ 
    int index = i; 
    tasks[i] = Task.Run(() => 
    { 
     for (int current = index; current < names.Length; current += 8) 
     { 
      // execute the workload 
      string str = names[current]; 
      foreach (var file in Directory.GetFiles(folderToCheckForFileName, str, SearchOption.AllDirectories)) 
      { 
       string combinedPath = Path.Combine(newTargetDirectory, Path.GetFileName(file)); 
       if (!File.Exists(combinedPath)) 
       { 
        File.Copy(file, combinedPath); 
       } 
      } 
     } 
    }); 
} 
Task.WaitAll(tasks);