golang too many open files in go function, goroutine

Question

package main 

import (
    "os" 
    "sync" 
) 

func main() { 
    var wg sync.WaitGroup 
    wg.Add(1024 * 1024) 
    for i := 0; i < (1024 * 1024); i++ { 
     go func(index int) { 
      if f, e := os.Open(i); e == nil { 
       //blah blah 
       f.Close() 
      } 
     }(i) 
    } 
    wg.Done() 
} 

При запуске программы появляется следующая ошибка. «open $ too many open files» Пожалуйста, сообщите нам, как устранить ошибку.

Answer 1

У вас заканчиваются системные ресурсы, потому что вы используете слишком много файловых дескрипторов, не выпуская их достаточно. Вы должны ограничить параллелизм в своей программе.

Для этого вы можете иметь буферный канал, который действует как счетный семафор.

sem := make(chan struct{}, 12) // 12 is the maximum number of 
           // concurrent processes that may run at any time 

Теперь вы можете модифицировать свой метод, как:

func main() { 
    var wg sync.WaitGroup 
    wg.Add(1024 * 1024) 

    for i := 0; i < (1024 * 1024); i++ { 
     go func(index int) { 

      // if there are already 12 goroutines running, below send will block 
      // and a new file wont be open 
      sem <- struct{}{} 

      // once this goroutine finishes, empty the buffer by one 
      // so the next process may start (another goroutine blocked on 
      // above send will now be able to execute the statement and continue) 
      defer func() { <-sem }() 

      // wg.Done must be deferred after a read from sem so that 
      // it executes before the above read 
      defer wg.Done() 

      if f, e := os.Open(strconv.Itoa(index)); e != nil { 
       // handle file open failure 
       return 
      } 
      defer f.Close() 
      // handle open file 
     }(i) 
    } 

    wg.Wait() 
    close(sem) 
} 

Использование wg.Done также неправильно. Читайте об этом here

(Обратите внимание, что этот код, чтобы дать общее представление о таком роде проблемы Вы можете также обратиться к этому вопросу на рабочий пример:. Go worker pool with repetitive queue structure