Может ли кто-нибудь подробно объяснить смысл следующих счетчиков файловой системы?Hadoop Mapreduce Counters
FILE_BYTES_READ является число байтов, считанных в локальной файловой системе. Предположим, что все входные данные карты поступают из HDFS, а затем в фазе карты FILE_BYTES_READ должен быть равен нулю. С другой стороны, входной файл редукторов - это данные на локальных дисках на стороне сбоку, которые извлекаются из карт на стороне карты. Следовательно, FILE_BYTES_READ обозначает общее количество байтов, считанных редукторами.
FILE_BYTES_WRITTEN состоит из двух частей. Первая часть - от карт. Все коммутаторы будут вытеснять промежуточный вывод на диск. Все байты, которые записываются на диск, будут включены в FILE_BYTES_WRITTEN. Вторая часть - редукторы. В фазе тасования все редукторы будут получать промежуточные данные от карт и сливаются и разливаются на диски с редукторной стороны. Все байты, которые редукторы записывают на диск, также будут включены в FILE_BYTES_WRITTEN.
HDFS_BYTES_READ обозначает байты, считанные mappers из HDFS при запуске задания. Эти данные включают в себя не только содержимое исходного файла, но и метаданные о разбиениях.
HDFS_BYTES_WRITTEN обозначает байты, записанные в HDFS. Это число байтов конечного вывода.
операции чтения - количество операций чтения, таких как listStatus, getFileBlockLocations, открытый и т.д.
операции записи - количество операций записи, таких как создание, добавление, setPermission т.д.
Вы знаете, как вводить запросы в Google? Информация находится у вас под рукой. Почему вы спросили об этом здесь? –