Logo bg.boatexistence.com

Как работят картографите и редукторите?

Съдържание:

Как работят картографите и редукторите?
Как работят картографите и редукторите?

Видео: Как работят картографите и редукторите?

Видео: Как работят картографите и редукторите?
Видео: 💪 Geely Atlas ничем не хуже "японцев" и "немцев"? Что не так с его надёжностью? 2024, Може
Anonim

Изходът на Mapper или картографско задание (двойки ключ-стойност) се въвежда в редуктор Редукторът получава двойката ключ-стойност от множество задачи на карта. След това редукторът събира тези междинни кортежи от данни (междинна двойка ключ-стойност) в по-малък набор от кортежи или двойки ключ-стойност, което е крайният изход.

Какво правят картографите и редукторите?

Hadoop Mapper е функция или задача, която се използва за обработка на всички входни записи от файл и генериране на изхода, който работи като вход за Reducer Той произвежда изхода чрез връщане на new двойки ключ-стойност. … Картографът също така генерира някои малки блокове от данни, докато обработва входните записи като двойка ключ-стойност.

Каква е разликата между мапер и редуктор?

Каква е основната разлика между Mapper и Reducer? Задачата на Mapper е първата фаза на обработка, която обработва всеки входен запис (от RecordReader) и генерира междинна двойка ключ-стойност. Методът Reduce се извиква отделно за всяка двойка списъци ключ/стойности.

Как изчислявате броя на картографите и редукторите?

Зависи от това колко ядра и колко памет имате на всяко подчинено устройство. Като цяло, един мапер трябва получава 1 до 1,5 ядра процесори Така че ако имате 15 ядра, тогава можете да стартирате 10 Mapper на възел. Така че, ако имате 100 възли с данни в Hadoop Cluster, тогава можете да стартирате 1000 Mappers в клъстер.

Как работи функцията Mapper?

Mapper е функция, която обработва входните данни Картографът обработва данните и създава няколко малки парчета данни. Входът към функцията за картографиране е под формата на двойки (ключ, стойност), въпреки че входът към програма MapReduce е файл или директория (която се съхранява в HDFS).

Препоръчано: