Існує кілька компонентів екосистеми Hadoop. Однак він складається з чотирьох основних компонентів. Вони є Hadoop Distributed File System (HDFS), Yet Another Resource Negotiator (YARN), MapReduce і Hadoop common. Існують також інші компоненти та інструменти, але більшість із них підтримує ці чотири основні компоненти.
Основні компоненти архітектури Hadoop
- Розподілена файлова система Hadoop (HDFS) Одним із найважливіших компонентів архітектури Hadoop є розподілена файлова система Hadoop (HDFS). …
- Ще один переговорник ресурсів (YARN) …
- Модель програмування MapReduce. …
- Hadoop Common.
Hadoop складається з 4 основних модулів: Hadoop Distributed File System (HDFS), Yet Another Resource Negotiator (YARN), Hadoop Common і MapReduce як показано на рис. 2.2. Hadoop common — це просто набір бібліотек і утиліт, які використовуються іншими модулями Hadoop.
Файлова система HDFS складається з набору основних служб (NameNode, вторинний NameNode і DataNodes). NameNode і вторинний NameNode керують метаданими HDFS. DataNodes розміщують базові дані HDFS. NameNode відстежує, які DataNodes містять вміст певного файлу в HDFS.
- NameNode. NameNode є головним сервером. …
- Secondary NameNode. Вторинний сервер NameNode відповідає за збереження копії метаданих на диску. …
- Кластер Hadoop – архітектура на основі стійки. …
- Механізм читання та запису HDFS. …
- Вузли даних. …
- Менеджер ресурсів. …
- Майстер застосування. …
- Менеджер вузлів.
Три основні компоненти великих даних: Обсяг (великий обсяг даних) Velocity (висока швидкість генерації даних) Різноманітність (різні формати даних)