Čvorovi za puštanje u rad i razgradnju u klasteru Hadoop

Znate li kako dodati ili ukloniti čvorove u Hadoop klasteru? Evo posta na blogu koji trebate obaviti - Čvorovi za puštanje u pogon i razgradnju u klasteru Hadoop.

Jedna od najatraktivnijih karakteristika Hadoop okvira je njegova upotreba robnog hardvera . Međutim, to dovodi do čestih padova DataNodea u Hadoop klasteru. Još jedna upečatljiva značajka Hadoop Framework-a je jednostavnost mjerila u skladu s brzim rastom volumena podataka . Zbog ova dva razloga jedan od najčešćih zadataka administratora Hadoopa je da provizija (Dodaj) i razgradnja (Ukloni) Čvorovi podataka u klasteru Hadoop.



upravljanje nabavom u upravljanju projektima

Čvorovi za puštanje u rad i razgradnju u klasteru Hadoop:

Dekomisija (uklanjanje) čvorova podataka u klasteru Hadoop



Gornji dijagram prikazuje korak po korak postupak uklanjanja DataNode iz klastera.

Prvi je zadatak ažurirati ' isključiti 'Datoteke za oboje HDFS (hdfs-site.xml) i MapReduce (mapred-site.xml).



Datoteka 'izuzeti':

  • za tragače za poslom sadrži popis hostova koje bi posao posao trebao izuzeti. Ako je vrijednost prazna, nijedan domaćin nije izuzet.
  • za Namenode sadrži popis hostova kojima nije dopušteno povezivanje s Namenodeom.

Evo primjera konfiguracije za datoteku za izuzeće u hdfs-site.xml i mapred-site.xml:

hdfs-site.xml




dfs.hosts.exclude
/ home / hadoop / isključuje
pravi

mapred-site.xml


mapred.hosts.exclude
/ home / hadoop / isključuje
pravi

Bilješka: Mora se navesti puni naziv datoteke.

Slično tome, imamo datoteke 'uključi':

  • za tragače za poslom koji sadrži popis čvorova koji se mogu povezati s JobTrackerom. Ako je vrijednost prazna, dozvoljeni su svi hostovi.
  • za Namenode koji sadrži popis hostova kojima je dopušteno povezivanje s Namenodeom. Ako je vrijednost prazna, dozvoljeni su svi hostovi.

' dfsadmin 'I' mradmin 'Naredbe osvježavaju konfiguraciju s promjenama kako bi ih osvijestili o novom čvoru.

' robovi Datoteka na glavnom poslužitelju sadrži popis svih podatkovnih čvorova. Ovo se također mora ažurirati kako bi se osiguralo bilo kakvih problema u budućem pokretanju / zaustavljanju hadoop demona.

Važan korak u procesu naplate čvora podataka je pokretanje Klaster uravnoteživača.

> hadoop balanser -prag 40

Balanser pokušava osigurati ravnotežu do određenog praga među podatkovnim čvorovima kopiranjem blokovskih podataka sa starijih čvorova na novo naručene čvorove.

Dakle, ovo možete učiniti - Puštanje u rad i Razgradnja Čvorovi u Hadoop klasteru.

Imate pitanje za nas? Molimo spomenite to u odjeljku za komentare i javit ćemo vam se.

Povezani Linkovi: