Košnica i pređa se elektrificiraju iskrom

U ovom blogu Apache Spark & ​​big data, pogledajmo kako napraviti Spark za određenu verziju Hadoop-a. Također ćemo naučiti kako graditi Spark za PREDIJU i KOŠNJICU.

Na ovom blogu, pogledajmo kako napraviti Spark za određenu verziju Hadoop-a.



Također ćemo naučiti kako graditi Spark sa košnicom i pređom.



KM

što je frame u javi

S obzirom na to da imate Hadoop, jdk, mvn i ići unaprijed instaliran i unaprijed konfiguriran na vašem sustavu.



configure-Building-Yarn-and-Hive-on-Spark

Otvoren Preglednik Mozilla i Preuzmi Iskra koristeći vezu ispod.

https://edureka.wistia.com/medias/k14eamzaza/



Otvoreni terminal.

Naredba: tar -xvf Downloads / spark-1.1.1.tgz

Naredba: ls

Otvorite direktorij spark-1.1.1.

Možete otvoriti pom.xml datoteka. Ova datoteka daje vam informacije o svim ovisnosti trebaš.

Nemojte ga uređivati ​​kako biste izbjegli probleme.

Naredba: cd spark-1.1.1 /

Naredba: sudo gedit sbt / sbt-launch-lib.bash

Uredite datoteku kao donju snimku, spremite je i zatvorite.

Smanjujemo memoriju kako bismo izbjegli problem prostora hrpe objekata kako je spomenuto u donjoj snimci.

Sada pokrenite donju naredbu u terminalu da biste izgradili iskru za Hadoop 2.2.0 s HIVE i YARN.

Naredba: ./sbt/sbt -P pređa -P košnica -Phadoop-2.2 -D hadoop.verzija = 2,2,0 -D preskočiteTest skupština

Napomena: Moja verzija Hadoop-a je 2.2.0, možete je promijeniti u skladu s verzijom Hadoop-a.

Za ostale verzije Hadoop-a

# Apache Hadoop 2.0.5-alfa

-Dhadoop.verzija = 2.0.5-alfa

#Cloudera CDH 4.2.0

-Dhadoop.verzija = 2.0.0-cdh4.2.0

# Apache Hadoop 0.23.x

-Phadoop-0,23 -Dhadoop.verzija = 0,23,7

# Apache Hadoop 2.3.X

-Phadoop-2.3 -Dhadoop.verzija = 2.3.0

# Apache Hadoop 2.4.X

-Phadoop-2.4 -Dhadoop.verzija = 2.4.0

Trebat će malo vremena za sastavljanje i pakiranje, pričekajte dok se ne završi.

Dvije staklenke iskra-sklop-1.1.1-hadoop2.2.0.jar i iskre-primjeri-1.1.1-hadoop2.2.0.jar stvara se.

Put od iskra-sklop-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar

Put od spark-primjeri-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar

Čestitamo, uspješno ste izgradili Spark za košnicu i pređu.

Imate pitanje za nas? Molimo navedite ih u odjeljku za komentare i javit ćemo vam se.

Vezane objave:

Apache Spark s Hadoop-om - Zašto je to važno?