Apache Flink: Okvir analitike velikih podataka sljedeće generacije za stream i batch obradu podataka

Na ovom blogu saznajte sve o Apache Flinku i postavljanju Flink klastera. Flink podržava obradu u paketu i obradu u stvarnom vremenu i nužna je tehnologija Big Data za Big Data Analytics.



Apache Flink je platforma otvorenog koda za distribuirani stream i batch obradu podataka. Može raditi na sustavima Windows, Mac OS i Linux OS. U ovom postu na blogu razgovarajmo o tome kako lokalno postaviti Flink klaster. Po mnogočemu je sličan Sparku - ima API-je za obradu grafikona i strojnog učenja poput Apache Spark - ali Apache Flink i Apache Spark nisu potpuno isti.



Da biste postavili Flink klaster, na vašem sustavu mora biti instalirana java 7.x ili novija. Budući da sam na svom kraju instalirao Hadoop-2.2.0 na CentOS (Linux), preuzeo sam Flink paket koji je kompatibilan s Hadoop 2.x. Pokrenite naredbu ispod kako biste preuzeli Flink paket.

Naredba: wget http://archive.apache.org/dist/flink/flink-1.0.0/flink-1.0.0-bin-hadoop2-scala_2.10.tgz



Command-Apache-Flink

Otpakirajte datoteku da biste dobili direktorij flink.

Naredba: tar -xvf Preuzimanja / flink-1.0.0-bin-hadoop2-scala_2.10.tgz



Naredba: ls

životni ciklus aktivnosti androida

Dodajte varijable okruženja Flink u datoteku .bashrc.

Naredba: sudo gedit .bashrc

Morate pokrenuti donju naredbu kako bi se promjene u .bashrc datoteci aktivirale

Naredba: izvor .bashrc

Sada idite u direktorij flink i pokrenite klaster lokalno.

Naredba: cd pozamašan-1.0.0

Naredba: bin / start-local.sh

Nakon što započnete klaster, moći ćete vidjeti pokrenut novi demon JobManager.

Naredba: jps

Otvorite preglednik i idite na http: // localhost: 8081 da biste vidjeli web korisničko sučelje Apache Flink.

Pokrenimo jednostavan primjer broja riječi koristeći Apache Flink.

poziv referencom u c ++

Prije pokretanja primjera instalirajte netcat na vaš sustav (sudo yum install nc).

Sada u novom terminalu pokrenite naredbu ispod.

Naredba: nc -lk 9000

Pokrenite donju naredbu u flink terminalu. Ova naredba pokreće program koji uzima stream podatke kao ulaz i izvodi operaciju broja riječi na tim stream stream podacima.

Naredba: bin / flink run examples / streaming / SocketTextStreamWordCount.jar –hostname localhost –port 9000

U web korisničkom sučelju moći ćete vidjeti posao u aktivnom stanju.

Pokrenite naredbu ispod u novom terminalu, ovo će ispisati podatke koji se struje i obrađuju.

Naredba: rep -f log / flink - * - voditelj posla - *. out

Sada idite na terminal gdje ste pokrenuli netcat i upišite nešto.

Onog trenutka kada pritisnete tipku enter na ključnoj riječi nakon što ste upisali neke podatke na netcat terminalu, na tim će se podacima primijeniti operacija broja riječi i izlaz će se ovdje ispisati (flinkov dnevnik posla menadžera) u roku od milisekundi!

U vrlo kratkom roku podaci će se strujati, obrađivati ​​i ispisivati.

O Apacheu Flinku možete naučiti još mnogo toga. Dotaknut ćemo se i ostalih Flinkovih tema u našem nadolazećem blogu.

sličnosti između jave i javascripta

Imate pitanje za nas? Spomenite ih u odjeljku za komentare i javit ćemo vam se.

Vezane objave:

Apache Falcon: Nova platforma za upravljanje podacima za ekosustav Hadoop