Hadoop ис­че­за­ет с кон­фе­рен­ций по Боль­шим Дан­ным

Ана­ли­ти­ки Gartner утвер­жда­ют, что дис­три­бу­ти­вы Hadoop вы­хо­дят из мо­ды

Computerworld - - Технологии - INFOWORLD, США

Имя Hadoop уже око­ло по­лу­го­да как ис­клю­чи­ли из на­зва­ний круп­ных от­рас­ле­вых ме­ро­при­я­тий, пи­шет сайт Datanami. На­при­мер, кон­фе­рен­ция, ор­га­ни­зу­е­мая ком­па­ни­я­ми Cloudera и O’reilly Media, те­перь но­сит на­зва­ние Strata Data Conference, а рань­ше — Strata + Hadoop World.

Го­во­ря о при­чи­нах, ана­ли­ти­ки Gartner в недав­нем до­кла­де «Ци­кл зре­ло­сти тех­но­ло­гий управ­ле­ния дан­ны­ми» пи­шут, что дис­три­бу­ти­вы Hadoop вы­хо­дят из мо­ды вви­ду «со­мни­тель­ной поль­зы» от на­ли­чия на пред­при­я­тии со­от­вет­ству­ю­ще­го пол­но­го сте­ка, в ко­то­рый, по­ми­мо стан­дарт­ных ком­по­нен­тов — рас­пре­де­лен­ной фай­ло­вой си­сте­мы HDFS, плат­фор­мы управ­ле­ния ре­сур­са­ми кла­сте­ров YARN и си­сте­мы об­ра­бот­ки дан­ных Mapreduce, мо­жет вхо­дить еще це­лый ряд мо­ду­лей, та­ких как Apache Pig, Hive, Hbase и др.

К трем ве­ду­щим дис­три­бу­ти­вам Hadoop обыч­но от­но­сят Mapr, Cloudera и Hortonworks. Гла­ва ком­па­нии Mapr Мэтт Миллс на недав­ней кон­фе­рен­ции Strata при­знал, что се­год­ня дис­три­бу­ти­вы Hadoop — это «биз­нес про­иг­рав­ших, по­это­му мы убра­ли сло­ни­ка из на­ше­го до­ма». В Mapr пред­по­чи­та­ют на­зы­вать ком­па­нию по­став­щи­ком кон­вер­гент­ной плат­фор­мы дан­ных.

В Cloudera, в свою оче­редь, со­об­ща­ют, что в ком­па­нии со­зна­тель­но ста­ли из­бе­гать ис­поль­зо­ва­ния име­ни Hadoop при мар­ке­тин­ге, по­сколь­ку «оно неод­но­знач­но тол­ку­ет­ся и пу­та­ет за­каз­чи­ков». Вза­мен в Cloudera пред­по­чи­та­ют объ­яс­нять, как мож­но ре­шать за­да­чи биз­не­са — рас­по­зна­ва­ние мо­шен­ни­честв, про­гно­зи­ро­ва­ние те­куч­ки кли­ен­тов и т. п. — с по­мо­щью па­кет­ных пред­ло­же­ний ком­па­нии, вклю­чая плат­фор­му Data Science, ком­плект ана­ли­ти­че­ских СУБД и па­кет тран­зак­ци­он­ных баз дан­ных.

Од­на­ко, хо­тя Hadoop боль­ше не в цен­тре вни­ма­ния, фрейм­ворк по-преж­не­му поль­зу­ет­ся спро­сом: про­да­жи рас­тут и у Cloudera, и у Hortonworks, и у Mapr. О том же го­во­рят и пред­ста­ви­те­ли ком­па­ний, раз­ра­ба­ты­ва­ю­щих вспо­мо­га­тель­ное ПО для Hadoop. На­при­мер, в Trifacta, пред­ла­га­ю­щей плат­фор­му под­го­тов­ки дан­ных для ана­ли­ти­ки, от­ме­ча­ют рост про­даж Hadoop, в част­но­сти для об­лач­ных раз­вер­ты­ва­ний. А в Pepperdata, по­став­ля­ю­щей ПО для мо­ни­то­рин­га и оп­ти­ми­за­ции ра­бо­чих за­дач Hadoop и Spark, за про­шлый год удво­и­ли объ­ем про­даж, в ос­нов­ном бла­го­да­ря кли­ен­там, рас­ши­ря­ю­щим кла­сте­ры Hadoop. Но в даль­ней­шем, уве­ре­ны в Pepperdata, ос­нов­ная часть спро­са бу­дет при­хо­дить­ся на тех, чьи ра­бо­чие за­да­чи вы­пол­ня­ют­ся в об­ла­ке, пре­иму­ще­ствен­но на ба­зе но­вых ар­хи­тек­тур на­по­до­бие си­сте­мы управ­ле­ния кон­тей­не­ри­зо­ван­ны­ми при­ло­же­ни­я­ми Kubernetes. Pepperdata вме­сте с Google, Red Hat и дру­ги­ми участ­ву­ет в про­ек­тах, в рам­ках ко­то­рых обес­пе­чи­ва­ет­ся вза­и­мо­дей­ствие Kubernetes, HDFS и Spark.

Вз­лет и па­де­ние Hadoop про­изо­шли при­мер­но за де­сять лет. Се­год­ня кор­по­ра­тив­ных за­каз­чи­ков боль­ше вол­ну­ет во­прос не ка­кую тех­но­ло­гию ана­ли­за вы­брать, а где раз­ме­стить дан­ные — ло­каль­но или в об­ла­ке, по­ла­га­ет Эш Ман­ши, гла­ва Pepperdata, быв­ший ди­рек­тор по тех­но­ло­ги­ям Yahoo, где за­ро­дил­ся Hadoop. Во мно­гих слу­ча­ях это за­ви­сит от за­ко­нов о ре­па­три­а­ции дан­ных, дей­ству­ю­щих в раз­лич­ных стра­нах, до­бав­ля­ет он.

Мно­гие участ­ни­ки Strata вы­ска­за­ли на­блю­де­ние, что се­год­ня Hadoop вы­тес­ня­ет­ся Spark, фрейм­вор­ком рас­пре­де­лен­ных вы­чис­ле­ний в кла­сте­рах, ли­шен­ным неко­то­рых огра­ни­че­ний Mapreduce.

На­при­мер, в Cloudera на­зы­ва­ют Mapreduce «без­услов­но мерт­вым», утвер­ждая, что в 2016 го­ду дис­три­бу­тив Hadoop ком­па­нии по­ку­па­ли пре­иму­ще­ствен­но ра­ди Apache Spark. При этом, хо­тя ос­нов­ные ком­по­нен­ты Hadoop за­ме­ня­ют на дру­гие, в Cloudera убеж­де­ны в вер­но­сти ос­нов­ной ар­хи­тек­тур­ной идеи Hadoop: дан­ные долж­ны быть цен­тра­ли­зо­ва­ны, и сред­ства их об­ра­бот­ки необ­хо­ди­мо раз­ме­щать там же, где на­хо­дят­ся са­ми дан­ные.

Меж­ду тем в ком­па­нии Atscale, ко­то­рая пред­ла­га­ет ра­бо­та­ю­щую по­верх Hadoop си­сте­му биз­нес-ана­ли­за, не со­глас­ны с тем, что Hadoop утра­чи­ва­ет цен­ность. Гла­ва ком­па­нии Дейв Ма­ри­а­ни го­во­рит, что на­сто­я­щей ре­во­лю­ци­ей ста­ло не по­яв­ле­ние Hadoop, а за­ме­на хра­ни­лищ дан­ных на озе­ра дан­ных, а у Hadoop, став­ше­го «са­мой пер­вой ре­а­ли­за­ци­ей озе­ра дан­ных», се­год­ня про­сто есть мно­го аль­тер­на­тив. В Atscale так­же не со­глас­ны с Gartner в том, что пред­при­я­тия мас­со­во от­ка­зы­ва­ют­ся от Hadoop: есть дан­ные, по­ка­зы­ва­ю­щие, что дис­три­бу­ти­вы по-преж­не­му по­ку­па­ют, а преж­ние поль­зо­ва­те­ли рас­ши­ря­ют име­ю­щи­е­ся ин­фра­струк­ту­ры.

По сло­вам Ма­ри­а­ни, в ком­па­нии не счи­та­ют, что Hadoop мертв: на кон­фе­рен­ци­ях нет преж­не­го эн­ту­зи­аз­ма по по­во­ду фрейм­вор­ка про­сто по­то­му что ему уже де­сять лет, и ауди­то­рия ме­ро­при­я­тий из­ме­ни­лась; сам же он за это вре­мя лишь стал бо­лее зре­лым.

вз­лет И ПА­ДЕ­НИЕ Hadoop про­изо­шли при­мер­но за де­сять лет

Newspapers in Russian

Newspapers from Russia

© PressReader. All rights reserved.