Что та­кое Dataops?

Computerworld - - Первая Страница - Тор олав­сруд CIO Magazine, США

На­ря­ду с ро­стом по­пу­ляр­но­сти Devops на­би­ра­ет си­лу но­вая кон­цеп­ция, свя­зан­ная с тем, что и в раз­ра­ба­ты­ва­е­мые си­сте­мы, и в са­ми про­цес­сы раз­ра­бот­ки по­все­мест­но внед­ря­ют­ся эле­мен­ты ана­ли­за дан­ных.

На­ря­ду с ро­стом по­пу­ляр­но­сти Devops на­би­ра­ет си­лу но­вая кон­цеп­ция, свя­зан­ная с тем, что и в раз­ра­ба­ты­ва­е­мые си­сте­мы, и в са­ми про­цес­сы раз­ра­бот­ки по­все­мест­но внед­ря­ют­ся эле­мен­ты ана­ли­за дан­ных ataops (ак­ро­ним от data и operations) — это но­вая ме­то­до­ло­гия, пред­по­ла­га­ю­щая сов­мест­ную ра­бо­ту объ­еди­нен­ных ко­манд раз­ра­бот­ки и экс­плу­а­та­ции Ит-си­стем (Devops), ин­же­не­ров по под­го­тов­ке дан­ных (data engineer) и ис­сле­до­ва­те­лей дан­ных (data scientist) для со­зда­ния ин­стру­мен­тов, про­цес­сов и ор­га­ни­за­ци­он­ных струк­тур, необ­хо­ди­мых пред­при­я­тию, опи­ра­ю­ще­му­ся в ра­бо­те на дан­ные.

«Се­год­ня, по­ми­мо тен­ден­ции раз­ра­бот­ки с опо­рой на прин­ци­пы Devops, на­би­ра­ет си­лу но­вая, свя­зан­ная с тем, что и в си­сте­мы, и в са­ми про­цес­сы раз­ра­бот­ки внед­ря­ют­ся эле­мен­ты ана­ли­за дан­ных. По­это­му в груп­пе Devops дол­жен быть спе­ци­а­лист со­от­вет­ству­ю­ще­го про­фи­ля», — объ­яс­ня­ет Тед Дан­нинг, глав­ный ар­хи­тек­тор при­ло­же­ний ком­па­нии mapr Technologies.

прин­ци­пы Dataops

По­доб­но Devops, Dataops опи­ра­ет­ся на прин­ци­пы ско­рой (agile) раз­ра­бот­ки. В рам­ках Dataops при­о­ри­те­та­ми яв­ля­ют­ся непре­рыв­ная до­став­ка ана­ли­ти­че­ских зна­ний и ори­ен­та­ция на удо­вле­тво­рен­ность кли­ен­та.

Груп­пы Dataops вы­да­ют ана­ли­ти­ку, име­ю­щую прак­ти­че­скую цен­ность, ко­то­рая из­ме­ря­ет­ся поль­зой от предо­став­ля­е­мых зна­ний. Груп­пы Dataops го­то­вы ра­бо­тать в усло­ви­ях по­сто­ян­но­го изменения по­треб­но­стей кли­ен­та и все­гда стре­мят­ся их учи­ты­вать. Та­кие груп­пы обыч­но пред­став­ля­ют со­бой кол­лек­ти­вы, са­мо­ор­га­ни­зу­ю­щи­е­ся для до­сти­же­ния опре­де­лен­ных це­лей и от­да­ю­щие пред­по­чте­ние ста­биль­но­сти и мас­шта­би­ру­е­мо­сти ко­ман­ды и про­цес­сов, а не «тру­до­вым ре­кор­дам».

Од­на из глав­ных за­дач груп­пы Dataops — обес­пе­чи­вать ор­кест­ров­ку дан­ных, ин­стру­мен­тов, ко­да и сред в мас­шта­бах все­го про­ек­та. Ана­ли­ти­че­ские кон­вей­е­ры ра­бо­та­ют по ана­ло­гии с ли­ни­я­ми бе­реж­ли­во­го про­из­вод­ства; при этом для Dataops боль­шое зна­че­ние име­ет вос­про­из­во­ди­мость ре­зуль­та­тов.

для че­го го­дит­ся Dataops

Dataops — под­ход, на­прав­лен­ный на под­держ­ку про­цес­сов ма­шин­но­го обу­че­ния. «На­при­мер, ис­сле­до­ва­те­ли дан­ных, ра­бо­тая по схе­ме Dataops, мо­гут бо­лее про­дук­тив­но вза­и­мо­дей­ство­вать с ин­же­не­ра­ми ПО в про­цес­се пе­ре­да­чи от­де­лу экс­плу­а­та­ции мо­де­лей для раз­вер­ты­ва­ния, — го­во­рит Эл­лен Фрид­ман, ве­ду­щий тех­но­лог mapr. — Но Dataops не огра­ни­чи­ва­ет­ся ма­шин­ным обу­че­ни­ем. Этот под­ход по­ле­зен для лю­бых ра­бот, свя­зан­ных с ана­ли­зом дан­ных, так как он об­лег­ча­ет ис­поль­зо­ва­ние пре­иму­ществ, предо­став­ля­е­мых рас­пре­де­лен­ны­ми плат­фор­ма­ми управ­ле­ния дан­ны­ми».

Кро­ме то­го, Dataops хо­ро­шо со­че­та­ет­ся с ар­хи­тек­ту­ра­ми на ос­но­ве мик­ро­сер­ви­сов.

Dataops на прак­ти­ке

Но­вые тех­но­ло­гии тре­бу­ют от пред­при­я­тий пе­ре­мен, спо­соб­но­стей ра­бо­тать с боль­ши­ми объ­е­ма­ми дан­ных и опе­ра­тив­но ре­а­ги­ро­вать на со­бы­тия.

Тра­ди­ци­он­ные, изо­ли­ро­ван­ные друг от дру­га от­де­лы — слиш­ком негиб­кие и мед­ли­тель­ные для ор­га­ни­за­ций, осва­и­ва­ю­щих ра­бо­ту с Боль­ши­ми Дан­ны­ми и про­хо­дя­щих че­рез циф­ро­вую транс­фор­ма­цию. Имен­но в та­ких си­ту­а­ци­ях спо­соб­ны по­мочь прин­ци­пы Dataops.

Ме­то­до­ло­гия Devops, на­пом­ним, сбли­жа­ет раз­ра­бот­чи­ков и спе­ци­а­ли­стов по экс­плу­а­та­ции ПО, по­мо­га­ет луч­ше со­гла­со­вать раз­ра­бот­ку с це­ля­ми биз­не­са, со­кра­тить цик­лы вы­пус­ка и уве­ли­чить ча­сто­ту раз­вер­ты­ва­ний. Глав­ная ха­рак­тер­ная чер­та Devops — кросс-функ­ци­о­наль­ные груп­пы, вклю­ча­ю­щие спе­ци­а­ли­стов по экс­плу­а­та­ции, про­грамм­ной ин­же­не­рии, раз­ра­бот­ке ар­хи­тек­ту­ры, пла­ни­ро­ва­нию и управ­ле­нию про­дук­та­ми. Dataops до­бав­ля­ет к это­му пе­реч­ню ис­сле­до­ва­те­лей дан­ных и спе­ци­а­ли­стов по их под­го­тов­ке, до­пол­ни­тель­но улуч­шая вза­и­мо­дей­ствие меж­ду со­от­вет­ству­ю­щи­ми участ­ни­ка­ми.

Экс­пер­ты под­чер­ки­ва­ют: что­бы груп­па Dataops ста­ла мак­си­маль­но эф­фек­тив­ной, в ней долж­ны быть спе­ци­а­ли­сты по ис­сле­до­ва­нию дан­ных.

От тра­ди­ци­он­но­го прин­ци­па ор­га­ни­за­ции ра­бо­ты, ко­гда ана­ли­ти­ки изо­ли­ро­ва­ны от раз­ра­бот­чи­ков, необ­хо­ди­мо от­ка­зы­вать­ся: ре­аль­ная ко­ор­ди­на­ция воз­мож­на лишь при тес­ном вза­и­мо­дей­ствии, вплоть до сов­мест­но­го вы­слу­ши­ва­ния жа­лоб за­каз­чи­ков. Ис­сле­до­ва­те­ли дан­ных долж­ны про­хо­дить те же про­це­ду­ры от­бо­ра в ко­ман­ду, что и раз­ра­бот­чи­ки, вме­сте с ни­ми рас­смат­ри­вать ком­мен­та­рии поль­зо­ва­те­лей и ре­ко­мен­до­вать ре­ше­ния про­блем.

При этом не тре­бу­ет­ся, что­бы спе­ци­а­ли­сты в об­ла­сти Data Science ра­бо­та­ли в груп­пе Dataops на по­сто­ян­ной ос­но­ве: обыч­но ис­сле­до­ва­те­ля дан­ных вклю­ча­ют в ко­ман­ду на опре­де­лен­ное вре­мя, впо­след­ствии он мо­жет пе­рей­ти в дру­гую ко­ман­ду, а его роль в груп­пе бе­рет на се­бя дру­гой участ­ник, на­при­мер ин­же­нер по под­го­тов­ке дан­ных, ины­ми сло­ва­ми, про­ис­хо­дит по­сто­ян­ная ро­та­ция.

как сфор­ми­ро­вать ко­ман­ду Dataops

Для со­зда­ния ко­ман­ды Dataops не обя­за­тель­но на­ни­мать но­вых спе­ци­а­ли­стов. Во мно­гих ор­га­ни­за­ци­ях уже есть ко­стяк груп­пы Dataops — участ­ни­ки име­ю­щих­ся ко­манд Devops. Сле­ду­ю­щий этап — вы­брать про­ек­ты, со­пря­жен­ные с раз­ра­бот­кой ме­ха­низ­мов ана­ли­за боль­ших объ­е­мов дан­ных, и най­ти спе­ци­а­ли­ста, име­ю­ще­го опыт ис­сле­до­ва­ния дан­ных. Это мо­жет быть ин­же­нер по под­го­тов­ке дан­ных, а не обя­за­тель­но спе­ци­а­лист в об­ла­сти Data Science.

В круп­но­мас­штаб­ных про­ек­тах ка­кие-то ро­ли Dataops мо­гут быть рас­пре­де­ле­ны меж­ду несколь­ки­ми участ­ни­ка­ми. Ча­сто встре­ча­ет­ся и си­ту­а­ция, ко­гда один спе­ци­а­лист бе­рет на се­бя бо­лее од­ной ро­ли. На­при­мер, член ко­ман­ды мо­жет иметь и на­вы­ки экс­плу­а­та­ции, и на­вы­ки про­грамм­ной ин­же­не­рии, а участ­ни­ки с опы­том раз­ра­бот­ки мо­гут до­пол­ни­тель­но иметь ква­ли­фи­ка­цию ин­же­не­ров по под­го­тов­ке дан­ных. Ча­сто со­от­вет­ству­ю­щий опыт есть и у ис­сле­до­ва­те­лей дан­ных. Реже все­го встре­ча­ет­ся сов­ме­ще­ние на­вы­ков ис­сле­до­ва­ния дан­ных и экс­плу­а­та­ции ПО.

Ко­гда речь идет об ин­же­нер­ных ко­ман­дах, до­ста­точ­но бы­ва­ет чет­ко обо­зна­чить це­ли, по­сле че­го, ви­дя об­щую цель, груп­па са­мо­ор­га­ни­зу­ет­ся для ре­ше­ния по­став­лен­ной за­да­чи. В ко­ман­дах Dataops си­ту­а­ция слож­нее, по­сколь­ку раз­ные участ­ни­ки рас­смат­ри­ва­ют за­да­чу с раз­ных то­чек зре­ния. На­при­мер, спе­ци­а­ли­сты по экс­плу­а­та­ции бу­дут бес­по­ко­ить­ся о на­деж­но­сти, о том, что­бы от­клик обя­за­тель­но по­сту­пал в те­че­ние опре­де­лен­но­го вре­ме­ни. Ис­сле­до­ва­те­ли дан­ных в свою оче­редь фо­ку­си­ру­ют­ся на обес­пе­че­нии точ­но­сти по­сту­па­ю­щих от­ве­тов. Но ко­гда все участ­ни­ки стре­мят­ся ре­шить об­щую за­да­чу и го­то­вы к ком­про­мис­сам, вы­стро­ить необ­хо­ди­мую ор­га­ни­за­ци­он­ную струк­ту­ру бу­дет до­ста­точ­но про­сто, за­клю­ча­ет Дан­нинг.

Неред­ко про­фес­си­о­на­лы необ­хо­ди­мой ква­ли­фи­ка­ции в ком­па­нии уже есть, нужны лишь неко­то­рые пе­ре­ста­нов­ки и на­строй­ка вза­и­мо­дей­ствия

Newspapers in Russian

Newspapers from Russia

© PressReader. All rights reserved.