Ра­зум­ные под­хо­ды к за­щи­те и вос­ста­нов­ле­нию дан­ных

Lan - - Колонка Редактора - Рич Вай­нинг

Все бы­ло бы очень про­сто, ес­ли бы дан­ные на­хо­ди­лись под по­сто­ян­ной за­щи­той от всех ви­дов угроз, обес­пе­че­ние их за­щи­ты не ока­зы­ва­ло вли­я­ния на биз­нес-опе­ра­ции и дан­ные уда­ва­лось мгно­вен­но вос­ста­но­вить. Но при про­ек­ти­ро­ва­нии ин­фра­струк­ту­ры эф­фек­тив­ной за­щи­ты дан­ных при­хо­дит­ся ид­ти на опре­де­лен­ные ком­про­мис­сы.

с аль­тер­на­ти­ва­ми за­клю­ча­ет­ся в том, что для него не тре­бу­ет­ся ра­ди­каль­ной мо­дер­ни­за­ции се­ти: под­держ­ка NVMe в се­ти Fibre Channel на ба­зе обо­ру­до­ва­ния 5-го и 6-го по­ко­ле­ния достигается об­нов­ле­ни­ем про­грамм­но­го обес­пе­че­ния. При этом к од­ной и той же ин­фра­струк­ту­ре Fibre Channel мож­но под­клю­чать си­сте­мы хра­не­ния с под­держ­кой как FCP, так и FC-NVMe, чем обес­пе­чи­ва­ет­ся по­сте­пен­ный пе­ре­ход на но­вую тех­но­ло­гию.

NVMe ПО­ВЕРХ RDMA

Аль­тер­на­ти­вой Fibre Channel яв­ля­ет­ся ис­поль­зо­ва­ние RDMA. В свою оче­редь, RDMA в ка­че­стве транс­пор­та мо­жет за­дей­ство­вать InfiniBand, Ethernet (точнее, кон­вер­гент­ный Ethernet — RoCE) и про­то­кол TCP (iWARP).

Ме­тод пря­мо­го до­сту­па к па­мя­ти (Remote Direct Memory Access, RDMA) по­лу­чил ши­ро­кое рас­про­стра­не­ние в вы­со­ко­про­из­во­ди­тель­ных вы­чис­ле­ни­ях, где пер­во­на­чаль­но он был ре­а­ли­зо­ван по­верх InfiniBand. С по­мо­щью RDMA ком­пью­те­ры в се­ти мо­гут об­ме­ни­вать­ся на­хо­дя­щи­ми­ся в ос­нов­ной па­мя­ти дан­ны­ми без уча­стия про­цес­со­ра, ке­ша и опе­ра­ци­он­ной си­сте­мы (см. рис. 4). Ис­клю­че­ние ЦПУ из про­цес­са пе­ре­ме­ще­ния дан­ных поз­во­ля­ет су­ще­ствен­но со­кра­тить за­держ­ку и по­вы­сить про­из­во­ди­тель­ность и эф­фек­тив­ность об­ме­на.

Как и FC-NVMe, Infiniband обес­пе­чи­ва­ет пе­ре­да­чу дан­ных без по­терь, преду­смат­ри­ва­ет встро­ен­ные ме­ха­низ­мы под­дер­жа­ния тре­бу­е­мо­го ка­че­ства об­слу­жи­ва­ния и ре­а­ли­зу­ет кон­троль потоков на ба­зе кре­ди­тов. Од­на­ко Infiniband име­ет срав­ни­тель­но уз­кую об­ласть при­ме­не­ния — пре­иму­ще­ствен­но в HPC и сер­вер­ных кла­сте­рах. Для его внед­ре­ния боль­шин­ству пред­при­я­тий при­дет­ся пе­ре­хо­дить на но­вую тех­но­ло­гию, что огра­ни­чи­ва­ет по­тен­ци­аль­ную об­ласть рас­про­стра­не­ния NVMe over InfiniBand.

Про­то­кол Ethernet — наи­бо­лее ши­ро­ко ис­поль­зу­е­мый про­то­кол в со­вре­мен­ных цен­трах об­ра­бот­ки дан­ных. С по­яв­ле­ни­ем все бо­лее быст­рых ва­ри­ан­тов Ethernet воз­рас­та­ет по­треб­ность в про­то­ко­лах с низ­кой за­держ­кой, та­ких как RDMA. Бла­го­да­ря вер­сии RoCE для кон­вер­гент­но­го Ethernet тех­но­ло­гия RDMA ста­ла ис­поль­зо­вать­ся в об­ла­ках, кор­по­ра­тив­ных се­тях и се­тях хра­не­ния. RoCE был раз­ра­бо­тан InfiniBand Trade Association и ино­гда рас­смат­ри­ва­ет­ся как ре­а­ли­за­ция Infiniband по­верх Ethernet.

Тео­ре­ти­че­ски NVMe-oF на ба­зе Ethernet мо­жет быть ре­а­ли­зо­ван с при­ме­не­ни­ем лю­бых ком­му­та­то­ров Ethernet, од­на­ко на са­мом де­ле для это­го не­об­хо­ди­мо обо­ру­до­ва­ние, ко­то­рое спо­соб­но эффективно справ­лять­ся с та­ко­го ро­да тра­фи­ком. Что­бы ис­поль­зо­вать RoCE, тре­бу­ют­ся ком­му­та­то­ры с под­держ­кой про­то­ко­ла Data Center Bridging (DCB), ко­то­рые обес­пе­чи­ва­ют пе­ре­да­чу кад­ров без по­терь и кон­троль при­о­ри­тет­ных потоков (Priority Flow Control, PFC).

На дан­ный мо­мент име­ют­ся две вер­сии RoCE, при­чем меж­ду со­бой они несов­ме­сти­мы из-за ис­поль­зо­ва­ния раз­лич­ных транс­порт­ных механизмов. RoCEv2 яв­ля­ет­ся марш­ру­ти­зи­ру­е­мой вер­си­ей и в ка­че­стве транс­пор­та ис­поль­зу­ет про­то­кол UDP, а не Ethernet. Од­на­ко с ней, как и в слу­чае RoCEv1 непо­сред­ствен­но, рекомендуется ис­поль­зо­вать Converged Ethernet, то есть DCB.

Ва­ри­ант iWARP по­лу­чил зна­чи­тель­но мень­шее рас­про­стра­не­ние, хо­тя был пред­ло­жен бо­лее 10 лет на­зад. Стан­дар­ти­зи­ро­ван­ный в 2007 го­ду Internet Engineering Task Force, он ба­зи­ру­ет­ся на TCP/IP, опи­ра­ет­ся на стан­дарт­ные ме­ха­низ­мы раз­груз­ки TCP, под­дер­жи­ва­ет марш­ру­ти­за­цию па­ке­тов и мо­жет ис­поль­зо­вать­ся по­верх лю­бой се­ти Ethernet. Од­на­ко, как по­ка­зы­ва­ют срав­ни­тель­ные те­сти­ро­ва­ния RoCE и iWARP на ско­ро­стях 10 и 40 Гбит/с, пер­вый обес­пе­чи­ва­ет мень­шую за­держ­ку и боль­шую про­пуск­ную спо­соб­ность для со­об­ще­ний всех раз­ме­ров. Та­кой ре­зуль­тат не вы­зы­ва­ет удив­ле­ния, по­сколь­ку в слу­чае iWARP до­бав­ля­ет­ся как ми­ни­мум еще один про­ме­жу­точ­ный уро­вень.

Ис­поль­зо­ва­ние TCP огра­ни­чи­ва­ет при­ме­ни­мость iWARP (без­от­но­си­тель­но NVMe). В сво­ем ис­ход­ном ва­ри­ан­те TCP пло­хо под­хо­дит для пе­ре­да­чи тра­фи­ка от систем хра­не­ния из-за ис­поль­зо­ва­ния механизмов мед­лен­но­го стар­та. По­след­ние вер­сии TCP, на­при­мер TCP для цен­тров об­ра­бот­ки дан­ных (Data Center TCP, DCTCP), име­ют спе­ци­аль­ные функции для оп­ти­ми­за­ции ра­бо­ты в ЦОД, од­на­ко DCTCP не при­ме­ня­ет­ся в гло­баль­ных се­тях. Необ­хо­ди­мость за­дей­ство­вать раз­лич­ные сте­ки про­то­ко­лов TCP/IP для раз­ных сце­на­ри­ев ис­поль­зо­ва­ния сдер­жи­ва­ет внед­ре­ние iWARP.

FIBRE CHANNEL ПО TCP

Внед­ре­ние NVMe-oF в слу­чае RoCE и iWARP мо­жет по­тен­ци­аль­но по­тре­бо­вать за­ме­ны всех се­те­вых сер­вер­ных карт на пла­ты с под­держ­кой RDMA.

Столь мас­штаб­ная мо­дер­ни­за­ция вряд ли эко­но­ми­че­ски оправ­дан­на, осо­бен­но для та­ких ги­ган­тов, как Facebook.

По­это­му вла­дель­цы круп­ных ЦОД го­то­вы со­гла­сить­ся с неко­то­рым уве­ли­че­ни­ем за­держ­ки ра­ди воз­мож­но­сти со­хра­не­ния су­ще­ству­ю­щей ин­фра­струк­ту­ры. Это по­ро­ди­ло ин­те­рес к ре­а­ли­за­ции NVMe по­верх TCP с ис­поль­зо­ва­ни­ем ти­по­вой се­ти Ethernet.

Про­то­кол TCP c необ­хо­ди­мы­ми усо­вер­шен­ство­ва­ни­я­ми поз­во­ля­ет обес­пе­чить вполне при­ем­ле­мые за­держ­ки, при этом нет необходимости в при­ме­не­нии спе­ци­аль­ных се­те­вых плат и ком­му­та­то­ров с под­держ­кой DCB. Ком­па­ния Pavilion, про­из­во­ди­тель флеш-мас­си­вов с под­держ­кой NVMe-oF, срав­ни­ла ха­рак­те­ри­сти­ки NVMe-oF, ко­гда в ка­че­стве транс­пор­та ис­поль­зо­ва­лись RoCE и TCP. При до­сту­пе к хра­ни­ли­щу от 1 до 20 кли­ен­тов сред­няя за­держ­ка за­пи­си в слу­чае TCP со­ста­ви­ла 183 мкс, а в слу­чае RoCE — 107 мкс.

Та­ким об­ра­зом, TCP-NVMe ока­зал­ся на 71% мед­лен­нее. Од­на­ко и та­кая за­держ­ка бы­ла в два ра­за мень­ше, чем при ис­поль­зо­ва­нии iSCSI в той же кон­фи­гу­ра­ции. Как от­ме­ча­ет Джефф Со­за, ди­рек­тор по про­дук­там Pavilion, эти ре­зуль­та­ты вполне при­ем­ле­мы, тем бо­лее что те­сти­ро­ва­ние про­во­ди­лось в масштабе цен­тра об­ра­бот­ки дан­ных, а не от­дель­ной стой­ки (меж­ду кли­ен­том и СХД мог­ло на­хо­дить­ся до ше­сти тран­зит­ных ком­му­та­то­ров). По­сле на­строй­ки за­держ­ку уда­лось со­кра­тить еще боль­ше.

Ком­па­ния Solarflare Communications, по­став­щик обо­ру­до­ва­ния Ethernet, раз­ра­бо­та­ла бес­плат­ный пла­гин для сте­ка TCP/IP на Linux с под­держ­кой NVMeoF/ TCP (он мо­жет ра­бо­тать как на кли­ен­те, так и на це­ле­вой си­сте­ме хра­не­ния). По­сле одоб­ре­ния стан­дар­та на TCP-NVMe этот пла­гин бу­дет до­бав­лен в яд­ро Linux. Та­ким об­ра­зом, лю­бой же­ла­ю­щий смо­жет со­здать си­сте­му хра­не­ния с до­сту­пом по NVMe-oF прак­ти­че­ски из лю­бо­го ме­ста.

По дан­ным SolarFlare, при ис­поль­зо­ва­нии пла­ги­на за­держ­ки уве­ли­чи­ва­ют­ся все­го на 5–10% по срав­не­нию с ис­поль­зо­ва­ни­ем NVMe-oF на ба­зе RDMA, при этом не воз­ни­ка­ет про­блем с сов­ме­сти­мо­стью обо­ру­до­ва­ния. (Как от­ме­ча­лось вы­ше, RoCE и iWARP несов­ме­сти­мы, по­это­му на обо­их кон­цах со­еди­не­ния долж­ны быть уста­нов­ле­ны оди­на­ко­вые се­те­вые кар­ты. По­ка толь­ко ком­па­ния Marvell объ­яви­ла о вы­пус­ке NIC с од­но­вре­мен­ной под­держ­кой RoCE и iWARP.) По­ка про­дви­же­ни­ем NVMe over TCP за­ни­ма­ют­ся пре­иму­ще­ствен­но стар­та­пы, сре­ди ко­то­рых Pavilion, Lightbits и Solarflare, но ин­те­рес к дан­ной тех­но­ло­гии про­яв­ля­ют и круп­ные иг­ро­ки. Так, из­ра­иль­ский стар­тап Lightbits за­яв­ля­ет, что он ра­бо­та­ет c Intel и Facebook над спе­ци­фи­ка­ци­ей NVMe over TCP. А про­грамм­ное обес­пе­че­ние Kumoscale ком­па­нии Toshiba под­дер­жи­ва­ет нестан­дар­ти­зо­ван­ную версию про­то­ко­ла.

При­вяз­ки к транс­пор­ту TCP пла­ни­ру­ет­ся до­ба­вить в стан­дар­ты NVMe на­ря­ду с при­вяз­ка­ми к Fibre Channel и RDMA, что поз­во­лит ис­поль­зо­вать NVMe-oF в су­ще­ству­ю­щих се­тях ЦОД. Этим за­ни­ма­ет­ся тех­ни­че­ская ра­бо­чая груп­па NVMe (NVMe Technical Working Group). При­ня­тие стан­дар­та на NVMe по­верх TCP ожи­да­ет­ся до кон­ца те­ку­ще­го го­да. Он бу­дет под­дер­жи­вать все функции и ар­хи­тек­тур­ные осо­бен­но­сти NVMe и NVMe-oF.

Стан­дар­ти­за­ция NVMe over TCP долж­на упро­стить (и уде­ше­вить) ре­а­ли­за­цию NVMe-oF в су­ще­ству­ю­щих се­тях Ethernet. Дан­ный транс­порт для NVMe пред­став­ля­ет вполне жиз­не­спо­соб­ную аль­тер­на­ти­ву дру­гим раз­но­вид­но­стям, ес­ли толь­ко не тре­бу­ет­ся обес­пе­чить мак­си­маль­но низ­кую за­держ­ку.

ПЕР­СПЕК­ТИ­ВЫ NVMe-oF

NVMe over Fabrics де­ла­ет толь­ко пер­вые ша­ги — да­же не все стан­дар­ты еще при­ня­ты. В 2017 го­ду под­держ­ка NVMe-oF бы­ла до­бав­ле­на в яд­ро Linux и по­яви­лась в це­лом ря­де дис­три­бу­ти­вов этой ОС. Од­на­ко на быст­рое и тем бо­лее ши­ро­кое рас­про­стра­не­ние NVMe-oF вряд ли мож­но рас­счи­ты­вать. Сверх­низ­кая за­держ­ка нуж­на да­ле­ко не всем при­ло­же­ни­ям, так что сна­ча­ла NVMe-oF бу­дет ре­а­ли­зо­вы­вать­ся толь­ко для тех при­ло­же­ний, для ко­то­рых это да­ет реальную вы­го­ду, — на­при­мер, для ана­ли­ти­ки в ре­аль­ном вре­ме­ни, бир­же­вой тор­гов­ли, ма­шин­но­го обу­че­ния.

Это пре­иму­ще­ствен­но вы­со­ко­кри­тич­ные при­ло­же­ния, но внед­ре­ние та­кой тех­но­ло­гии, еще не про­шед­шей се­рьез­ную об­кат­ку, чре­ва­то по­вы­шен­ны­ми рис­ка­ми. У каж­до­го про­из­во­ди­те­ля свой под­ход к ре­а­ли­за­ции NVMe-oF в тех или иных ре­ше­ни­ях, что по­тен­ци­аль­но мо­жет при­ве­сти к про­бле­мам сов­ме­сти­мо­сти. К то­му же по­стро­е­ние си­сте­мы, ко­то­рая в пол­ной ме­ре ис­поль­зо­ва­ла бы воз­мож­но­сти NVMe-oF, по­ка невоз­мож­но по тех­ни­че­ским при­чи­нам — все пре­иму­ще­ства NVMe-oF мож­но бу­дет за­дей­ство­вать с по­яв­ле­ни­ем PCIe 4.0.

Как объ­яс­ня­ет Дэ­вид Вульф, ве­ду­щий ин­же­нер в Datacenter Technologies, 4-пор­то­вые на­ко­пи­те­ли NVMe спо­соб­ны при­ни­мать дан­ные со ско­ро­стью свы­ше 20 Гбит/с при за­пи­си и вы­да­вать со ско­ро­стью око­ло 25 Гбит/с при чте­нии. Что­бы под­дер­жи­вать та­кой темп, для каж­до­го на­ко­пи­те­ля в си­сте­ме нуж­но уста­но­вить адап­тер 25GbE или 32GFC и вы­де­лить на хо­сте по 8 ли­ний PCIe. По­стро­е­ние си­сте­мы без узких мест и пе­ре­под­пис­ки — непро­стая за­да­ча.

Под­держ­ка раз­лич­ных ва­ри­ан­тов транс­пор­та для NVMe-oF, с од­ной сто­ро­ны, предо­став­ля­ет сво­бо­ду вы­бо­ра, с дру­гой сто­ро­ны, ста­вит во­прос о пред­по­чти­тель­ном вы­бо­ре. Сто­рон­ни­ки RDMA уве­ре­ны, что имен­но эта тех­но­ло­гия бу­дет наи­бо­лее вос­тре­бо­ва­на в ка­че­стве спо­со­ба ре­а­ли­за­ции NVMe-oF. Так, со­глас­но про­гно­зам G2M Research, в бли­жай­шие два­т­ри го­да в ми­ре бу­дет про­да­вать­ся в три ра­за боль­ше Ethernet-адап­те­ров с под­держ­кой NVMe-oF, чем всех осталь­ных. В то же вре­мя при­вер­жен­цы FC-NVMe, за­яв­ляя о необос­но­ван­но­сти та­ких про­гно­зов, пред­ре­ка­ют NVMe-oF на ба­зе Ethernet та­кую же судь­бу, ка­кая по­стиг­ла тех­но­ло­гию FСoE.

Fibre Channel оста­ет­ся пред­по­чти­тель­ной тех­но­ло­ги­ей для ре­а­ли­за­ции се­тей хра­не­ния. И Gartner, и IDC со­глас­ны с тем, что ос­нов­ная до­ля (70–80%) флеш­мас­си­вов под­клю­ча­ют­ся к FC SAN. Это пре­иму­ще­ствен­но се­ти Fibre Channel

5-го или 6-го по­ко­ле­ния, ко­то­рые уже го­то­вы к пе­ре­да­че тра­фи­ка NVMe-oF в от­ли­чие от обыч­ных се­тей Ethernet, где для под­держ­ки NVMe-oF тре­бу­ет­ся мо­дер­ни­за­ция ап­па­рат­но­го обес­пе­че­ния. К то­му же, де­лая став­ку на Ethernet, по­том при­дет­ся вы­би­рать меж­ду дву­мя несов­ме­сти­мы­ми ва­ри­ан­та­ми — RoCE и iWARP, а точнее, тре­мя, по­сколь­ку меж­ду RoCEv1 и RoCEv2 сов­ме­сти­мо­сти то­же нет.

С при­ня­ти­ем стан­дар­та NVMe over TCP ста­нет до­сту­пен де­ше­вый и про­стой спо­соб ре­а­ли­за­ции NVMe-oF по Ethernet. Вот толь­ко за­хо­тят ли ком­па­нии пе­ре­во­дить кри­тич­ный тра­фик систем хра­не­ния на Ethernet, ес­ли они столь­ко лет пред­по­чи­та­ли Fibre Channel?

Ис­точ­ник: Chelsio Communications

Рис. 4. С по­мо­щью RDMA ком­пью­те­ры в се­ти мо­гут об­ме­ни­вать­ся на­хо­дя­щи­ми­ся в ос­нов­ной па­мя­ти дан­ны­ми без уча­стия про­цес­со­ра, ке­ша и опе­ра­ци­он­ной си­сте­мы

Newspapers in Russian

Newspapers from Russia

© PressReader. All rights reserved.