저전력·추론강조한삼성전자‘마하-1’…엔비디아칩대항마될까

고전력·학습AI반도체와반대행보비용절감·전력소모8분의1수준HBM버금가는속도로경쟁력확보네이버와개발중…제품명첫공개효율성검증완료·설계확정앞둬

경계현 삼성전자 사장(DS부문장)이 인공지능(AI) 반도체 ‘마하-1’을 자체개발하고있다고공개했다. 마하-1은 급성장하는 추론(실행)용 AI 반도체시장을공략하기위해삼성전자가 네이버와협력해 만드는 칩이다. 두 회사는 저전력·추론을 강조하며 고전력·학습 중심인기존 AI 반도체시장 판을흔들겠다는포부를드러냈다.

21일 반도체업계에 따르면 경 사장은 전날 삼성전자 주주총회에서 “메모리등기존 사업만으로는 장기적으로 1등을유지하기어렵다”며 “AI 반도체마하-1을개발하고있다”고 말했다.

삼성전자가 네이버와 협력해 AI 반도체를 만든다는 사실은 2022년 양사 업무협약 이후 널리 알려졌으나 실제 제품 이름이 공개된 것은 처음이다. 삼성전자 반도체 사업을 이끄는 경 사장이직접마하-1을언급한것을두고기존에는 상무급 임원이이끌던 AI 반도체사업을 전사 차원의 핵심 프로젝트로 격상했다는시각도있다.

삼성전자와 네이버는 마하-1 개발에반도체 엔지니어 40여 명을 투입했다.지난해말 FPGA(프로그래밍이 가능한비메모리 반도체)를 활용해 마하-1 설계 효율성을 검증했고 현재양산을 위한반도체설계확정을앞두고있다.

경 사장은 “저전력 메모리(LPDDR)로도 초거대언어모델(LLM) 추론이가능하도록 마하-1을 준비 중”이라며 “내년초면 저희칩으로 만든 AI 시스템을볼수있을것”이라고 말했다.반도체업계에선 삼성전자가 올해 말 마하-1을출시해서 내년 초부터본격양산할 것으로본다.

마하-1은 HBM(고대역메모리)을 탑재한 엔비디아 AI 반도체(데이터센터GPU)와 달리 저전력 메모리를 탑재하며전력소모를줄이는데집중한게특징이다. 엔비디아를 포함해 대다수 기업의 AI 반도체는 성능 향상에 집중한나머지 전력 소모(TDP)가 기하급수로늘어나는 문제가 있다. 일례로 엔비디아 AI 반도체는 2020년 출시한 암페어(A100)의 전력 소모가 대당 400W(와트)였으나 2022년 출시한 호퍼(H100)는대당 700W에 달한다.올해말출시하는블랙웰(B100)은 대당 1000W에 달하는것으로알려졌다.

이러한 AI 반도체전력소모는 AI 학습·운영비증가로이어지며기업과 정부기관이 AI를 실무에 도입하는 데 걸림돌로작용하고있다.

삼성전자는 이점에착안해서저전력메모리를 탑재한 마하-1으로 기업 AI운영비 절감에 집중할 계획이다. 회사측 자체 벤치마크에 따르면 매개변수(파라미터) 300억개(30B) 내외인 중형LLM을 추론할때 AI 모델성능을유지하면서전력소모를(기존 AI 반도체대비) 8분의 1 수준으로 줄일 수 있었다.마하-1에 탑재할 D램은 ‘LPDDR5X(7세대저전력 메모리)’로 알려졌지만 올 하반기성능이더우수한 ‘LPDDR6(8세대저전력 메모리)’ 양산을앞둔만큼교체될가능성도있다.

마하-1 개발 핵심관계자는 “HBM이성능·전력효율 면에서우수한 D램임은틀림없지만 공정이복잡해대량생산이어렵고 LPDDR 대비가격이비싸고 전력소모가 심하다”며 “(삼성전자는) 대량생산·저전력에초점을두고 LPDDR을채택했다”고 설명했다.

전력 소모가 아무리 적어도 성능이 뒷받침되지 않으면 ‘말짱 도루묵’이다. 마하-1은 매개변수 330억개인 중형LLM을 단일칩으로 추론한다. 현재최고 성능의 AI 반도체라고 평가받는 엔비디아 H100이 33B LLM을 추론하려면칩2대가필요한점을고려하면성능면에서도큰강점이있는 것이다.

이러한 성과를 거둔 배경에는 AI 모델양자화를 적극 활용한 경량화 구조신기술이 있다. 관계자는 “경량화 기술덕분에 마하-1은 HBM을 쓸 때와 동일하거나그이상의LLM 추론성능을확보했다”고 자신했다.

설명에따르면 원래 LPDDR5X의 데이터전송속도는 HBM 대비4분의1도안 되지만 마하-1은 삼성전자와 네이버가 공동 개발한 최적화 기술을 활용해HBM에버금가는속도로코어와 D램이데이터를 주고받는다. 경 사장도 전날“마하-1은 여러 알고리즘(경량화)을 활용해 GPU(코어)와 메모리(D램) 사이데이터 병목(보틀넥)현상을 8분의 1가량줄였다”고 말했다.데이터병목현상이란코어와 D램사이데이터 통로(I/O)가 좁아 이용자가 요청한 일을 AI가 제때처리하지못하는것을말한다.

삼성전자는 마하-1에 128GB D램을탑재할 계획이다. 80GB를 탑재한 H100은물론시중에나와있는추론용AI 반도체보다 용량이 압도적으로 크다. 최적화와함께넉넉한D램용량이마하-1의핵심경쟁력으로떠오를전망이다.

삼성전자는 마하-1을 공동 개발한네이버뿐 아니라 외부 기업에 판매하는 방안도 검토 중이다. 마하-1 관계자는 “마하-1은 대량생산되는 LPDDR D램을 채택함으로써 AI 반도체수요 증가에도 효과적으로 대처할 수 있다”고말했다. HBM 공급 물량이 부족해 제때 AI 반도체를 공급하지 못하는 타AI 반도체기업들과는 다를 것이란 자신감의표현이다.

마하-1은 삼성전자 파운드리에서양산하며 시스템 반도체 사업부 실적 개선에도 힘을 보탤 것으로 기대된다. 다만 몇 나노미터(㎚) 공정에서양산할지는 미정이다. 삼성전자 파운드리여력에맞춰 4~5㎚ 가운데 한 곳으로 정해질것으로전망된다.