검색엔진개발20년노하우에AI접목…모든질문의답찾는다
엠파스·네이트서서비스기획·개발담당검색정보수작업분류등초기경험살려AI딥러닝활용자동화·솔루션기능확보맥락까지이해…기업위험요소사전파악차량운전자위한대화형서비스도제공
1990년대 후반부터 2000년대 초반은 인터넷기업의전성시대였다.특히야후, 네이버, 다음, 네이트, 엠파스, 라이코스 등 검색 서비스 중심의포털사이트는인터넷곳곳에흩어진정보를 찾아주는중요한역할을했다.
서비스마다 특색있는 검색기능도 제공했다.야후는맛집이나근처시설등특정장소를검색하는 ‘야후 거기’를, 엠파스는 다른 포털 사이트의데이터까지모두검색할 수있는 ‘열린검색’을선보이기도 했다. 네이트는 지금은다음검색결과를 가져오지만 과거에는 여러 정보를 키워드별로 정리해서보여주는 ‘시맨틱 검색’을 주요 서비스로내세우기도했다.
이러한 검색서비스는 날이갈수록 진화하고있다. 특히 인공지능(AI)과 기계학습(ML) 기술발전은 이전에는 불완전했던 검색 서비스의 빈틈을 메우고, 사용자가 원하는 정보를 정확하게찾아 보여준다. 특히인터넷뿐만 아니라 기업내부에산재한다양한정보를찾는업무용검색서비스까지AI를기반으로발전하고있다.
◆심층학습과 만난 검색 솔루션, 세상 모든질문에답을찾는다
포티투마루는 엠파스, 네이트 등 검색서비스기획과 개발에몸담았던핵심인력이동참해세운 심층학습(딥러닝)기반검색솔루션기업이다.세상 모든 질문에 대한 답을 찾겠다는 비전으로, 텍스트 분석(TA)과 질의응답(QA) 기술을제공하고있다.
김동환포티투마루대표는 20여 년전엠파스에서검색엔진을 만드는 개발자로 활동했다. 엠파스가네이트와 합병되면서검색사업본부장을맡았다. 엠파스에서는 자연어기반 검색을, 네이트에서는 시맨틱검색 개발을 주도했다. 하지만당시에는 AI나 심층학습등관련기술이충분히발전하지않아 키워드와 검색결과를 연결하기위한 수작업이 많이 필요했고, 검색 결과 역시사용자를만족시키기어려웠다.
김 대표는 “과거 자연어 검색은 일상 언어를수작업으로 분류하고 검색어와 연결하는 방식이어서검색엔진이문장자체를이해하지는못했다. 시맨틱검색역시관련정보에일일이라벨링작업을 하고 검색결과와 함께보여주는 방식이다. 당시에는 심층학습 기법이등장하지않았기때문에수작업이많이필요했다”고말했다.
그러면서“반면심층학습은학습을통해문장자체를이해하는기술이다.특히사람이공부하면서문장을더잘읽고뜻을이해하는것처럼심층학습을통해문장에대한해석능력도높아진다.라벨링하지않은100만개, 1000만개정보를모두자동으로분류하는것이지금의기술”이라고설명했다.
그는20여년간검색분야에서일하면서기술적으로해결하지못한문제를심층학습으로해결하고, 필요한결과를찾아내는솔루션을 개발했다.현재포털사이트엔진에서특정단어나문장을검색하면여러개결과가나오며사용자가이를직접비교하고읽어가며원하는답을찾는다.하지만김대표는사용자가원하는것은정확한정답이라며이를위해포티투마루를창업했다고밝혔다.
포티투마루는 소설 ‘은하수를 여행하는 히치하이커를 위한 안내서’에서 따왔다. 해당 작품에 등장하는 인공지능 컴퓨터 ‘깊은생각(Deep Though)’은 삶, 우주,모든것에대한대답을 750만년간 고민해 ‘42’라는 답을 내놓으며, 이는 오늘날 IT 개발자 사이에서명대사로 통한다. 여기에꼭대기라는뜻인순우리말‘마루’를 더해포티투마루라는이름을만들었다는설명이다.
◆검색 엔진 경험 20년 노하우 녹인 QA 솔루션,글로벌기업과경쟁
김대표는그간검색분야에서쌓은경험이현재 사업 분야를 선택하는 데 많은 영향을 줬다고 말했다. 포티투마루의 강점은 인공지능독해(Machine Reading Comprehension)다. 즉 AI가문장의뜻을이해하고정보를제공한다는의미다. 이를위해자연어 이해(Natural Language Understanding) 기술을앞단에두고여러기술이복합적으로작동해사용자가원하는검색결과를찾는다.
그는 “검색에 도입된기술은 과거와 다르지만접근 방식은 같다. 예를 들어가구를 조립할 때못을 박는다고 하면못 간격이나 망치로 내리치는 힘을 조절해야 한다. 이도구가 나사와 드릴로 바뀌더라도어떤위치에박아야 하는지정확하게알아야하는것과같다”고 말했다.
그러면서“검색솔루션이겉으로봤을때는질문을던졌을때바로답을찾는것처럼보이지만결국은 다양한 기술이종합적으로 구성돼결과를 내보낸다. 우리는 AI를 통한언어처리기술에검색분야경험과노하우를녹였다”고덧붙였다.
AI가학습한데이터는기업내에서정리되지않은방대한문장과맥락을이해한다.이를통해필요한자료를검색하는것은물론기업운영과산업에서발생할수있는위협도사전에찾아낸다.과거에는전문가가직접감시하며찾아내야하는계약상허점을실시간으로예측하고대응할수있다.
연구개발부서는특허, 내부 문서,업계보고서를검색해기존기술이신규프로젝트개념과중복되지않는지확인할수 있다. 전자·제조개발에서는 공급 업체 카탈로그, 경쟁업체보고서등에서필요한 정보를 전문가에게 질문하듯 검색할수 있다. 제약업계는연구 논문, 특허, 내부문서를기반으로기존기술을활용하고 시장 출시기간도단축할수 있다.
또, 음성인식기술과 연계하면 AI 고객센터나챗봇을통해소비자이용만족도를높이는것도가능하다. 자연어이해를 통해소비자가 제기하는 질문에답하는 것은 물론, 소비자 역시자연스러운형태로원하는서비스를찾을수있다.
기존시나리오기반챗봇은이해할수없는질문에 대해서는 키워드를 중심으로 소비자에게선택지를 여러개주면서원하는 서비스를 찾도록 한다. 이는 소비자 경험을 훼손하고, 인간 상담원과 연결하는 계기가 된다. 반면 AI 기반 챗봇은자연어로대화하는것은물론 AI가 소비자의표현과맥락을추론해서비스를 제공한다. 이는 고객지원팀의업무 부하를 줄이는 한편소비자경험개선에도중요한역할을한다.
AI 스피커등에서도 자연어처리기술을기반으로대화형 AI가 구현하는솔루션도 제공하고있다. 이를 자동차 제조업과 연계하면 운전자는차량내기능을조작하기위한 매뉴얼을 찾아보지않고도음성으로물은뒤답을들을수 있다.호텔이나 컨시어지서비스에서도 개인에게최적화한경험을자연스럽게제공할수있다.
해당 기술은 스탠퍼드대학교가 주관하는 인공지능독해 경진대회 ‘스쿼드’에서 글로벌 주요빅테크기업과경쟁했으며구글과공동1위를 차지하기도 했다. 이를기반으로하는솔루션을현재LG유플러스, SK이노베이션, KT, NH, 기아등국내주요기업과금융기관등이도입했다.
그는 “현재는 기업시장에서국내뿐만아니라외국까지 진출해 사업을 안정화시키는 것이 목표다. 향후에는일반사용자를대상으로도뉴스큐레이션이나 요약 등을 제공할 계획이다. 또암호화폐나가상자산거래에서도정확한데이터를기반으로매매할수있도록하는보조서비스를상상할수도있을듯하다”고 말했다.
이어“우리는세상의모든질문에대한답을찾는것을비전으로하고 있다. 경영관점에서표현하자면이것이결국 시장이다. 우리기반 기술을바탕으로구글, AWS, MS등과기업간 거래(B2B)시장에서경쟁하고글로벌최고수준이되는것이목표”라고덧붙였다.