인더뉴스 이종현 기자ㅣ엔비디아가 구글과 협력해 모든 엔비디아 AI 플랫폼에서 AI 모델 '젬마(Gemma)'를 위한 최적화를 실시했다고 23일 밝혔습니다.
젬마는 구글의 새로운 경량 오픈 언어 모델입니다. 멀티모달 모델인 제미나이(Gemini) 개발에 사용된 동일한 연구와 기술을 기반으로 구축됐으며 엔비디아는 구글과 협력해 엔비디아 텐서RT-LLM(TensorRT-LLM)으로 젬마의 성능을 가속화했습니다. 텐서RT-LLM은 데이터센터, 클라우드 혹은 엔비디아 RTX GPU가 탑재된 PC에서 대규모 언어 모델(LLM) 추론을 최적화하는 오픈 소스 라이브러리입니다.
개발자들은 클라우드 상의 엔비디아 GPU에서도 젬마를 실행할 수 있습니다. 여기에는 H100 텐서 코어(H100 Tensor Core) GPU를 기반으로 하는 구글 클라우드 A3인스턴스(A3 instances)가 포함되며 초당 4.8테라바이트의 141GB HBM3e 메모리를 갖춘 엔비디아 H200 텐서 코어 GPU도 합류할 예정입니다. 구글은 올해 안에 이를 배포할 예정입니다.
또한 엔비디아 기술 데모인 챗 위드 RTX에 곧 젬마가 추가로 지원될 예정입니다. 챗 위드 RTX는 검색 증강 생성(Retrieval-augmented generation, RAG)과 텐서RT-LLM 소프트웨어를 사용해 로컬 RTX 기반 윈도우 PC에서 사용자에게 생성형 AI 기능을 제공하는 기술입니다.
챗 위드 RTX는 로컬에서 모델이 실행되므로 결과가 빠르게 제공되며 사용자 데이터가 디바이스에 유지됩니다. 클라우드 기반 LLM 서비스에 대신 챗 위드 RTX를 사용하면 민감한 데이터를 제3자와 공유하거나 인터넷에 연결할 필요 없이 로컬 PC에서 처리할 수 있습니다.
엔비디아는 지난 21일 미국 뉴욕증시 마감 후 실적발표를 통해 2023 회계연도 4분기(지난해 10월~올 1월)기준 매출 221억300만달러(약 28조원), 주당순이익(EPS) 5.16달러를 기록했다고 밝혔습니다.
