인더뉴스 이종현 기자ㅣSK텔레콤[017670]이 통신업 특화 LLM인 '텔코LLM'을 개발 중입니다.
SKT는 30일 서울 종로구에 위치한 SKT 타워에서 기자설명회를 열고 오는 6월 중 개발 완료를 목표로 통신업에 특환 LLM인 텔코LLM을 개발 중에 있다고 밝혔습니다.
텔코LLM은 SKT의 멀티 LLM 전략의 일환으로 SKT의 에이닷엑스(A.X), 오픈AI의 GPT, 앤트로픽의 클로드 등 다양한 범용모델을 기반으로 튜닝했습니다.
에릭 데이비스 SKT AI Tech Collaboration담당은 거대언어모델 LLM의 기본 구조부터 SKT가 개발한 텔코LLM에 대해 "통신 데이터와 도메인 노하우에 맞춰 조정하는 미세조정(파인튜닝)과 모델평가(벤치마킹)를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT만의 멀티LLM 전략"이라 설명했습니다.
SKT는 자사의 LLM 에이닷엑스(A.X)와 오픈AI, GPT-4, 앤트로픽의 클로드에 한국어 통신 관련 데이터를 학습시켜 다양한 텔코LLM 모델을 개발 중이라 밝혔습니다. ▲학습 데이터 구축 ▲파인튜닝 ▲휴먼 피드백 강화 학습 ▲모델 평가 순의 구축 과정을 거쳐 개발되며 이를 통해 범용 LLM으로는 제대로 대응하지 못하는 통신 관련 고객 요구에 대응할 수 있는 텔코LLM을 완성한다는 것입니다.
SKT는 개발 중인 텔코LLM을 상담 영역에 우선 적용할 방침입니다. 텔코LLM을 상담에 도입할 경우 상담사가 고객과 통화하는 동안 LLM이 해결책을 상담사에게 제공하고 상담 내용을 요약해주는 등 상담사를 지원해 상담 시간을 유의미하게 단축할 것으로 기대됩니다.
SKT 관계자는 "6월에 LLM이 도입된 후에 구체적인 수치가 나오겠으나 텔코LLM이 상담시간을 현재보다 확연히 단축해줄 것으로 기대된다"며 "이를 통해 고객들의 상담 대기 시간도 줄어들 것"이라고 말했습니다.
아울러 SKT는 향후 인프라 운용 중에 발생되는 데이터 분석과 축적된 데이터 기반의 정보 조회 등에도 텔코LLM을 확대 적용할 계획입니다. 정민영 SKT AI플랫폼 담당은 "고객센터, 인프라 뿐만 아니라 마케팅/유통망 등 고객 접점이나 법무, HR와 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것"이라며 "지속적으로 텔코LLM을 활용한 유즈케이스를 늘려갈 계획"이라고 설명했습니다.
이어지는 질의응답에서는 인공지능이 정보를 처리하는 과정에서 발생하는 오류인 '할루시네이션'에 대한 질문이 주를 이뤘습니다.
"고객들은 할루시네이션이 최소화로 나타나야 안심하고 AI를 사용할 수 있는데 이를 어떻게 해결했는가"라는 질문에 정 담당은 "할루시네이션으로 대변되는 오류 문제들을 해결하고자 노력했다"며 "할루시네이션 대한 대부분의 내부 기준을 충족했으며 6월 출시는 가능할 것"이라고 자신했습니다.
