초거대 AI 분야에서 학습 영역은 단기간 집중적으로 대용량, 고사양의 GPU가 필요한 것과는 달리, 추론 영역은 적은 양의 GPU를 끊김 없이 상시 사용해야 하는 특성을 가지고 있다.
그런 만큼 학습에 사용한 인프라를 그대로 추론 인프라로 활용할 경우 필요 이상의 비용 부담이 발생해 왔다.
이번에 출시된 AI SERV는 AI 개발, 학습을 마치고 AI 서비스를 제공 중인 AI 전문기업, 스타트업 등이 고성능 GPU 인프라를 각 서비스에 필요한 만큼만 분할해 최적의 양을 사용할 수 있는 것이 특징이다.
kt cloud의 AI SERV에 적용된 슬라이싱 기술은 기존에 한 장으로 제공되던 GPU 서비스를 5분할해 0.2장 단위로 제공한다.
최소 사용 가능한 GPU 단위가 작아진 만큼 필요한 때에 필요한 만큼의 인프라를 사용할 수 있어 가격 부담 감소는 물론, 다양한 상황에 맞춰 탄력적이고 가변적 활용이 가능하다.
또 기존의 슬라이싱 기술은 분할된 단위의 GPU에서 성능 열화가 발생할 수 있다는 단점이 있었지만, AI SERV는 슬라이싱 분할에도 성능 열화 없이 인프라를 100% 활용할 수 있다는 강점까지 갖췄다.
kt cloud는 향후 컨테이너 이미지 클로닝 기능 등을 추가하는 한편, 부하 발생 시 인프라를 자동 확장시키는 ‘오토 스케일링’ 기능을 도입해 서비스를 지속적으로 고도화해 나갈 계획이다.
kt cloud 윤동식 대표는 “이번 AI SERV 출시로 고객들이 AI 학습부터 추론, 서빙 환경 구성까지 각 단계에서 최적의 인프라를 보다 합리적인 비용으로 사용할 수 있게 됐다”며 “다양한 AI 전문기업, 스타트업들이 부담 없이 AI 인프라를 활용하도록 힘쓰고 국내외 파트너사와 협력해 초거대 AI 산업의 활성화 및 생태계 확장을 위해 지속 노력할 것”이라고 말했다.
hnr56@beyondpost.co.kr
