[비욘드포스트 이봉진 기자] 인공지능(AI)과 클라우드 서비스의 확산으로 시스템의 데이터 처리 속도가 저하되는 '데이터 병목' 현상이 주요 현안으로 떠오른 가운데, 국내 연구진이 대용량 데이터의 처리 지연을 획기적으로 줄이는 기술을 개발했다.
단국대학교는 소프트웨어학과 최종무 교수 연구팀이 AI를 활용해 빅데이터 검색 효율을 높이고 처리 지연을 최대 50배 개선하는 기술 고도화에 성공했다고 3일 밝혔다.

해당 연구 성과는 데이터베이스(DB) 및 데이터 관리 분야의 세계 최고 권위 학술대회인 'VLDB(Very Large Data Bases) 2026'에 2편의 정규논문으로 채택됐다.

연구팀은 대규모 데이터 환경의 주요 한계점인 '검색 효율 저하'와 '쓰기 지연(Write Stall)' 문제 해결에 AI를 접목했다. AI가 데이터 분포를 학습해 필요 정보를 신속히 추출하고, 시스템 과부하 시 지연이 발생하기 전 처리량을 선제적으로 조절하는 원리다.

연구팀은 첫 번째 논문(학습형 인덱스와 LSM-트리 통합 재고)을 통해 머신러닝 기반 '학습형 인덱스(Learned Index)'의 활용 방안을 제시했다.

기존 DB가 정형화된 자료구조에 의존해 데이터를 탐색했다면, 새 시스템은 AI가 데이터 분포와 위치 특성을 사전 학습해 효율적인 검색 경로를 예측한다. 연구팀은 이를 대용량 데이터 관리 규격인 '키-밸류 스토어(Key-Value Store)'에 적용하여 불필요한 연산과 메모리 낭비를 방지하고 읽기·쓰기 성능을 동시에 개선했다.

이어 두 번째 논문(지속 가능한 RocksDB로 쓰기 지연 제로화 달성)에서는 대형 IT 기업들이 사용하는 DB 엔진 'RocksDB'의 쓰기 지연 문제를 집중적으로 개선했다.

대규모 DB는 데이터가 누적될수록 내부 데이터를 재배치하는 작업이 늘어나 처리 속도가 정체되는 한계를 갖는다. 이에 연구팀은 강화학습 알고리즘이 시스템 내부 상태를 파악해 데이터 처리량을 능동적으로 제어하는 'S-RocksDB(Sustainable RocksDB)'를 설계했다.

자체 성능 평가 결과, 기존 RocksDB 환경에서 1분간 최대 약 50초까지 발생하던 쓰기 지연 시간이 S-RocksDB 적용 후 1초 이내로 대폭 단축됐다. 지연 현상을 최대 50배가량 완화한 것으로, 향후 대형 클라우드 서비스 및 AI·빅데이터 플랫폼 등 방대한 데이터 처리가 필수적인 산업 전반에 적용할 수 있을 것으로 전망된다.

최종무 교수는 "이번 성과는 그동안 단국대가 축적해 온 AI 기반 데이터 관리 기술의 경쟁력을 학술적으로 인정받은 결과"라며 "앞으로 대규모 데이터 서비스와 다양한 산업 현장에서 폭넓게 활용될 것으로 기대한다"고 밝혔다.

한편, 이번 연구는 과학기술정보통신부 재원으로 정보통신기획평가원(IITP)이 추진하는 'SW스타랩' 사업의 지원을 받아 수행됐다.

bjlee@beyondpost.co.kr