외부 유료 API 없는 로컬 27B 모델로 기존 공개 최고점 상회
회사에 따르면 WEA Engraph는 500개 평가 문항 가운데 475개를 맞혀 전체 정확도 95.0%를 기록했다. 6개 평가 항목을 동일한 비중으로 반영한 비가중 평균 점수에서는 95.31%를 기록해 기존 공개 비교 시스템의 최고 기록인 94.87%를 넘어섰다.
이번 평가는 외부 대형 유료 AI 모델이나 API를 활용하지 않고 자체 서버에서 운영한 27B급 오픈웨이트 모델 기반으로 진행됐다. 디윅스는 대규모 모델 자체보다 장기기억을 구조화하고 검색·관리하는 기술이 성능을 좌우하는 요소임을 확인했다고 설명했다.
LongMemEval은 여러 대화에 걸쳐 정보를 유지하고 시간의 흐름에 따른 정보 변경, 관계와 횟수, 사용자 선호 등을 얼마나 정확하게 기억하는지를 평가하는 벤치마크다. 디윅스는 이를 기업 업무 환경에 적용해 문서와 의사결정 과정, 수정·승인 이력, 업무 결과와 피드백 등을 조직의 장기기억으로 축적하고 AI 에이전트가 지속적으로 활용할 수 있도록 지원한다고 밝혔다.
기억 생성부터 검색, 답변까지 모든 과정은 고객이 운영하는 서버 내부에서 처리된다. 또한 온톨로지와 스키마 기반으로 데이터 충돌 여부를 검증하고 수정 이력과 답변 근거를 함께 관리해 보안성과 설명 가능성, 규제 준수가 요구되는 환경에 대응할 수 있도록 설계했다.
안철희 디윅스 연구소장은 "데이터를 외부로 전송하지 않는 로컬 환경에서도 글로벌 상위 시스템과 경쟁할 수 있는 성능을 구현했다"며 "공공기관을 시작으로 금융, 의료, 제약, 제조, 연구 분야까지 적용 범위를 확대할 계획"이라고 말했다.
sglee640@beyondpost.co.kr
