최근 생성형 AI를 넘어 자율적으로 판단하고 과업을 수행하는 AI 에이전트 기술이 빠르게 확산되면서, 안전한 도입과 지속 가능한 활용을 위한 거버넌스와 윤리 기준의 중요성이 커지고 있습니다. 글로벌 시장에서도 자율형 AI 시스템의 책임성과 투명성, 관리 체계에 대한 논의가 본격화되고 있습니다.
이번 협약은 양 기관이 AI 에이전트 기술의 신뢰성을 확보하고, 산업계 전반에 적용 가능한 표준화된 가이드라인을 마련하기 위해 추진됐습니다. 특히 도입, MVP, 상용화에 이르는 생애주기 전반에서 리스크를 진단하고 윤리적 문제를 점검해 신뢰성·안전성·투명성을 높이는 공동 거버넌스 체계 구축에 중점을 둘 예정입니다.
양 기관은 도입 단계에서 잠재 리스크를 사전에 진단하고 가이드를 제공할 계획입니다. MVP 단계에서는 편향, 책임 소재, 데이터 활용, 인간 감독 등 윤리적 쟁점을 점검하며, 상용화 단계에서는 모니터링 체계와 사고 대응 기준을 고도화할 방침입니다. EU AI Act에서도 고위험 AI 시스템의 위험관리, 기록 보존, 투명성, 인간 감독이 중요한 준수 요소로 다뤄지고 있어 국내에서도 선제적 대응이 필요합니다.
KAIA는 이번 협약을 통해 AI 에이전트 개발과 활용의 기준이 될 산업 표준을 선제적으로 정립하고, 사용자와 기업이 안심하고 활용할 수 있는 윤리적·기술적 안전장치를 마련할 계획입니다. 또한 AI 개발사, 도입 기업, 거버넌스 전문가가 함께하는 협력 생태계와 지식 공유 기반도 확대해 나갈 예정입니다.
AI거버넌스협회 장도균 협회장은 AI에이전트협회와의 업무협약을 시작으로 국내외 유관 기관 및 기업과의 협력을 더욱 넓혀갈 계획이라고 밝혔다. 또한 AI 에이전트 기술이 신뢰를 바탕으로 산업 현장에 안정적으로 안착할 수 있도록 지속적인 연구와 기준 수립, 현장 적용 지원을 이어갈 예정이다.
비욘드포스트 김민혁 기자 bp_kmh@beyondpost.co.kr
