PE Portfolio Letter Vol.4

귀사의 AI를 믿으라고 말하려면
 

저를 비롯해 많은 이들이 이 광고만 보고 자기 아이언을 믿었다가 낭패를 본 사례가 수두룩 합니다. 비슷한 경험을 AI에서도 겪고 있지는 않으신가요? 더욱이 나 혼자가 아닌 기업과 고객이 쓸 AI라면 그런 낭패는 생각만해도 끔찍합니다.

그렇기에 기업이 AI를 활용해 경쟁력을 높이려면, 무엇보다도 ‘신뢰’가 전제돼야 합니다. 고객은 AI가 생성한 결과를 얼마나 믿을 수 있는지, 규제기관은 해당 AI가 법·규정과 윤리 기준을 준수하는지, 경영진은 예측 불가능한 리스크 없이 안정적으로 운영될 수 있는지를 우선적으로 보게 되죠. 한 번의 AI 사고가 평판·규제·재무 손실로 이어질 수 있기 때문에, 설계부터 신뢰를 고려한(‘Trust by design’) AI만이 지속적으로 가치를 창출할 수 있습니다.

이러한 Trusted AI를 확보하기 위해서는 두 가지 축이 동시에 갖춰져야 합니다. 첫째, 조직 전반의 AI 개발·운영을 아우르는 거버넌스와 통제 체계입니다. 위험·통제 분류 체계, 데이터 거버넌스, 모니터링, 인력 책임과 운영 모델, 규제 정합성 등 전 주기(기획–개발–운영–모니터링)에 걸친 체계가 필요하죠. 둘째, 개별 AI 애플리케이션 수준에서의 정교한 신뢰성 검증입니다. 실제 모델이 특정 업무와 고객 접점에서 얼마나 정확하고, 견고하며, 편향과 오남용에 취약하지 않은지를 구체적인 테스트와 지표로 확인해야 합니다.

PwC와 Standard Chartered Bank(SCB)의 협업 사례는 이 두 축이 어떻게 결합될 수 있는지를 잘 보여줍니다. 먼저 SCB의 Agentic AI 도입을 위해 PwC는 ‘Agentic AI Risk & Control Framework’를 설계했습니다. 여기에는 Agentic AI의 조직 차원의 정의, 리스크와 통제 목적, 핵심 지표(KRI), Human-in-the-loop(HITL) 원칙과 역할 정의 등 거버넌스 전반이 포함돼 있습니다. 특히 Agentic AI의 자율성과 연속적 의사결정 특성을 고려해, 어느 단계에서 어떤 수준의 인간 개입과 검토가 필요한지, 잔여 리스크가 어느 수준이면 추가 모니터링과 인증(assurance)을 요구해야 하는지까지 구조화했죠. 이를 통해 SCB는 혁신을 저해하는 과도한 통제와 위험을 방치하는 과소 통제 사이에서, 리스크 성향에 맞는 균형 잡힌 운영이 가능해졌습니다.

다른 한편으로, PwC는 싱가포르 정부의 Global AI Assurance Pilot의 일환으로 SCB의 대고객 이메일 생성용 GenAI 애플리케이션을 독립적으로 테스트했습니다. 이 도구는 고객 데이터, 투자 성향, 내부 알고리즘 산출물, 시장 전망 등을 종합해 RM(Relationship Manager)이 활용할 개인화 이메일 초안을 생성하는 용도죠. PwC는 내부 컴플라이언스 위반과 평판·신뢰 리스크를 주요 범위로 삼고, 정확성(사실 일치·환각 및 모순 여부), 견고성(동일 입력 반복 시 결과 일관성), 내부 정책 준수(금지 표현, 형식·스타일 기준 등) 등을 정량·정성적으로 검증했습니다. 이를 위해 LLM-as-a-Judge, NLP 유사도 지표, 인간 전문가 리뷰를 결합한 다층 평가 방식을 적용했죠. 이 과정에서 모델 성능뿐 아니라 툴의 한계와 개선 포인트를 명확히 식별함으로써, 실제 고객 접점에서의 오해·오남용·규제 미준수 가능성을 선제적으로 줄일 수 있었습니다.

국내에서도 AI 기본법 도입을 둘러싸고 혁신 저해 우려와 규제 필요성에 대한 기대가 공존하고 있습니다. 하지만 규제 준수는 Trusted AI의 ‘최소 조건’일 뿐입니다. 고객에게 더 정확하고 개인화된 서비스를 제공하고, 운영 효율과 비용 절감을 극대화하기 위해서도 신뢰할 수 있는 AI는 필수 기반입니다. 신뢰가 없는 AI는 결국 현장에서 활용되지 못하거나, 사고 이후 더 큰 규제와 사회적 저항을 불러올 수 있습니다. 반대로, 거버넌스와 애플리케이션 수준의 검증이 결합된 Trusted AI는 기업이 안심하고 AI를 대규모로 확산할 수 있는 환경을 만들어 주죠. 이는 한국 기업들이 AI 기본법 시대를 단순한 컴플라이언스 대응이 아니라, 글로벌 수준의 책임 있는 AI 경쟁력 확보의 계기로 삼아야 하는 이유이기도 합니다.