AI가 우리 회사 숫자를 틀리게 답하는 이유와 해결법

AI에게 우리 회사 숫자를 물었는데 그럴듯하지만 틀린 답이 돌아온 적이 있을 것이다. AI가 거짓말을 해서가 아니다. 답할 때 쓸 수 있는 자료가 정해져 있기 때문이다. 이 문제를 푸는 열쇠가 API와 MCP인데, 두 단어 모두 생각보다 어렵지 않다.

AI는 왜 틀리는가

AI 모델은 어느 시점까지 학습한 내용을 바탕으로 답한다. 그 뒤에 나온 정보는 모른다. 모르면 웹 검색으로 채우기도 하는데, 웹에서 가져온 정보에 불순물이 섞여 있으면 그대로 틀릴 수 있다. 숫자가 정확해야 하는 일에는 불안한 방식이다.

API는 콘센트다

API는 프로그램과 프로그램을 잇는 콘센트다. 어떤 서비스가 자기 안의 데이터와 기능을 밖에서 가져다 쓸 수 있게 열어 둔 연결 구멍이라고 보면 된다. 메신저 서비스가 API를 열어 두면 코드로 메시지를 보낼 수 있고, 블로그가 API를 열어 두면 글 정보를 가져올 수 있다. 문제는 서비스마다 콘센트 모양이 달라서, 쓰려면 그때마다 개발이 필요하다는 점이다.

MCP는 규격을 맞춘 연결이다

MCP는 이 연결 방식을 AI가 쓸 수 있게 규격화한 것이다. 모양이 제각각인 콘센트에 맞는 어댑터를 AI 쪽에 표준으로 붙여 두었다고 생각하면 된다. 규격이 맞춰져 있으면 별도 개발 없이 AI가 그 서비스의 데이터를 가져오고 행동까지 할 수 있다.

내가 기업 교육에서 해 본 실험

나는 기업 교육에서 이런 실습을 한다. 먼저 AI에게 도구 없이 아는 것만으로 한 상장사의 매출과 영업이익 공시 내용을 말해 보게 한다. 그러면 학습 시점 이후의 내용은 모르고 추정이라고 답한다. 그다음 공시 사이트를 AI에 연결해 같은 질문을 하면, 공시 원본을 가져와 앞 답이 맞았는지 비교해 준다.

연결 과정은 의외로 간단하다. 커넥터 관리에서 서비스를 고르고 연결을 허용하면 된다. 어려운 건 연결 자체보다 회사 환경을 갖추는 일이다. 같은 방식으로 메일을 연결해 조사한 내용을 내 메일로 보내게 할 수도 있다.

흔한 오해

MCP는 개발자만 다루는 기술이라고 생각한다. 실제로 쓰는 쪽은 개념만 알면 된다. 다만 회사의 ERP처럼 사내 시스템을 연결하려면 IT팀의 개발이 필요하다. 개발 자체는 어렵지 않다. API가 이미 있으면 쉽고, 없으면 시간이 걸린다.

판단 기준 1. 정확해야 하는 정보는 원천 데이터에 연결한다

공시, 매출, 계약처럼 틀리면 안 되는 정보는 AI의 기억이나 웹 검색에 맡기지 않고 원천 데이터에 직접 연결한다. 연결 전과 후의 답을 비교해 보면 차이가 바로 보인다.

판단 기준 2. API가 있는지부터 확인한다

연결하려는 서비스가 API를 열어 두었는지가 출발점이다. 있으면 쉽게 붙고, 없으면 만들어야 한다. 이 점은 앞 글의 매출 자동 집계와 같다. 또 데이터를 열어 주던 서비스가 정책을 바꿔 닫는 일도 있으니, 핵심 데이터는 내가 가진 형태로 따로 두어야 한다.

판단 기준 3. 연결 전에 어디까지 허용할지 정한다

AI가 읽기만 할지, 메시지를 보내고 파일을 지우는 행동까지 할지를 정한다. 규모가 큰 회사일수록 이 승인 범위가 가장 큰 쟁점이 된다. 막는 대신 쓰게 하되 어떤 데이터를 봤는지 기록을 남겨 추적하는 방식을 택한 팀도 있다. 경영진과 실무자의 합의도 필요하다. 한쪽만 쓰면 도입이 흐지부지된다.

판단 기준 4. 하나씩 연결하고 결과를 원본과 대조한다

한 번에 여러 개를 붙이지 말고 하나를 연결해 결과가 맞는지 확인한 뒤 넓힌다. 이메일 발송처럼 되돌리기 어려운 행동은 처음에는 승인을 거치게 한다.

직접 해도 되는 선과 전문가가 필요한 선

기준 1과 2, 4는 대표나 담당자가 개인 계정과 공개 데이터로 먼저 시험해 볼 수 있다. 다만 사내 시스템이나 고객·직원 정보 연결, 접근 권한과 승인 규칙 설정, 외부 서비스의 약관 확인은 IT·보안 담당자와 법률 전문가의 확인이 필요하다. 이 글은 일반 원칙이며 개별 회사에 대한 자문이 아니다.

우리 회사 데이터를 AI에 어디까지 연결할 수 있는지 점검받고 싶다면 1:1 진단을 신청하면 된다. 1:1 진단 문의하기