금융권의 AI 소스코드 분석에서 오탐이 40~60%에 달했다는 보도를 보며, 저는 모델의 성능보다 먼저 그 AI에게 무엇을 보여 주었고, 무엇을 검증하게 했으며, 그 결과를 조직이 어떻게 다룰 수 있었는지가 궁금했습니다. 보안에서 위험을 발견하는 능력과 발견한 위험에 따라 조직의 결정을 바꾸는 능력은 서로 다른 문제이기 때문입니다.

2026년 10월 19일 매일경제 보도는 국회 정무위원회 김형연 의원이 금융보안원에서 받은 자료를 인용해, 망분리 규제 완화 대상인 금융회사 10곳을 대상으로 한 AI 보안 테스트에서 정상 코드를 취약점으로 잘못 지목한 사례가 다수 확인됐다고 전했습니다. 외부 공격자가 바꿀 수 없는 내부 고정값을 조작 가능한 입력으로 간주하거나, 다른 코드에 존재하는 인증·입력 검증 절차를 고려하지 못한 것이 대표적인 사례였습니다.

기사의 숫자만으로 AI가 아직 보안 업무에 쓸모없다고 결론 내릴 수는 없습니다. 그렇다고 최신 모델을 도입하면 저절로 해결될 문제라고 보기도 어렵습니다. 저는 이 사건을 AI의 성적표보다 보안 조직의 판단 능력을 점검할 계기로 읽고 싶습니다.

오탐률 40~60%가 말해 주지 않는 것

먼저 숫자의 한계를 인정해야 합니다. 공개 보도만으로는 사용한 모델과 버전, 소스코드를 제공한 범위, 저장소 탐색이나 정적분석 도구의 연결 여부, 취약점별 정답 판정 기준, 미탐 결과를 알 수 없습니다. ‘오탐률’도 정상 사례 가운데 잘못 경고한 비율인 FP/(FP+TN)인지, 전체 경고 중 잘못된 경고의 비율인 FP/(TP+FP)인지 원자료 없이는 확정하기 어렵습니다. 그러므로 40~60%를 다른 연구의 수치와 그대로 비교하거나, 그 원인을 특정 조직문화에 돌리는 것은 무리입니다.

흥미로운 점은 한 달여 전 금융위원회의 2026년 9월 3일 중간점검 발표가 AI의 광범위하고 신속한 취약점 탐색 가능성을 긍정적으로 평가했다는 사실입니다. 두 발표는 반드시 모순되지 않습니다. 대규모 코드에서 의심스러운 패턴을 찾는 능력과 그 패턴이 실제 공격 가능한 취약점인지 입증하는 능력은 다릅니다.

코드에 위험한 연산이 있다고 해서 곧바로 공격자가 그 경로에 도달할 수 있는 것은 아닙니다. 입력의 출처, 신뢰 경계, 호출 관계, 인증·인가와 검증 절차를 함께 확인해야 합니다. 반대로 인증 코드가 어딘가에 존재한다고 해서 모든 실행 경로가 안전한 것도 아닙니다. 방화벽이나 침입방지시스템이 현재 공격을 막는다고 해서 소스코드의 결함 자체가 사라지는 것도 아닙니다. 결함의 존재, 공격 가능성, 환경적 완화 통제, 잔여 위험은 구분해서 평가해야 합니다. CVSS v4.0도 기본적인 취약점 특성과 환경에 따른 위험 평가를 구분합니다.

보안 분석의 가치는 경고가 몇 건 나왔느냐보다, 그 경고를 공격자의 실제 행동과 연결해 검증할 수 있느냐에 있습니다.

AI의 한계인가, AI에게 제공한 분석 환경의 한계인가

이 구분은 최근 연구에서도 중요하게 다뤄집니다. 2026년 ACL Findings에 발표된 VulAgent는 보안에 민감한 연산을 찾아낸 다음 취약점 가설과 예상 트리거 경로를 만들고, 프로젝트 맥락을 이용해 이를 검증합니다. 이 방식은 비교 대상인 LLM 기반 기법들보다 평균 정확도를 6.6%포인트 높이고 오탐률을 상대적으로 36% 낮췄다고 보고했습니다. 2025년 USENIX Security의 LLMxCPG는 코드 속성 그래프를 활용해 함수 간 의존성과 실행 맥락을 구조화한 뒤 모델에 제공하는 접근을 제시했습니다.

이 결과가 금융보안원 테스트의 오탐을 같은 비율로 낮출 수 있다는 뜻은 아닙니다. 연구마다 데이터셋과 평가 방식이 다르고, 대규모 운영 시스템의 취약점 탐지는 여전히 어려운 문제입니다. 다만 공통된 메시지는 분명합니다. LLM의 취약점 탐지 성능을 모델 하나의 고정된 능력으로 취급해서는 안 됩니다. 어떤 코드를 볼 수 있는지, 호출 그래프와 데이터 흐름을 추적할 수 있는지, 가설을 반증할 증거를 찾도록 했는지에 따라 결과가 달라집니다.

Google Project Zero와 DeepMind가 함께 개발한 Big Sleep도 같은 관점에서 읽을 만합니다. 2024년 SQLite에서 실제 결함을 발견한 것은 한 번의 질문에 답한 언어모델이 아니라 도구와 조사 절차를 갖춘 연구 에이전트였습니다. Google 역시 이 작업을 당시 연구 단계의 성과로 설명했습니다.

따라서 이번 사례에서 가장 먼저 물어야 할 것은 ‘어떤 모델을 썼는가’ 하나가 아닙니다. AI가 공격자가 제어할 수 있는 입력과 실제 도달 가능한 경로를 확인하도록 설계됐는가. 다른 위치의 인증·검증·보완 통제를 찾아 반증할 수 있었는가. 그리고 이런 질문을 평가할 사람이 있었는가. 이 답을 모르는 상태에서 모델만 탓하는 것도, 조직이 잘못 사용했다고 단정하는 것도 모두 성급합니다.

전문가가 있어도 보안 부채는 쌓인다

제가 더 오래 생각해 온 문제는 전문가가 부족한 조직보다, 전문가의 판단이 조직의 결정을 바꾸기 어려운 조직입니다.

대기업에서 부서를 두루 경험하고 이해관계를 조정하며 보고와 승인을 매끄럽게 진행하는 능력은 중요한 리더십 자질로 평가돼 왔습니다. 반면 한 기술을 오랫동안 깊이 파고드는 사람은 리더 후보보다 특정 업무의 담당자로 분류되기 쉽습니다. 기술을 아는 사람은 현장에 남고, 그 판단을 채택할지는 다른 기준으로 선발된 관리자가 결정하는 구조입니다. 이것은 제가 관찰한 조직문화에 대한 문제 제기이지, 모든 한국 대기업의 인사제도가 이렇다는 실증적 결론은 아닙니다. 이번 AI 테스트의 원인이 이러한 구조였다는 증거도 없습니다.

제너럴리스트의 역할 자체는 필요합니다. 보안 리더는 기술을 예산과 규제, 고객과 사업의 언어로 연결해야 합니다. 하지만 그런 조정 능력이 기술적 근거를 평가할 능력까지 대체할 수는 없습니다. 리더가 모든 코드를 읽거나 모든 취약점을 재현할 필요는 없어도, 어떤 증거가 결론을 뒷받침하는지, 어떤 불확실성이 남아 있는지, 전문가에게 무엇을 다시 확인해야 하는지는 이해할 수 있어야 합니다.

Cohen과 Levinthal이 1990년에 정리한 흡수역량(absorptive capacity)은 새로운 외부 지식의 가치를 알아보고 활용하는 능력이 기존의 관련 지식에 의존한다고 설명합니다. AI가 뛰어나질수록 보안 전문성이 불필요해지는 것이 아니라, AI가 무엇을 놓치고 있는지 알아볼 능력의 가치도 커질 수 있다는 뜻입니다.

더 직접적인 시사점은 2026년 Management Science에 실린 Inexpert Supervision에서 찾을 수 있습니다. 이사회 차원의 사이버보안 감독을 연구한 논문은 전문성이 없는 이사도 성실히 감독 활동을 수행하지만, 전문성 부족으로 그 감독이 실질적이기보다 상징적인 활동에 그칠 수 있음을 보여 줍니다. 이 연구가 한국의 보안팀장을 직접 평가한 것은 아닙니다. 그럼에도 보고를 받았다는 사실과 보고된 위험을 판단할 수 있다는 사실은 다르다는 점을 분명하게 보여 줍니다.

저는 전문성을 축적하고 유지하며 의사결정에 반영하는 일을 오랫동안 미뤄 온 비용을 ‘제너럴리스트 중심 조직의 보안 부채’라고 부르고 싶습니다. 학계의 정식 진단명은 아니지만, 낡은 구조·정책·절차의 누적이 조직의 적응력을 약화시킨다는 조직 부채(organizational debt) 연구와 맞닿아 있습니다. 전문가가 충분히 있어도 정보에 접근하지 못하고, 검증할 시간이 없으며, 결과에 따라 계획을 바꿀 권한이 없다면 같은 부채가 쌓입니다.

탁상행정은 부채를 갚지 않고 새 부채를 만든다

보안제품을 도입했는지, 점검을 완료했는지, 조치율이 몇 퍼센트인지는 관리할 수 있습니다. 하지만 그것만으로 중요한 공격 경로를 확인했는지, 통제가 실제로 작동하는지, 남은 위험을 감수해도 되는지는 알 수 없습니다. 체크리스트와 인증은 필요한 출발점이지만, 통제의 존재를 확인하는 일이 통제의 효과를 검증하는 일을 대체할 때 보안은 점차 행정이 됩니다.

오탐이 늘어났다고 가정해 보겠습니다. 한 조직은 오탐 유형을 분류해 데이터 흐름과 호출 관계를 다시 추적하고, 분석 범위와 검증 단계를 개선합니다. 다른 조직은 ‘모든 AI 결과는 사람이 재검토’, ‘검토자 두 명의 승인’, ‘오탐 현황 주간 보고’를 추가합니다. 후자의 절차도 때로는 필요하지만, 거기에서 멈추면 원인은 그대로 남습니다. 실무자는 반복 경고를 정리하느라 실제 공격 경로를 분석하고 도구를 개선할 시간을 잃습니다. 문제를 해결하려고 만든 절차가 다음 문제를 해결할 능력을 소모하는 것입니다.

이번 금융권 테스트에서 실제로 이런 대응을 했다는 주장은 아닙니다. 그런 대응을 선택했을 때 발생할 수 있는 구조적 위험을 말하는 것입니다. 제가 우려하는 탁상행정은 서류가 많다는 사실이 아니라, 실제 위험을 줄이는 것보다 ‘적절한 조치를 했다는 증거’를 생산하는 일에 조직이 최적화되는 상태입니다. 대책은 쌓이는데 위험은 남고, 그 위험을 찾아낼 전문가의 시간마저 줄어듭니다. 보안 부채에 이자가 붙는 과정입니다.

돈의 흐름과 결정권을 함께 보아야 한다

왜 이런 구조가 유지되는지 묻는다면, 개인의 능력이나 성실성만으로는 설명하기 어렵습니다. 조직은 무엇에 예산을 배분하고 누구의 판단에 권한을 부여하는지에 따라 행동하기 때문입니다.

2026년 10월 11일 한국일보 보도에 따르면 2025년 국내 5대 은행의 정보보호 예산은 3,199억 원이었지만 실제 집행액은 2,144억 원, 약 67%였습니다. 미집행의 이유를 확인하지 않고 이를 보안 경시의 증거라고 단정해서는 안 됩니다. 그러나 편성된 예산과 실제로 확보된 역량은 다를 수 있다는 질문은 남습니다. 새 AI 제품의 구매비가 늘어도 코드 리뷰어, 보안 엔지니어, 레드팀이 맥락을 조사하고 검증 체계를 개선할 시간과 권한을 얻지 못한다면 투자와 실질적 보안 능력은 따로 움직일 수 있습니다.

그래서 ‘돈을 따라가라’는 말은 누군가 이익을 챙겼다는 의혹이 아닙니다. 구매와 운영, 전문가 육성과 검증 환경 사이에 자원이 어떻게 배분되고 실제 집행되는지 확인하자는 뜻입니다.

‘권력을 따라가라’는 질문은 더 직접적입니다. 전문가가 ‘이 코드만으로 공격 가능성을 판단할 수 없다’고 했을 때 누가 분석 범위를 넓히도록 허용할 수 있습니까? 기존 출시 일정을 늦추고 필수 검증을 추가할 수 있는 사람은 누구입니까? 전문가의 근거가 경영진의 기존 계획과 충돌해도 그 결정을 바꿀 수 있습니까? 전문성은 현장에 있는데 결정권은 그 판단과 분리돼 있다면, 책임을 묻기 전에 권한의 배분부터 보아야 합니다.

필요한 것은 나이의 교체가 아니라 판단 기준의 교체다

대학 해킹 동아리나 기술 커뮤니티에서 성장한 보안 인력에게는 한 가지 중요한 경험이 있습니다. 주어진 설명을 믿는 대신 실제 동작을 확인하고, 공격 가설을 세우고, 재현에 실패하면 가설을 고치는 방식입니다. 오늘날 AI 취약점 분석에서 오탐을 줄이기 위해 연구하는 과정과도 닮아 있습니다.

그러나 해킹을 해 본 사람이 곧 좋은 리더라는 뜻은 아닙니다. 20년 전 익스플로잇을 만들었다고 해서 지금의 클라우드·아이덴티티·공급망·AI 에이전트 보안을 잘 이해한다는 보장은 없습니다. 기술 출신도 권한을 얻은 뒤 위계와 보고를 우선한다면 같은 부채를 다음 세대에 넘길 수 있습니다.

따라서 필요한 것은 특정 세대에게 자리를 넘기는 일이 아닙니다. 기술적 근거를 평가하고 불편한 사실에 따라 결정을 바꿀 수 있는 사람을 리더로 선발하는 것, 그리고 기술을 깊이 파고드는 사람이 굳이 관리직으로 옮기지 않아도 영향력과 보상을 얻을 수 있도록 하는 것입니다. 넓게 연결하는 제너럴리스트의 역량과 깊이 검증하는 전문가의 역량은 경쟁 관계가 아니라 함께 필요한 역량입니다.

거버넌스도 약화할 것이 아니라 제대로 작동시켜야 합니다. 처리한 경고 건수 외에 재현된 공격 경로, 검증된 보완 통제, 남은 미확인 경로, 오탐·미탐이 생긴 원인, 전문가의 권고에 따라 실제로 변경된 설계와 일정까지 살펴봐야 합니다. 현장이 검증 책임만 지는 것이 아니라, 리더십도 어떤 기술적 판단을 받아들이고 어떤 위험을 미뤘는지 설명할 책임을 져야 합니다.

보안의 출발점을 잊지 않기 위해

정보보안은 공격과 위협을 전제로 존재합니다. 체크리스트를 만드는 이유도, 제품을 도입하는 이유도, AI로 코드를 분석하는 이유도 결국 공격자가 무엇을 할 수 있는지 이해하고 그 가능성을 줄이기 위해서입니다. 해킹을 이해하지 못하거나 공격 가능성을 묻지 않는 보안은 어느 순간 보안 그 자체보다 보안을 관리하고 있다는 형식을 지키는 일로 바뀔 수 있습니다.

이번 40~60%의 오탐이 제너럴리스트 중심 조직문화 때문에 생겼다는 증거는 없습니다. 그러나 그 결과를 받아 든 조직이 모델을 탓하고 검토 절차만 늘릴지, 아니면 왜 전체 맥락과 공격 경로를 보지 못했는지 분석하고 시스템을 다시 설계할지는 분명히 조직의 몫입니다. AI는 부채를 만든 주범이 아니라, 이미 있던 부채를 드러내는 거울일 수 있습니다.

AI가 얼마나 똑똑한가보다, 우리는 AI에게 무엇을 보게 했는가. 무엇을 확인하게 했는가. 그리고 그 결과에 따라 결정을 바꿀 능력과 권한을 누구에게 주었는가. 저는 보안 리더십이 바로 이 질문에 답할 수 있어야 한다고 생각합니다.

#NoHackingNoSecurity #FollowTheMoney #FollowThePower

참고 자료

이 글의 조직문화 및 리더십에 관한 해석은 필자의 문제 제기입니다. 인용된 금융권 AI 테스트의 원시 평가자료가 공개되지 않아 특정 원인을 실증적으로 확정할 수 없습니다.