AI 시대 최소한의 미적분 상식 9

요즘 병원에서 인공지능이 환자의 흉부 X-ray 사진을 1초 만에 훑어보고는 다음과 같이 진단합니다.

"폐암 의심 점수 99%입니다."

놀라운 기술이지만, 이 순간 진료실의 의사와 환자는 안도하기보다 깊은 불안과 혼란에 빠집니다. 왜냐하면 아무리 똑똑한 AI라도 이렇게 묻는 순간 입을 꾹 닫아버리기 때문입니다.

"도대체 사진의 어느 부위를 보고 암이라고 판단한 건가요?"

오늘날 딥러닝 AI는 일부 영역에서 전문가 수준의 정확도를 자랑하지만, 내부에서 수천억 개의 계산이 복잡하게 얽혀 있어 개발자조차 그 속을 들여다보기 힘든 거대한 '블랙박스(Black Box)'와 같습니다.

자율주행차가 보행자를 피하지 않고 들이받거나, 채용 AI가 특정 지원자를 탈락시켰을 때 "이유는 모르겠지만 AI의 판단입니다"라고 말할 수는 없습니다.

그렇다면 우리는 꽉 닫힌 AI의 머릿속을 어떻게 들여다볼 수 있을까요? 놀랍게도 AI의 닫힌 문을 열고 판단의 근거를 형광펜으로 칠해 보여주는 열쇠 역시 우리가 익히 들어온 '미분(기울기, Gradient)'에 있습니다.

*(※ 본 글에서는 독자 여러분의 편의를 위해 '미분값', '순간 변화율', '기울기'를 '기울기(Gradient)'*라는 용어로 통일하여 설명합니다.)

1. 젠가 게임의 직관: "어느 부분을 가려야 답이 바뀔까?"

AI의 속마음을 알아내는 가장 원초적인 방법은 '가려보기(오클루전, Occlusion)'입니다.

위태롭게 서 있는 젠가 탑을 떠올려 보세요. 어느 블록이 탑을 지탱하는 핵심인지 알려면, 블록을 하나씩 통째로 쏙 빼보면 됩니다. 어떤 블록은 빼내도 탑이 끄떡없지만, 어떤 블록은 쑥 빼내는 순간 탑 전체가 와르르 무너집니다.

AI에게도 똑같이 해볼 수 있습니다. 사진의 왼쪽 위를 네모난 검은색 상자로 가려보고, 오른쪽 아래를 가려보는 식입니다. 만약 폐 하부를 가렸을 때 AI의 암 판정 확률이 예를 들어 99%에서 20%로 떨어진다면, 우리는 "아, AI가 바로 그 폐 하부를 보고 암이라 판단했구나!"라고 짐작할 수 있습니다.

하지만 이 방식에는 치명적인 약점이 있습니다. 수백만 개의 픽셀로 이루어진 고화질 사진을 일일이 상자로 가려가며 수천, 수만 번씩 AI에게 다시 물어보는 일은 시간과 계산 비용이 너무나 엄청나기 때문입니다.

2. 순식간에 답을 찾는 지름길: 입력 기울기와 돌출 맵(Saliency Map)

여기서 수학의 치트키인 '미분(기울기)'이 구원투수로 등판합니다. 픽셀을 일일이 가려보는 막노동을 할 필요 없이, 수학적으로 "픽셀 밝기가 아주 미세하게 찰나의 순간만큼 변할 때 AI의 점수가 어느 쪽으로 변하는지"를 단 한 번의 계산으로 알아내는 것입니다.

앞서 우리는 AI가 학습할 때 오차를 줄이기 위해 내부 다이얼(가중치)을 고치는 '역전파'를 쓴다고 배웠습니다. 이번에는 반대로 다이얼은 가만히 둔 채, 미분의 화살을 이용해서 AI에게 물어봅니다.

"사진의 각 점(픽셀) 밝기를 아주 살짝 건드렸을 때, 네가 내린 판정 점수의 '순간 기울기'가 가장 가파른 곳은 어디니?"

기울기가 0에 가까운 픽셀:
사진 속 쇄골 뼈나 배경 픽셀은 밝기를 살짝 건드려도 판정 점수에 미동조차 없습니다. AI 입장에선 판단에 전혀 영향을 주지 않는 영역입니다.

기울기가 가파른 픽셀:
암 결절이 의심되는 미세한 음영 부위의 픽셀은 밝기를 찰나만큼만 건드려도 판정 점수가 가파른 기울기를 그리며 요동칩니다.

이렇게 입력 픽셀 각각의 순간 기울기를 계산해 하얀빛으로 점점이 띄운 지도를 '돌출 맵(Saliency Map)'이라고 부릅니다. 수만 번 가려볼 필요 없이, 단 한 번의 역전파 계산으로 AI가 주목한 픽셀들을 찾아내는 영리한 방식입니다.

3. Grad-CAM: 왜 픽셀 대신 '뭉툭한 열화상 지도'를 보여줄까?

하지만 돌출 맵(Saliency Map)은 치명적인 한계가 있었습니다. 픽셀 단위의 순수 기울기만 추적하다 보니 결과물에 자잘한 모래알 같은 노이즈가 너무 심하게 섞여 나온다는 점입니다. 사람 눈에는 점들이 어지럽게 흩뿌려진 것처럼 보여 도대체 무엇을 본 것인지 알아보기 힘들었습니다.

이를 획기적으로 개선하여 오늘날 널리 쓰이는 표준 기술이 바로 'Grad-CAM(Gradient-weighted Class Activation Mapping)'입니다.

Grad-CAM은 기발한 역발상을 도입했습니다. 자잘한 모래알 같은 '입력 픽셀' 대신, AI 신경망의 깊숙한 곳에 있는 '마지막 특징 맵(Feature Map)'을 들여다보는 것입니다.

사물의 형태를 아는 곳을 겨눈다:
AI 시각 신경망의 마지막 합성곱 층은 사물의 구체적인 형태와 윤곽(예: 둥근 종양 덩어리, 개의 귀 모양 등)을 큼직한 덩어리 형태로 요약해 쥐고 있습니다.

특징 덩어리에 대한 기울기를 잰다:
AI의 최종 판단에서 거꾸로 미분을 계산하여, 이 큼직한 특징 덩어리들 중 "어떤 덩어리가 이번 판정에
가장 가파른 기울기(중요도)를 남겼는가?"를 계산해 가중치를 매깁니다.

열화상 지도를 덧씌운다:
중요한 특징 덩어리들을 합치고 크기를 키워, 원본 X-ray 사진 위에 알록달록한 열화상 지도(히트맵)를
부드럽게 덧씌워 줍니다.

가장 결정적인 영향을 미친 덩어리: 새 빨간색 핫스폿

적당한 영향을 미친 주변부: 노란색과 초록색

무관한 배경: 차가운 파란색

(※ 엄밀히는 해당 판단 점수를 오히려 깎아내리는 음의 특징은 버리고, 판정에 긍정적인 기여를 한 양(positive)의 가중치 덩어리만 통과시켜 깨끗한 핫스폿을 뽑아냅니다.)

Grad-CAM 결과물이 픽셀 단위로 날카롭지 않고 '뭉툭하고 둥글넓적한 열화상 덩어리'처럼 보이는 이유가 바로 여기에 있습니다. 모래알 같은 자잘한 노이즈를 버리고, AI가 인식한 큼직한 의미 덩어리를 골라냈기 때문입니다.

실제로 2016년 유명한 XAI 연구(Ribeiro et al.)에서는 AI가 늑대 사진을 기막히게 맞추길래 들여다보았더니, 늑대의 눈이나 털이 아니라 '배경에 깔린 새하얀 눈밭'을 보고 늑대라 판정했다는 충격적인 사실이 밝혀진 바 있습니다. 늑대를 구별한 게 아니라 눈밭 사진만 찾고 있던 엉터리 AI였던 셈입니다.

(이 맹점을 처음 고발한 것은 국소 근사 기법인 'LIME'이라는 도구였지만) Grad-CAM 역시 똑같은 원리로 작동합니다. 만약 AI가 늑대 대신 배경 눈밭에 해당하는 특징 맵 채널에 붉은 핫스폿을 띄운다면, 우리는 "이 AI는 늑대를 본 게 아니라 눈밭에 속고 있구나!" 하고 엉터리 판단의 실체를 단번에 포착해 낼 수 있습니다.

4. 그러나 마법의 돋보기도 완벽하지는 않다

그렇다면 기울기를 이용한 설명 방식은 100% 믿을 수 있을까요? 안타깝게도 수학적 한계가 존재합니다.

가장 대표적인 것이 '기울기 포화(Saturation) 문제'입니다.

예를 들어 물을 끓일 때, 온도가 섭씨 100도에 도달해 펄펄 끓고 있는 주전자에 불을 조금 더 세게 땐다고 해서 수온이 더 올라가지 않습니다. 즉, 변화율(기울기)이 0이 되어버린 상태입니다.

인공지능 내부의 계산 함수에서도 똑같은 현상이 일어납니다. AI가 이미 "이것은 너무나도 확실한 종양이다!"라고 100% 확신해 포화 상태에 도달해 버리면, 실제로는 암을 판단하는 데 가장 결정적인 부위인데도 역설적으로 순간 기울기가 0으로 계산되는 오류가 발생할 수 있습니다. 중요한 부위인데도 기울기 돋보기에는 '관심 없는 부위'로 잘못 찍히는 것이죠.

또한 입력에 눈에 띄지 않는 미세한 잡음을 섞는 것만으로도 기울기 히트맵의 위치가 엉뚱한 곳으로 튀어버리는 등 '설명의 취약성' 문제도 학계에서 꾸준히 지적되고 있습니다.

이 때문에 현대 XAI 연구진은 단순히 한 번의 순간 기울기만 보지 않고, 픽셀을 점진적으로 변화시키며 기울기를 누적해 더하는 '통합 기울기(Integrated Gradients)'나, 노이즈를 섞어 평균을 내는 '스무스그랩(SmoothGrad)' 같은 정교한 보완 기법들을 끊임없이 개발해 나가고 있습니다.

5. 차가운 엔진에서 따뜻한 대화의 창으로

지금까지 우리는 미분을 주로 AI의 엔진룸 안에서 묵묵히 나사를 조이고 기름을 치며 성능을 끌어올리는 '학습의 도구'로만 생각해 왔습니다.

하지만 인공지능이 의료 진단, 자율주행, 사법 판단처럼 인간의 삶과 직결된 중요한 결정을 내리기 시작한 지금, 미분은 완전히 새로운 사명을 얻었습니다. 꽉 닫혀 있던 알고리즘의 가슴속을 열어젖히고, 그 복잡한 뇌 속에서 어떤 생각과 근거가 오갔는지를 세상 밖으로 투명하게 비춰주는 '설명과 이해의 돋보기'가 된 것입니다.

알고리즘의 오판과 편향을 꿰뚫어 보고, 인간과 AI가 서로를 의심 없이 신뢰할 수 있도록 다리를 놓아주는 기술. 그 다정한 소통의 밑바탕에도 세상의 미세한 떨림을 읽어내는 수학, 바로 '기울기'의 시선이 함께하고 있습니다.