예전에 이런 이야기를 들었습니다. 잘 모르면 이야기하면 안 되냐고. 일반적인 상황으로 말할 수 없습니다. 말하는 사람의 배경이 매우 뛰어나서
"카더라"
가 마치 다른 사람에게는 사실처럼 여겨질 것 같으면, 매우 조심해야 합니다. 조심에 조심에 조심을 했는데도 수 백명의 가습기 살균제 사망 사건이 일어난 것이 아닙니다. 적어도 직접 경험을 했거나 깊이나 디테일이 있어야 하는데, 그냥 말 그대로 카더라의 경우 매우 위험합니다. 그나마 서로 비판할 수 있는 슬롯 시스템이 나름 생각이 비슷한 사람들에게만 확산되도록 막아주는데. 제가 궁금해하는 것은 바로 반대 의견을 내지도 못하느냐는 것이지요.
누군가가 볼 때는 잘못된 슬롯 시스템의 노예로 살다가 어느 순간에 연습도 없이 말하라고 등 떠밀었는데, 아무렇게나 해도 딱히 뭐라고 하는 사람이 없는 경우입니다. 그러다가 야생의 강자가 와서 한 마디 하면, 노예로 살았던 시스템의 힘으로 논리보다는 의견에도 등급을 매겨 우기기 일쑤입니다.
왜라는 것이 돌고 돌면 사실 원자 단위 아래로 가고, 확률과 파동에서 사람이 물리적으로 인지하려는 시간보다 변화의 시간이 더 빨라져서 알 수 없는 영역으로 타협할 수밖에 없습니다. 그러나 적어도 왜를 1번 혹은 2번까지 물어봤을 때. 정 시간이 없다면 1번 정도 물어봤을 때 답할 수 있는 주장을 해야 합니다.
단편적으로 이러이러한 경험 1번을 했는데 딱히 레퍼런스가 없어서 앞으로도 이럴 것이라고 주장한다. 역시
왜?
에 대한 답이라고 생각합니다.
2개의 글에 걸쳐서 최근 사짜 거리는 방법을 소개했습니다. 체감 상 이제 만나는 사람의 10명 중 7명은 사짜라서 뭔가 디테일하거나 구체적인 이야기는 못하고 겉도는 이야기만 하는 것에 대한 피로도가 견딜 수 없을 정도로 누적되었기 때문입니다.
AI는 분야부터 제대로 나누어야 합니다. 세계 최고의 복싱 선수가 흑백 요리사 나가서 무조건 우승한다고 주장하는 사람을 참 많이도 만납니다. 그렇게 되고 싶지 않습니다.
하드웨어를 하면서도 왜 자꾸 신 정도의 AI를 아무렇게나 가동할 수 있다고 생각하는지도 모르겠습니다. 최신 LLM 모델을 30만 원짜리 사무용 컴퓨터에서 온프레미스로 구동한다는 것처럼 들립니다.
원자력 발전소처럼 한 사람이 모든 것을 알 수는 없기에 장님 코끼리 만지는 의견이 많이 나올 수 있다고 생각하고 그것을 조합해 주는 인류의 학문 또한 발전했다고 보긴 합니다만. 그냥 단순히 이미 만들어서 증명한 사람의 번역본을, 또 디테일하게 전달해 주는 사람들은 화면에 드러나지도 않습니다. 오히려 고마워해야 할 대상은 그런 사람들인 것입니다. 그래서 이전 편에서 그런 사람들의 "카더라 통신" 직업은 사라진다고 이야기를 했습니다.
제프리 힌튼의 연구는 다른 석학의
지난 연구에서 도움을 받았다.
https://people.idsia.ch/~juergen/who-invented-backpropagation.html
핀란드의 컴퓨터 과학자인 세포 린나인마는 1970년 자신의 석사 학위 논문에서 '자동 미분(Automatic Differentiation)의 역모드(Reverse Mode)'를 처음으로 기술했습니다. 이것이 현대 역전파 알고리즘의 수학적 기초이자 범용적인 형태의 시초입니다.
린나인마의 수학적 원리를 신경망 학습에 구체적으로 적용한 사람은 하버드 대학교의 폴 워보스(Paul Werbos)입니다. 그는 1974년 박사 학위 논문에서 다층 퍼셉트론을 학습시키기 위해 오차를 뒤로 전파하는 방식을 제안했습니다. 하지만 당시에는 인공지능 연구의 '암흑기'였던 탓에 큰 주목을 받지 못했습니다.
우리가 흔히 힌튼을 떠올리는 이유는 1986년 데이비드 루멜하트(David Rumelhart), 제프리 힌튼, 로널드 윌리엄스(Ronald Williams)가 공동 발표한 논문 덕분입니다. 이들은 역전파가 복잡한 내부 표현(Internal Representation)을 학습할 수 있음을 실험적으로 증명해 내며 인공지능 연구에 다시 불을 지폈습니다.
보충: 린나인마의 논문 제목은 *"The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors"*이며, 신경망이 아니라 반올림 오차 분석을 위한 것이었습니다. "priority but not paternity" — 역전파의 수학적 우선권은 있지만, 신경망에 대한 직접적 기여는 아닙니다.
"Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences"
내용 다층 퍼셉트론에 역전파 적용 ✅ 맞음
주목 못 받음 AI 암흑기
✅ 맞음 (1995년 IEEE Neural Network Pioneer Award로 뒤늦게 인정)
David Rumelhart, Geoffrey Hinton, Ronald Williams
"Learning representations by back-propagating errors"
핵심 기여 : 내부 표현 학습 가능성을 실험적으로 증명 ✅ 맞음
영향 AI 연구 부활에 기여 ✅ 맞음
세 가지 핵심 주장 모두 역사적 사실과 부합합니다. 한 가지 보충할 점은, 린나인마의 연구는 신경망을 위한 것이 아니라 수치 연산의 오차 분석이 원래 목적이었다는 맥락을 추가하면 더 정확해집니다. 또한 워보스의 경우 일부 자료에서 1971년에 이미 관련 아이디어를 발전시키고 있었다는 점도 언급되곤 합니다.