2.2-b 신경망의 흥망성쇠로 본 인공지능의 발전

신경망(Neural Networks)은 인공지능 역사 속에서 여러 차례의 부침을 겪었습니다. 생물학적 뉴런을 모방한 이 계산 모델은 초기의 열광적인 기대에서부터 혹독한 비판, 긴 침체기, 그리고 화려한 부활까지를 모두 경험하며 오늘날의 딥러닝 혁명을 이끌게 됩니다. 이 글에서는 신경망이 겪은 상승과 하강, 그리고 부활의 여정을 연대기적으로 살펴봅니다.

---

1. 신경망의 태동기: 이론에서 가능성으로 (1940–1960)

① 맥컬로-피츠(McCulloch-Pitts) 뉴런 모델 (1943)

 

맥컬로-피츠 뉴런 모델은 1943년 Warren McCulloch와 Walter Pitts가 제안한 가장 단순한 형태의 인공 뉴런 모델입니다. 이 모델은 오늘날의 인공신경망(Artificial Neural Network)의 이론적 토대를 마련한 출발점입니다.

• 개념 제안자: Warren McCulloch(신경과학자), Walter Pitts(논리학자)
• 핵심 아이디어: 생물학적 뉴런을 수학적으로 모델링한 최초의 인공 뉴런 제안
• 의의:
  1. McCulloch-Pitts 뉴런은 단순한 이진 신경 모델입니다.
  2. 실제 뉴런의 작동 방식을 흉내 내지만, 굉장히 기본적이고 수학적 모델입니다.
  3. 이 모델 자체는 학습 기능이 없고, 사람이 가중치와 임계값을 수동으로 지정해야 합니다.
  4. 하지만, 이 아이디어를 기반으로 후에 퍼셉트론, 다층 퍼셉트론(MLP), 딥러닝 모델이 발전하게 됩니다.

② 퍼셉트론(Perceptron)모델 (1957)

퍼셉트론 모델은 1957년 프랭크 로젠블랫(Frank Rosenblatt)이 제안한 초기의 인공신경망 모델입니다.
맥컬로-피츠  뉴런보다 한 단계 발전된 형태로, 기계가 데이터를 보고 스스로 학습하는 최초의 시도입니다.
퍼셉트론 모델은  간단한 뇌세포(뉴런)를 흉내낸 모델로, 입력을 받아서 계산하고 결과를 출력하는 구조입니다.
중요한 특징은, 정답 데이터를 보고 스스로 가중치를 조정하는 학습 기능이 있다는 점입니다.

• 개발자: Frank Rosenblatt (Cornell University)
• 핵심 원리:
  • 가중치(weight)와 활성화 함수 기반으로 입력 패턴을 분류
  • 학습이 가능한 첫 신경망 모델로, 데이터로부터 직접 학습 가능
• 한계와 의의:
  • 컴퓨터가 스스로 경험을 통해 학습할 수 있다는 개념을 실현하였습니다.
  • 그러나 퍼셉트론은 입력 데이터를 기준으로 결정 경계가 직선(linear decision boundary)인 경우에만 문제를 해결할 수 있습니다.
    예시: 두 개의 클래스가 직선 하나로 나눠질 수 있다면 퍼셉트론이 잘 작동합니다.)
             하지만 XOR 문제처럼 데이터를 하나의 직선으로 구분할 수 없는 경우(선형으로 분리 불가능한 문제)는
             퍼셉트론 모델으로 해결할 수 없습니다.
    
  • 이 한계를 극복하기 위한 연구들이 이어졌고, 결과적으로 다층 퍼셉트론(Multi-layer Perceptron, MLP)과 딥러닝(Deep Learning)의 발전으로 이어졌습니다.

---

2. 신경망의 첫 침체기: 퍼셉트론 한계와 AI의 겨울 (1969–1980)

① 민스키-파펏의 비판 (1969)

1969년, 인공지능의 선구자인 마빈 민스키(Marvin Minsky)와 세이무어 파펏(Seymour Papert)은 『Perceptrons』라는 책을 출간했습니다. 이 책은 단층 퍼셉트론(single-layer perceptron)의 한계점을 과학적으로 분석하고 비판한 것으로, 인공신경망 연구 역사에서 매우 중요한 전환점을 이루었습니다.

• 주장:
  • 퍼셉트론은 입력을 직선(선형 경계) 하나로 구분할 수 있는 문제만 처리 가능하여 XOR 문제 해결 불가
  • 퍼셉트론은 입력층과 출력층만 있는 단순한 구조(single-layer)로 복잡한 패턴을 표현하거나 구분하지 못함.
  • 퍼셉트론은 단순한 문제에는 잘 작동하지만, 문제 구조가 복잡해지면 사용할 수 없는 확장성의 한계

    ---

•  
• 영향력:
  • 신경망에 대한 학계와 산업계의 신뢰 붕괴
  • 미 국방성의 연구비 축소
  • 신경망에 기반한 연구들이 대거 중단되고, "AI의 첫 번째 겨울"(1970–1980)로 이어짐

② 상징주의(Symbolic AI)의 부상

950년대 후반부터 1980년대까지, 인공지능 연구의 중심은 ‘상징주의(Symbolic AI)’였습니다. 이것은 기호(symbol)와 논리 규칙을 사용해서 사람처럼 생각하고 추론하는 컴퓨터 프로그램을 만들려는 접근 방식입니다.

• 기본 개념
  • 상징주의 AI는 인간의 사고를 ‘기호(symbol)’로 표현할 수 있다고 가정합니다.
  • ‘기호’란 개념, 사물, 사건 등을 글자나 코드로 나타낸 것(예: “고양이”, “배고픔”, “A > B” 등).
  • 컴퓨터는 이 기호들을 가지고 정해진 규칙(논리)에 따라 **추론(Reasoning)**을 합니다.

• 작동 방식
  • 지식 표현: 세상에 대한 정보를 규칙, 개념, 관계 등으로 정리합니다.
    예: “모든 사람은 죽는다.”, “소크라테스는 사람이다.”
  • 추론 규칙: 논리 규칙을 적용해 새로운 사실을 만들어냅니다.
    결과: “→ 소크라테스는 죽는다.”
  • 목표 추론 또는 문제 해결: 문제 상황에서 규칙과 기호를 사용해 해답을 찾아냅니다.

---

3. 반격의 시작: 역전파(Backward Pass) 알고리즘과 재도약 (1980–1990)

① 역전파 알고리즘의 등장 (1986)

• 역전파 알고리즘 개요
  역전파 알고리즘은 1986년 루멜하트(David Rumelhart), 힌튼(Geoffrey Hinton) 등이 소개한 인공신경망 학습 방법입니다. 이 알고리즘 덕분에 **다층 퍼셉트론(Multi-layer Perceptron)**을 학습시킬 수 있게 되었고, 신경망의 실질적 부활을 이끌었습니다.

• 역전파(Backward Pass)의 의미
  예측값과 실제 정답의 차이(오차)를 계산하여, 그 오차를 뒤에서 앞으로 보내며 각 층의 가중치를 조정합니다.

• 핵심 기술:
  • 다층 신경망의 가중치를 오류 역전파(Backpropagation)를 통해 효과적으로 조정
  • XOR 문제를 해결할 수 있는 복수 계층 신경망(Multi-layer Neural Networks)을 학습 가능하게 만듦

• 결과:
  • 신경망이 복잡한 문제를 다룰 수 있다는 점을 입증
  • 이미지 분류, 음성 인식, 필기체 인식 등에 실질적으로 적용 가능해짐

② 실제 활용 및 응용 확대

• 역전파는 단순한 분류 문제를 넘어서 딥러닝의 핵심 학습 도구로 자리 잡았습니다.
• 예를 들어, 다음과 같은 분야에서 역전파 기반 신경망이 널리 활용됩니다:
  • 이미지 인식: 사람 얼굴 인식, 고양이/강아지 구분 (예: CNN + Backprop)
  • 음성 인식: 음성 데이터를 텍스트로 변환 (예: 음성 비서, AI 스피커)
  • 자연어 처리: 기계 번역, 챗봇, 감정 분석 (예: GPT, BERT 등)
  • 의료 진단: MRI, X-ray 이미지 분석 → 이상 여부 판단

• 역전파는 이처럼 복잡한 패턴 인식 문제를 해결할 수 있게 만들어줬고, AI 붐의 핵심 기술이 되었습니다.

---

4. 다시 찾아온 침체기: 한계와 전환 (1990–2005)

1980년대 후반 역전파 알고리즘의 등장으로 신경망 연구가 다시 활기를 띠었지만, 1990년대에 들어서며 AI는 또 한 번 침체기(AI Winter)를 겪게 됩니다. 이 시기에는 신경망의 기술적 한계와 머신러닝 중심 접근법의 부상이 주요 원인으로 작용했습니다.

① 기술적 한계

1. 계산 자원의 부족

• 신경망은 수많은 가중치와 계산을 포함하기 때문에 계산 비용이 매우 높았습니다.
• 1990년대 초반의 컴퓨터 성능으로는 대규모 다층 신경망을 효율적으로 학습시키기 어려웠습니다.
• GPU가 아닌 CPU 기반의 처리 한계로 인해, 신경망의 규모와 복잡성은 매우 제한적이었습니다.

2. 데이터 부족

• 신경망은 대량의 학습 데이터가 필요하지만, 이 시기에는 디지털화된 대규모 데이터셋이 부족했습니다.
• 예를 들어, 지금처럼 수백만 장의 이미지나 수억 개의 텍스트 데이터를 수집하는 것은 거의 불가능했습니다.

3. 오버피팅과 일반화 문제

• 작은 데이터로 학습한 신경망은 훈련 데이터에는 잘 맞지만 실제 새로운 문제에는 잘 작동하지 않는(overfitting) 현상이 잦았습니다.
• 이를 막을 수 있는 정규화 기법, 드롭아웃 등의 기술도 아직 개발되지 않았던 시기입니다.

4. 이론적 이해 부족

• 역전파는 잘 작동하지만 왜 작동하는지에 대한 이론적 근거가 부족했고, 그로 인해 학계의 신뢰를 받지 못하는 경우가 많았습니다.

② 주류의 변화

이 시기에는 신경망보다 머신러닝(특히 통계 기반의 방법)이 훨씬 더 높은 성능과 이론적 안정성을 보였습니다.

대표적 기술들

1. SVM (Support Vector Machine)
   • 복잡한 분류 문제를 수학적으로 잘 설명할 수 있는 강력한 도구.
   • 일반화 성능이 우수하고, 고차원 문제도 잘 처리함.
2. 의사결정트리 (Decision Trees) & 랜덤포레스트
   • 해석 가능성도 높고, 다양한 형태의 데이터에 유연하게 적용 가능함.
3. 나이브 베이즈, KNN, 로지스틱 회귀 등 통계 기반 모델
   • 이론적 근거가 명확하고, 계산 자원이 적게 들어 실무 적용이 유리했음.

왜 주류가 바뀌었는가?

• 정확도: 당시 기준으로 머신러닝이 더 좋은 성능을 보였음.
• 설명 가능성: 신경망은 블랙박스였지만, SVM 등은 수학적으로 해석 가능했음.
• 계산 효율성: 신경망보다 빠르고 적은 자원으로 학습 가능했음.

---

5. 부활: 딥러닝의 시작과 신경망의 전성기 (2006–현재까지)

2006년은 신경망이 다시 주목받기 시작한 딥러닝(Deep Learning) 시대의 출발점입니다. 과거의 한계를 극복한 기술적 진보와 환경 변화 덕분에, 신경망은 2010년대 이후 AI 기술의 중심으로 우뚝 섰습니다.

 

(1) GPU, 데이터, 알고리즘 – 삼박자의 만남

딥러닝이 성공적으로 부활할 수 있었던 이유는 다음 세 가지 핵심 조건이 동시에 충족되었기 때문입니다.

① GPU (Graphics Processing Unit)

• 원래는 게임 그래픽 처리를 위해 개발된 장치이지만, 수많은 수학 연산을 병렬로 빠르게 처리할 수 있어 딥러닝 학습에 최적화됨.
• 2010년대 초, NVIDIA의 CUDA 기술로 일반 연구자들도 신경망을 고속으로 학습시킬 수 있게 됨.

② 데이터 폭발 (Big Data)

• 유튜브, SNS, 스마트폰, 웹 등의 확산으로 인해 거대한 양의 이미지, 영상, 텍스트 데이터가 생성됨.
• 딥러닝은 ‘많은 데이터가 많을수록 성능이 좋아지는’ 특성을 가지고 있어, 이 환경은 이상적이었음.

③ 알고리즘 개선

• 힌튼(Hinton) 등이 제안한 사전학습(Pre-training) 기법으로 신경망의 학습이 더 안정적이 됨.
• ReLU 함수, 드롭아웃(dropout), 배치 정규화(batch normalization) 등 신경망 학습을 돕는 다양한 기법이 개발됨.

---

(2) 딥러닝의 신호탄: AlexNet (2012)

2012년, 캐나다 토론토 대학의 알렉스 크리제브스키(Alex Krizhevsky), 제프리 힌튼 등이 만든 AlexNet이라는 모델이 등장합니다.

• ILSVRC 2012 이미지 인식 대회에서 2위와 무려 10% 이상의 성능 차이로 압승함.
• GPU 기반의 딥러닝 모델로 학습한 이 모델은, 기존 머신러닝 기법들을 압도하는 정확도를 보여주었음.

주요 특징

• Convolutional Neural Network (CNN) 구조를 채택함
• GPU로 학습 시간 단축
• ReLU 활성화 함수, 드롭아웃 사용으로 과적합 방지

영향

• 이후 모든 이미지 분석 분야에서 CNN이 주류로 자리 잡음
• ‘딥러닝이 실제로 작동한다’는 사실을 전 세계에 증명한 역사적 사건으로 평가됨

---

(3) 역사적 성취: AlphaGo (2016)

2016년, 구글 딥마인드(Google DeepMind)의 AlphaGo는 바둑 세계 챔피언 이세돌 9단을 이기며 인공지능의 가능성을 전 세계에 각인시켰습니다.

핵심 기술

• 딥러닝 + 강화학습 + 몬테카를로 트리 탐색(MCTS)
• 수백만 건의 기보 데이터를 통해 사전 학습 + 자가 대국을 통한 실력 향상

의미 있는 점

• 바둑은 경우의 수가 엄청나게 많아 ‘계산’만으로 해결할 수 없는 직관적인 영역이었음
• AlphaGo는 신경망 기반의 패턴 인식과 전략적 판단을 결합해 인간보다 우수한 바둑 실력을 보임

사회적 파급

• 전 세계 AI 열풍 촉발
• 정부, 기업, 학계에서 딥러닝에 대한 관심과 투자 급증

---

 

6. 결론: 신경망의 흥망성쇠에서 배우는 교훈

신경망의 역사는 인공지능 연구가 어떻게 기술적 한계, 이론적 비판, 혁신적 돌파를 통해 발전해왔는지를 보여주는 대표적인 사례입니다. 오늘날의 딥러닝은 단지 하나의 기술이 아닌, 수십 년간의 실패와 극복이 축적된 결과물입니다.

✨ 신경망 역사의 의의

• 지속적인 혁신의 중요성: 초기 이론이 수십 년 후 다시 주목을 받음
• 기술-인프라의 상호작용: 이론과 컴퓨팅 자원의 병행 발전이 필수
• 비판과 한계 극복의 순환: 부정적 평가가 곧 혁신의 자극이 될 수 있음