[AI] 파이토치(PyTorch)

https://www.youtube.com/watch?v=ORMx45xqWkA

 

1. 개념

PyTorch는 Facebook (현 Meta)에서 개발한 오픈소스 딥러닝 프레임워크. 주로 딥러닝 연구와 프로토타이핑에 많이 사용되며, 직관적인 코드 스타일과 동적 연산 그래프(Eager Execution) 덕분에 사용이 쉬움. TensorFlow보다 학습 곡선이 완만하고, 파이썬스러운 문법을 지원해 많은 연구자와 개발자들이 선호함. *파이써닉하다!

 

2. 특징

(1) 동적 연산 그래프 (Dynamic Computation Graph)

• 텐서플로우(TensorFlow 1.x)의 정적 그래프 방식과 달리, PyTorch는 동적 그래프를 사용
• 코드 실행 시마다 그래프가 생성되므로, 디버깅과 모델 수정이 편리
• torch.autograd를 활용하여 자동으로 미분 계산을 수행할 수 있음

(2) 직관적인 코드 & 파이썬 친화적

• 파이썬과 유사한 문법을 사용하여 배우기 쉽고, NumPy처럼 다룰 수 있음
• PyTorch의 텐서는 numpy.ndarray와 유사하며, GPU 가속 기능을 지원
• 딥러닝뿐만 아니라 머신러닝, 과학 연산, GPU 프로그래밍에도 사용 가능

(3) GPU 가속 및 하드웨어 지원

• .to(device) 또는 .cuda()를 사용하여 GPU 및 TPU에서 연산을 수행할 수 있음
• CUDA, ROCm, XLA, Apple Silicon(M1, M2) 등을 지원

(4) 풍부한 커뮤니티 & 확장성

• 연구자 및 개발자 커뮤니티가 활발하여 다양한 오픈소스 프로젝트 및 튜토리얼이 존재함
• PyTorch 기반의 라이브러리(예: TorchVision, TorchText, TorchAudio)와 다양한 모델 허브(Hugging Face Transformers 등)와도 쉽게 연동됨

(5) 서빙 및 배포

• PyTorch도 배포 기능을 제공하며, TorchScript와 TorchServe를 활용하면 모델을 효율적으로 배포할 수 있음
• 최근 PyTorch 2.0에서는 JIT(just-in-time) 컴파일러를 활용한 성능 최적화 기능도 추가되었음

 

3. 기본 코드 예제

• 텐서 생성 및 기본 연산

import torch

# 랜덤 텐서 생성
x = torch.rand(3, 3)
y = torch.rand(3, 3)

# 기본 연산
print(x + y)  # 덧셈
print(x * y)  # 곱셈 (element-wise)
print(torch.matmul(x, y))  # 행렬 곱

 

• 자동 미분 (autograd)

# requires_grad=True를 설정하면 PyTorch가 자동으로 미분 계산을 추적
x = torch.randn(3, requires_grad=True)

# 수식 정의
y = x ** 2
z = y.sum()

# 자동으로 미분 계산 (역전파)
z.backward()
print(x.grad)  # dz/dx 출력

 

• 신경망 모델 정의

import torch.nn as nn
import torch.optim as optim

# 간단한 신경망 모델 정의
class SimpleNN(nn.Module):
    def __init__(self):
        super(SimpleNN, self).__init__()
        self.fc1 = nn.Linear(10, 5)  # 입력 10, 출력 5

    def forward(self, x):
        return torch.relu(self.fc1(x))

model = SimpleNN()

# 손실 함수 및 옵티마이저 정의
criterion = nn.MSELoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)

# 더미 데이터
inputs = torch.randn(5, 10)
targets = torch.randn(5, 5)

# 순전파 및 역전파
outputs = model(inputs)
loss = criterion(outputs, targets)
optimizer.zero_grad()
loss.backward()
optimizer.step()

 

4. 파이토치의 주요 활용 사례

딥러닝 연구	최신 논문 구현 및 실험
컴퓨터 비전 (CV)	이미지 분류, 객체 탐지, 스타일 변환
자연어 처리 (NLP)	번역, 감성 분석, GPT/Hugging Face 연동
강화 학습 (RL)	AlphaGo, 자율 주행, 로보틱스
생성 모델 (GAN, Diffusion)	이미지 생성, Stable Diffusion
그래프 신경망 (GNN)	소셜 네트워크 분석, 추천 시스템
생물정보학, 헬스케어	단백질 구조 예측, 신약 개발

 

5. 파이토치의 한계점

• 배포 기능 부족
  • TensorFlow는 TensorFlow Serving, TensorFlow Lite, TensorFlow.js 등 다양한 배포 옵션을 제공하지만, PyTorch는 상대적으로 배포 도구가 적음.
  • 다만 TorchScript와 TorchServe를 활용하면 배포 가능.
• 모바일 & 웹 지원 부족
  • TensorFlow Lite나 TensorFlow.js와 비교하면 모바일 및 웹 지원이 제한적.
• 속도 최적화 부족 (기존 버전 기준)
  • PyTorch는 TensorFlow 대비 속도 최적화가 덜 되어 있었지만, PyTorch 2.0에서 JIT 및 TorchInductor를 통해 성능이 크게 향상됨.

 

참고) 파이토치 VS. 텐서플로우

파이토치(PyTorch)와 텐서플로우(TensorFlow)는 둘 다 딥러닝 프레임워크지만, 연구 목적이라면 PyTorch, 배포까지 고려한다면 TensorFlow가 좋다.

비교항목	PyTorch	TensorFlow
개발사	Facebook (Meta)	Google
코딩 스타일	직관적, 파이썬스러움	상대적으로 복잡, 그래프 기반 (v1), 파이썬 스타일 개선 (v2)
사용 난이도	쉽고 직관적	다소 복잡 (특히 v1)
동적/정적 연산 그래프	동적 (Eager Execution)	정적(v1) + 동적(v2)
디버깅	간편함 (Python 디버거 사용 가능)	상대적으로 어려움 (특히 v1)
성능	연구 및 실험에 최적화	배포와 생산 환경에 최적화
지원 플랫폼	PC, 클라우드, 일부 모바일	PC, 클라우드, 모바일, 웹
주요 사용처	연구 및 프로토타이핑	기업용 서비스 및 배포
배포 용이성	TorchServe (배포 기능 있음)	TensorFlow Serving, TensorFlow.js, TensorFlow Lite 등 다양한 배포 옵션
커뮤니티 및 지원	연구 중심, 빠르게 성장	기업 및 산업에서 많이 사용됨

• PyTorch: 직관적이고 배우기 쉬워서 연구, 프로토타이핑, 실험에 적합.
• TensorFlow: 강력한 배포 기능과 확장성을 갖춰서 실무와 산업 환경에 적합.