DLSS 5 시대에도 레이 트레이싱과 패스 트레이싱은 필요한가? 게임 렌더링 파이프라인의 변화
DLSS 5가 게임 그래픽을 어떻게 바꾸는지 살펴보고 레이 트레이싱과 패스 트레이싱이 여전히 필요한 이유, 효율적인 렌더링 파이프라인 설계와 아트 제작 기준을 정리한다.
핵심 요약
DLSS 5는 레이 트레이싱이나 패스 트레이싱을 대체하는 기술이라기보다 렌더링 결과를 더 높은 품질의 픽셀로 재구성하는 Neural Rendering 계층에 가깝다. 따라서 빛의 가시성, 재질, 지오메트리, 그림자와 반사의 물리적 관계를 계산하는 레이 트레이싱과 패스 트레이싱은 여전히 필요하다.
앞으로의 핵심은 모든 픽셀을 무작정 많이 샘플링하는 방식에서 벗어나 적은 수의 물리 기반 샘플과 정확한 모션 벡터, 깊이, 노멀, 재질 정보를 입력으로 제공하고 AI 재구성 단계에서 최종 화질을 완성하는 것이다.
DLSS 5는 무엇을 바꾸는가?
NVIDIA는 2026년 3월 16일 DLSS 5를 발표하면서 실시간 Neural Rendering 모델이 픽셀에 사실적인 조명과 재질 표현을 더한다고 설명했다. 출시 시점은 2026년 가을로 안내됐으며 세부 구현과 지원 범위는 변경될 수 있다. NVIDIA의 DLSS 5 발표
이 발표가 의미하는 변화는 렌더링 파이프라인의 마지막 단계가 단순한 안티앨리어싱이나 업스케일링에 머물지 않는다는 점이다. 전통적인 파이프라인에서는 다음과 같은 질문이 중요했다.
- 화면에 보이는 픽셀을 어떤 해상도로 렌더링할 것인가?
- 그림자, 반사, 글로벌 일루미네이션을 몇 개의 샘플로 계산할 것인가?
- 노이즈를 제거하기 위해 어떤 디노이저를 사용할 것인가?
Neural Rendering이 발전하면 질문은 다음처럼 바뀐다.
- AI 재구성 모델이 안정적으로 해석할 수 있는 입력을 제공했는가?
- 모션 벡터와 깊이 정보가 모든 오브젝트에서 정확한가?
- 재질의 변화와 조명 변화가 시간축에서 일관되게 전달되는가?
- 생성된 디테일과 실제 렌더링 결과를 어떻게 검증할 것인가?
즉 GPU 예산의 중심이 단순한 샘플 수에서 샘플의 품질과 입력 데이터의 신뢰도로 이동한다.
레이 트레이싱과 패스 트레이싱의 차이는 무엇인가?
두 기술은 모두 광선을 추적하지만 적용 범위와 계산 방식이 다르다.
| 기술 | 계산 범위 | 주요 용도 | 장점 | 한계 |
|---|---|---|---|---|
| 래스터라이제이션 | 삼각형 투영과 셰이더 기반 근사 | 기본 게임 렌더링 | 빠르고 예측 가능함 | 반사, 간접광, 그림자 일관성이 제한됨 |
| 레이 트레이싱 | 특정 효과에 선택적으로 광선 추적 | RT 그림자, 반사, AO, GI | 필요한 효과만 물리 기반으로 개선 | 효과마다 별도 샘플링과 디노이징이 필요함 |
| 패스 트레이싱 | 카메라에서 출발한 광선의 다중 반사와 전체 광수송 계산 | 통합 조명, 사실적인 GI와 반사 | 조명 모델이 일관되고 아티스트의 예외 처리가 줄어듦 | 샘플 수, 노이즈, 메모리와 시간 비용이 큼 |
| DLSS Super Resolution | 저해상도 입력을 고해상도 출력으로 재구성 | 업스케일링과 안티앨리어싱 | 내부 렌더링 비용 감소 | 입력 오류와 고스팅을 완전히 제거하지 못함 |
| DLSS Ray Reconstruction | 레이 트레이싱 결과의 픽셀 재구성 및 디노이징 | RT와 PT 화질 개선 | 여러 수동 디노이저를 신경망으로 대체 가능 | 정확한 깊이, 모션, 조명 입력이 필요함 |
| Frame Generation | 이전 프레임과 모션 정보를 이용해 중간 프레임 생성 | 표시 프레임 수 증가 | 체감 부드러움 개선 | 실제 게임 로직 프레임과 입력 지연을 대체하지 않음 |
NVIDIA는 DLSS Ray Reconstruction을 기존의 수동 튜닝 디노이저를 대체하고 샘플링된 광선 사이의 고품질 픽셀을 생성하는 기술로 설명한다. DLSS Ray Reconstruction 개발자 문서
DLSS 5가 레이 트레이싱을 대체하지 못하는 이유는 무엇인가?
첫째는 가시성 문제다. 어떤 표면이 카메라에 보이는지 광원이 차단되는지 반사가 어느 오브젝트를 바라보는지는 장면의 지오메트리와 광선 교차 결과로 결정된다. Neural Rendering 모델은 이 결과를 보완할 수 있지만 장면에 존재하지 않는 물리적 관계를 항상 정확하게 계산한다고 보장할 수는 없다.
둘째는 재질과 조명의 인과관계다. 거친 금속과 매끄러운 금속은 서로 다른 BRDF를 사용하고 유리, 피부, 천, 젖은 바닥은 빛의 반사와 투과 방식이 다르다. 패스 트레이싱은 이러한 재질 응답을 여러 반사 경로에서 통합한다.
셋째는 새로운 장면과 극단적인 상황에 대한 일반화다. 학습 기반 모델은 충분한 문맥을 바탕으로 그럴듯한 결과를 만들 수 있지만 게임에서는 새로 생성된 오브젝트, 파괴되는 지오메트리, 빠른 카메라 이동, 입자와 반투명 재질이 동시에 나타난다. 이때 물리 기반 샘플이 부족하면 AI가 안정적인 결과를 만들기 어렵다.
렌더링 방정식의 관점에서 보면 Neural Rendering은 광수송 자체를 완전히 없애기보다 계산된 일부 입력을 바탕으로 최종 관측값을 근사하는 계층이다.
여기서 지오메트리, 노멀, BRDF, 광원과 가시성은 여전히 아트와 렌더러가 제공해야 한다. 모델이 아무리 좋아져도 잘못된 노멀 맵이나 누락된 모션 벡터를 물리적으로 복원해 주지는 않는다.
렌더링 파이프라인은 어떻게 변하는가?
기존의 하이브리드 렌더링은 래스터라이제이션을 중심에 두고 특정 효과에만 레이 트레이싱을 추가했다. 앞으로는 게임의 목표 화질과 하드웨어에 따라 래스터라이제이션, 레이 트레이싱, 패스 트레이싱을 선택한 뒤 AI 재구성 단계에서 하나의 출력으로 통합하는 구조가 일반화될 가능성이 높다.
flowchart LR
A[지오메트리 재질 광원] --> B[래스터라이제이션 또는 RT PT 샘플]
B --> C[색상 깊이 노멀 모션 벡터]
C --> D[디노이징 및 Ray Reconstruction]
D --> E[DLSS Super Resolution]
E --> F[Frame Generation 또는 Multi Frame Generation]
F --> G[UI 합성 및 디스플레이 출력]이 구조에서 중요한 점은 DLSS가 장면을 대신 만드는 것이 아니라 렌더러가 만든 불완전한 관측값을 시간축과 공간축의 정보로 보강한다는 것이다. 따라서 패스 트레이싱을 활성화할수록 다음 데이터의 정확도가 더 중요해진다.
- 선형 깊이와 반전된 Z 여부
- 모든 오브젝트의 화면 공간 모션 벡터
- 반사와 투명 오브젝트의 스페큘러 모션 벡터
- TAA 또는 DLSS에 사용하는 지터 패턴
- 카메라 컷과 순간 이동을 알리는 카메라 리셋 플래그
- 재질의 러프니스, 노멀, 투과와 발광 정보
NVIDIA의 통합 가이드도 Ray Reconstruction 적용 시 선형 깊이, 정확한 모션 벡터, 스펙큘러 모션 벡터, 호환 가능한 지터와 카메라 리셋 처리가 필요하다고 안내한다.
아트 제작 방식은 어떻게 달라지는가?
1. 라이트맵 전용 예외 처리보다 실제 물리 관계를 우선한다
패스 트레이싱에서는 하나의 광원 변화가 직접광, 간접광, 반사와 그림자에 함께 영향을 준다. 따라서 특정 카메라에서만 맞는 라이트맵 보정이나 반사 캡처보다 실제 크기와 배치에 맞는 광원, 노멀, 러프니스 제작이 중요해진다.
2. 반사에 보이는 면을 별도의 품질 기준으로 관리한다
래스터라이제이션에서는 화면 밖이거나 카메라에 직접 보이지 않는 면의 품질이 낮아도 문제가 적을 수 있다. 하지만 RT와 PT에서는 금속 표면이나 유리 표면에 그 면이 반사될 수 있다. LOD, 백페이스, 텍스처 해상도, 머티리얼 슬롯을 반사 결과까지 확인해야 한다.
3. 시간축 아티팩트를 아트 리뷰에 포함한다
정지 화면만 확인하면 고스팅, 끊기는 반사, 얇은 선의 깜빡임을 놓치기 쉽다. 빠른 카메라 이동, 오브젝트 생성과 제거, 파티클, 머리카락, 반투명 효과를 포함한 움직이는 플레이백을 최종 품질 검증에 사용해야 한다.
게임에 패스 트레이싱을 어떻게 적용할까?
1단계: 목표 플랫폼과 출력 지연을 먼저 정한다
4K 60fps를 목표로 하는지 1440p 120fps를 목표로 하는지에 따라 PT의 샘플 예산과 DLSS 모드가 달라진다. Frame Generation으로 표시 프레임을 늘려도 게임 로직과 입력 샘플링 비용이 줄어드는 것은 아니므로 렌더링 프레임 시간과 체감 지연을 따로 측정해야 한다.
2단계: 장면별로 하이브리드 RT와 PT를 구분한다
넓은 야외 장면에서 RT 그림자와 반사만 필요하다면 하이브리드 RT가 적절할 수 있다. 실내 공간의 다중 반사, 간접광, 광원 색 번짐이 핵심이라면 PT의 일관된 광수송이 더 유리하다. 모든 장면에 동일한 모드를 강제하기보다 장면별 품질 프로파일을 만든다.
3단계: 샘플보다 입력 버퍼를 먼저 검증한다
다음과 같은 의사 코드처럼 PT 결과는 보통 적은 샘플로 계산된 노이즈 이미지와 보조 버퍼로 후단에 전달된다.
float3 radiance = 0;
for (uint i = 0; i < sampleCount; ++i)
{
RayDesc ray = GenerateCameraRay(pixel, i, frameIndex);
Payload payload = TraceScene(SceneTLAS, ray);
radiance += payload.radiance;
}
float3 noisyLighting = radiance / sampleCount;
StoreLighting(noisyLighting, linearDepth, normal, motionVector, roughness);실제 엔진 API와 버퍼 이름은 다를 수 있지만 검증 순서는 비슷하다. 깊이가 틀리면 재구성 경계가 무너지고 모션 벡터가 틀리면 고스팅이 발생한다. 샘플 수를 늘리기 전에 이 데이터를 RenderDoc, PIX, Nsight Graphics 등으로 확인하는 편이 효율적이다.
4단계: 디노이저와 DLSS 옵션을 중복 적용하지 않는다
수동 디노이저, NRD 계열 디노이저, Ray Reconstruction을 동시에 적용하면 디테일이 뭉개지거나 시간축 누적이 과도해질 수 있다. 어떤 단계가 노이즈를 제거하고 어떤 단계가 업스케일링을 담당하는지 명확히 정의한 뒤 장면별 A/B 테스트를 진행한다.
5단계: 정지 화면과 움직이는 화면을 분리해 측정한다
정지 화면에서는 세부 질감과 반사 해상도를 보고 움직이는 화면에서는 고스팅, 깜빡임, disocclusion 오류와 입력 지연을 본다. GPU 타이밍은 PT 샘플링, BVH 업데이트, 디노이징, DLSS, Frame Generation을 각각 분리해 기록해야 병목을 찾을 수 있다.
어떤 게임에 어떤 조합이 적합한가?
| 게임 상황 | 권장 렌더링 전략 | 아트·테크 아트 핵심 |
|---|---|---|
| 경쟁형 FPS | 래스터라이제이션 또는 제한적인 RT | 낮은 지연, 선명한 모션, 안정적인 그림자 |
| 영화적 싱글플레이 게임 | 하이브리드 RT + DLSS RR/SR | 재질 반사와 캐릭터 조명의 일관성 |
| 실내 탐험 게임 | PT 또는 영역 제한 PT | 간접광, 다중 반사, 어두운 공간의 노이즈 관리 |
| 자동차와 제품 시각화 | PT + 높은 품질의 재구성 | 금속과 유리 반사, 화면 밖 지오메트리 |
| 저사양 및 멀티플랫폼 게임 | 래스터라이제이션 중심의 확장 경로 | 동일한 아트 자산으로 품질 단계별 대체 효과 제공 |
핵심은 DLSS 5를 켤 수 있는 플랫폼만을 기준으로 자산을 제작하지 않는 것이다. RT와 PT용 자산 품질을 높이되 래스터라이제이션에서도 읽히는 실루엣, 노멀, 러프니스와 라이팅 대체 경로를 함께 유지해야 한다.
자주 묻는 질문 (FAQ)
DLSS 5를 사용하면 패스 트레이싱 샘플 수를 1개까지 낮춰도 되는가?
항상 그렇지는 않다. 모델이 노이즈를 줄일 수 있어도 광원 구조, 얇은 형상, 투명 재질과 빠른 움직임에서는 최소 샘플 품질이 필요하다. 장면별로 샘플 수와 재구성 품질을 함께 벤치마크해야 한다.
레이 트레이싱과 패스 트레이싱 중 무엇을 선택해야 하는가?
특정 효과만 개선하면 하이브리드 레이 트레이싱이 효율적이고 조명 전체의 일관성이 중요하면 패스 트레이싱이 유리하다. 목표 플랫폼과 프레임 시간 예산이 최종 선택을 결정한다.
Neural Rendering이 아티스트의 라이팅 작업을 줄여 주는가?
일부 반복적인 디노이징과 업스케일링 부담은 줄일 수 있지만 라이팅 의도와 재질 설계까지 자동화하지는 않는다. 오히려 모션 벡터, 노멀, 러프니스, 반사에 보이는 지오메트리의 품질을 더 엄격하게 관리해야 한다.
정리
DLSS 5 시대의 렌더링은 레이 트레이싱과 AI 중 하나를 선택하는 구조가 아니다. 레이 트레이싱과 패스 트레이싱은 빛과 장면의 물리적 근거를 제공하고 Neural Rendering은 제한된 샘플을 최종 픽셀로 재구성한다.
따라서 앞으로의 좋은 파이프라인은 다음 세 가지를 함께 만족해야 한다.
- 필요한 장면에는 RT 또는 PT로 일관된 광수송을 계산한다.
- 깊이, 노멀, 모션 벡터와 재질 정보를 재구성 모델이 신뢰할 수 있게 만든다.
- 정지 화면이 아니라 움직이는 플레이백과 실제 프레임 시간으로 품질을 검증한다.
렌더링의 미래는 물리 기반 계산을 없애는 것이 아니라 물리 기반 샘플과 학습 기반 재구성의 경계를 다시 설계하는 데 있다. NVIDIA의 실시간 레이 트레이싱 개요
