AI 연산의 판도를 뒤흔드는 기술 진화, 그 중심에 NPU·DPU가 있다
AI 인프라의 지형이 급변하고 있습니다.
기존의 GPU 중심 구조는 점차 한계에 봉착하고 있으며,
AI 연산에 특화된 NPU(Neural Processing Unit)와 같은
신형 AI 가속기의 부상이
AI 인프라의 패러다임을 바꾸고 있습니다.
시장조사업체 Precedence Research에 따르면,
AI 반도체 시장은 2023년 218억 7천만 달러 규모에서
2032년에는 2,274억 8천만 달러로 성장할 것으로 전망됩니다.
연평균 29.7%의 폭발적인 성장세는
AI 연산 구조 자체가 GPU를 넘어 NPU 기반으로 전환되고
있음을 보여줍니다.
GPU를 뛰어넘는 전력 효율성과 AI 연산 특화 구조를 갖춘
'NPU 등 신형 AI 가속기 기술의 진화'는
AI 인프라 전환의 핵심 흐름으로 자리 잡고 있습니다.
제가 이 글을 쓰게 된 이유는 단순한 트렌드 요약이 아닙니다.
지금의 AI 인프라 전환은 기술 선택의 문제가 아니라,
생태계 전체의 작동 방식 자체를 바꾸는 움직임이기 때문입니다.
GPU의 시대를 넘어서는 이 흐름이 실제로 어떻게 나타나고 있으며,
왜 주목해야 하는지를 기술, 시장, 실제 적용 사례를 통해
차근차근 짚어보겠습니다.
GPU 중심 인프라의 한계: 전력 소비와 경제적 부담
이처럼 AI 인프라가 빠르게 진화하는 배경에는
기존 GPU 중심 구조가 감당하기 어려운 한계에
도달했다는 현실이 있습니다.
GPU는 AI 연산의 핵심이었던 벡터 연산과 병렬 처리를 통해
딥러닝 학습과 추론의 기반 역할을 해왔습니다.
그러나 최근 모델의 초대형화와 데이터의 폭증이
오히려 GPU 인프라 자체에 부담으로 작용하고 있습니다.
특히 전력 소비는 심각한 수준입니다.
SemiAnalysis(2023)에 따르면,
엔비디아의 최신 H100 GPU는 개당 연간 약 6.1 MWh를 소모하며,
이를 2023년 기준 약 50만 개 출하량으로 환산하면
총 전력 소비량은 약 3.07 TWh에 달합니다.
이 수치는 대한민국 연간 전력 소비량의 약 0.5%에 해당하며,
단일 장비군이 국가 단위 에너지 사용량을
위협하고 있는 셈입니다.
이러한 구조는 단순히 운영비를 상승시키는 문제를 넘어
AI 기술의 확장성과 에너지 지속 가능성이
충돌하고 있는 현실을 드러냅니다.
즉, GPU의 시대는 '에너지 효율이라는 근본 과제'를
해결하지 못한 채 다음 단계로 넘어갈 준비를
요구받고 있는 것입니다.
AMD의 반격과 GPU 독점 구조의 흔들림
GPU 인프라의 에너지 한계가 명확해지면서,
이제 시장은 독점 체제에 대한 대안 찾기에 들어갔습니다.
그 변화의 중심에는 AMD의 반격이 있습니다.
GPU 시장의 강자인 엔비디아는
여전히 2024년 4분기 기준 약 82%의 점유율을 보유하고 있습니다.
하지만 그 독점 구도에도 분명한 균열이 감지되고 있습니다.
AMD는 이러한 전환의 흐름 속에서 실제로
반격의 실마리를 보여주고 있습니다.
Jon Peddie Research와 Tom’s Hardware, PC Gamer 등의
2024년 4분기 자료에 따르면,
AMD는 디스크리트 GPU 시장에서 약 17%의 점유율을 기록했으며,
이는 2024년 3분기 대비 무려 7%p 상승한 수치이며,
같은 기간 엔비디아는 약 8%p 하락한 것으로 나타났습니다.
다음은 최근 두 분기의 점유율 변화입니다.
| 구분 | 2024년 3분기 | 2024년 4분기 |
| 엔비디아 | 90% | 82% |
| AMD | 10% | 17% |
| 인텔 | 0.7% | 1.2% |
이러한 흐름은 단순한 점유율 변화가 아닙니다.
GPU 단일 구조 중심의 AI 인프라가
보다 유연하고 특화된 조합형 구조로 이동 중임을 시사하는 지표입니다.
GPU의 역할이 변화하고 있으며,
시장도 점차 '특화된 조합형 AI 인프라'를 요구하고 있습니다.
AMD의 점유율 상승은 단순한 브랜드 경쟁이 아닌,
AI 생태계 전반이 '다변화'라는 새로운 전략을 향해 움직이고 있음을 보여줍니다.
NPU의 부상: 전력 효율성과 AI 특화 연산이 만든 반격
GPU 인프라가 가진 한계가 점점 분명해지면서,
이제는 그 대안으로 NPU가 주목을 받고 있습니다.
GPU가 전통적으로 AI 연산을 이끌어왔다면,
NPU(Neural Processing Unit)는
처음부터 AI를 위해 설계된, 맞춤형 두뇌에 가깝습니다.
특히 최근 AI 모델에서 핵심이 된 'attention 연산'과 같은
복잡한 계산을 더 빠르고 효율적으로 처리할 수 있기 때문에,
NPU는 성능과 전력 효율을 동시에 만족시키는 기술로
주목받고 있습니다.
국내 기술 생태계도 이 흐름을 빠르게 따라가고 있습니다.
리벨리온은 KT 클라우드에 '아톰'이라는 NPU를 공급하면서,
국내 최초로 대규모 언어 모델(LLM)의 상용화 기반을 구축하고 있습니다.
또한 SK텔레콤과 MLPerf의 벤치마크에 따르면,
사피온코리아의 X220 NPU는 엔비디아 A2와 비교해
최대 4.6배 더 빠른 연산 처리 속도와
2배 이상의 전력 효율을 기록하며
기술적 완성도를 입증하고 있습니다.
이 변화는 단순한 장비 업그레이드가 아닙니다.
AI 시스템이 어떻게 작동해야 하는가에 대한 사고방식 자체가,
속도에서 지속 가능성으로 방향을 바꾸고 있는 징후입니다.
이제는 전력 효율을 높이는 것이 AI 인프라 전략의 중심이 되고 있습니다.
여기에 더해, 장기적인 운용 부담을 줄이는 방향으로
기술 기준이 바뀌고 있습니다.
NPU는 그런 기술 전략 변화의 중심에 자리하고 있는 기술입니다.
DPU: AI 인프라를 최적화하는 데이터 처리의 핵심
앞서 살펴본 NPU가 AI의 연산 효율을 책임진다면,
DPU(Data Processing Unit)는 그 연산이 원활하게 작동하도록
데이터의 흐름을 최적화하는 역할을 맡고 있습니다.
예전에는 CPU가 네트워크, 보안, 저장 장치까지
모든 시스템 작업을 혼자 처리했습니다.
하지만 AI 연산이 폭발적으로 늘어난 지금,
이 방식은 속도를 떨어뜨리는 장애 요소가 되고 있습니다.
여기서 DPU가 등장합니다.
데이터 이동과 입출력 같은 작업을 DPU가 대신 맡아주면,
CPU와 NPU는 연산에만 집중할 수 있어 전체 성능이 올라가는 것입니다.
MarketsandMarkets에 따르면,
DPU 시장은 2023년 약 6억 6,530만 달러에서
2030년 37억 1,193만 달러로 성장할 전망입니다.
특히 DPU의 주요 수요처는 데이터센터 분야로,
전체 시장의 상당 부분을 차지할 것으로 예측되면서,
기업들의 움직임도 빨라지고 있습니다.
한 예로, 퓨리오사 AI는 SK하이닉스와 함께
데이터센터 최적화를 목표로 고성능 DPU를 공동 개발 중이며,
관련 기술의 상용화도 본격화되고 있습니다.
DPU는 더 이상 단순한 하드웨어가 아닙니다.
AI 인프라를 구성하는 핵심 축 중 하나로,
시스템 전체를 최적화하는 '보이지 않는 엔진'으로
주목받고 있습니다.
특히 AI가 클라우드에서 엣지로 확장되는 지금,
DPU는 연산 외의 '흐름'을 통제하는 존재로서
AI 인프라의 완성도를 결정짓는 열쇠로 떠오르고 있습니다.
NPU·DPU의 융합 구조가 만들어가는 AI 시스템의 미래
앞서 살펴본 각각의 기술이 단독으로도 강력하지만,
NPU와 DPU의 조합은 AI 인프라의 게임 체인저가 되고 있습니다.
특히 기존의 GPU 단일 구조가 겪고 있던
에너지 효율, 연산 병목 같은 문제들은
두 기술의 역할 분담을 통해 실질적으로 해소되고 있습니다.
NPU는 연산 집약형 작업을 전담하고,
DPU는 데이터 이동과 입출력 최적화를 맡으며,
전체 시스템을 더욱 유연하고 효율적으로 만듭니다.
시장에서는 이러한 구조 전환이
AI 서비스의 비용 절감과 성능 향상을
동시에 실현하는 열쇠로 평가되고 있습니다.
아래는 GPU, NPU, DPU의 역할과 특성을 한눈에 보여주는 비교표입니다.
| 항목 | GPU | NPU | DPU |
| 주 기능 | 학습 최적화 | AI 추론·학습 전담 | 데이터 전송·보안·저장 오프로딩 |
| 전력 효율성 | 낮음 | 매우 높음 | 작업별 중간~높음 (최대 50% 개선) |
| AI 특화 여부 | 중간 | 매우 높음 | 낮음 |
| 사용 예 | 모델 학습 | 추론 최적화 | 데이터센터 인프라 최적화 |
표에서 보이듯,
각 처리 장치가 맡는 역할과 효율성에는 명확한 차이가 존재합니다.
단순한 역할 분담을 넘어,
이 조합은 AI 시스템의 구조 자체를 새롭게 재설계하도록 만들고 있습니다.
즉, AI가 고도화될수록 GPU 혼자서는 한계가 뚜렷해지고 있으며,
'NPU와 DPU의 유기적 협력'이 새로운 표준으로 부상하고 있는 것입니다.
글로벌 기업의 대응: AI 칩 독립 전략 본격화
이처럼 NPU와 DPU의 융합이
새로운 인프라 표준으로 자리 잡는 가운데,
글로벌 테크 기업들은 GPU 중심의 AI 구조에서
벗어나기 위한 독립 전략을 본격화하고 있습니다.
가장 먼저 발 빠르게 움직인 곳은 구글입니다.
구글은 2025년 4월, 자체 설계한 7세대 Ironwood TPU를 공개하며
기존 대비 성능과 전력 효율을 크게 개선했습니다.
마이크로소프트 역시 Azure 전용 AI 칩 개발에 나섰습니다.
2023년 11월 최초 공개된 Maia 100 AI 가속기와 Cobalt 100 CPU는
2024년 4월 공식 블로그를 통해
성능과 적용 현황이 추가로 발표되었습니다.
이는 AI 학습과 추론 작업에서
엔비디아 GPU 의존도를 낮추기 위한 전략으로 해석됩니다.
이러한 전략은 단순한 비용 절감 차원을 넘어서고 있습니다.
AI 연산을 위한 하드웨어를 직접 통제함으로써
보안성 강화, 속도 개선, 에너지 최적화 등
총체적인 인프라 효율 향상을 노리고 있는 것입니다.
즉, 글로벌 기업들은 이제 AI를 '어떻게 학습할 것인가'보다
'어떤 칩으로, 어떤 구조에서, 얼마나 효율적으로 운영할 것인가'를 중심으로
AI 인프라 주권 확보 경쟁에 돌입한 셈입니다.
이 흐름은 국내 AI 칩 생태계에도 강력한 시사점을 던지고 있습니다.
AI PC와 엣지 시장에서도 NPU가 주력으로 부상
글로벌 기업들이 AI 인프라의 주도권을
데이터센터 내부에서 확보하던 시기를 지나,
이제는 사용자 단말까지 확장하는 단계로 접어들었습니다.
AI PC와 엣지 시장에서도 'NPU(신경망 처리 장치)'는
빠르게 주력 기술로 부상하고 있습니다.
가트너는 "2026년 말까지 출시되는 모든 새로운 기업용 PC에
NPU가 기본 탑재될 것"이라 전망했습니다.
이는 AI 연산이 클라우드에서 엣지 디바이스로
본격 이동하고 있다는 방증입니다.
퀄컴은 2024년,
AI PC용 NPU를 내장한 스냅드래곤 X 시리즈를 공식 발표했습니다.
45 TOPS의 연산 성능을 갖춘 이 칩셋은
고성능 AI 처리와 저전력 효율을 동시에 실현하며,
엣지 컴퓨팅의 상용화 기반을 마련했습니다.
이러한 흐름은 주요 제조사들의 움직임에서도 명확히 드러납니다.
| 제조사 | 주요 특징 | 적용 칩셋 |
| 퀄컴 | 45 TOPS 성능, 저전력 | 스냅드래곤 X 시리즈 |
| HP, 레노버 | AI PC 상용화 | 퀄컴 NPU 탑재 |
HP, 레노버 등 주요 제조사들도
이 칩을 채택한 AI PC를 출시하며,
NPU가 실질적인 시장 표준으로 작동하고 있음을 보여주고 있습니다.
이처럼 AI는 더 작고 가까운 기기로 옮겨가며,
인공지능의 물리적 중심축이
'클라우드'에서 '개인화된 엣지 환경'으로 이동하고 있음을 보여줍니다.
그리고 그 전환의 핵심에는,
AI PC와 엣지 연산의 중심 기술로 부상한 NPU가 자리하고 있습니다.
시장 전환의 핵심: 비용 절감, 성능 향상, 지속 가능성
NPU가 엣지와 AI PC를 넘어
이제는 전체 AI 인프라 시장의 핵심 축으로 자리를 넓히고 있습니다.
이는 단순한 기술 진화가 아니라,
비용 절감과 에너지 효율, 지속 가능한 운영이라는
현실적 문제를 해결하는 데 적합하기 때문입니다.
가트너는 2024년, 전 세계 AI 반도체 매출이
전년 대비 33% 증가해 710억 달러에 이를 것으로 전망하면서,
이러한 흐름이 'NPU'와' DPU' 중심의 인프라 구조 전환을
가속화하고 있음을 시사했습니다.
특히 DPU는
데이터 이동, 네트워크, 스토리지, 보안 등
인프라 작업을 오프로딩하여,
시스템 전반의 효율을 극대화합니다.
또한 NPU는
AI 연산을 저전력으로 분산 처리함으로써,
운영 비용을 줄이고 시스템 안정성을 높이는 데 기여합니다.
이제 AI 인프라는 단순한 성능 경쟁을 넘어,
'운영 효율성과 에너지 절감'이라는 새로운 기준으로 자리 잡고 있습니다.
특히 이러한 변화는 단기적 비용 효율을 넘어,
장기적인 기술 경쟁력의 방향까지 바꾸고 있습니다.
성능만 빠른 시스템이 아니라,
효율적으로 유지되고 지속 가능한 AI 인프라를 설계하는 역량이
앞으로는 기술 경쟁의 기준이자,
AI 산업 생태계를 재편할 결정적 변수로 작용할 것입니다.
AI 인프라의 재편은 기술 생태계 전체의 재정의
GPU는 오랜 시간 동안 AI 산업의 중심 엔진이었습니다.
그러나 지금, 그 자리는
NPU와 DPU가 이끄는 분산형·고효율 인프라 구조로
빠르게 대체되고 있습니다.
이 변화는 단순한 연산 장비의 교체가 아닙니다.
데이터 흐름, 연산 분산, 에너지 관리까지
설계 전반을 다시 구성해야 하는 변화입니다.
AI는 '어디서 연산되는가'보다,
'어떻게 작동하며 유지되는가'를 묻는 시대로 전환되고 있습니다.
이는 인공지능을 대중화하는 동시에,
운영자와 사용자 모두에게
지속 가능한 기술을 제공하기 위한 전략적 재설계이기도 합니다.
성능 중심의 단일 최적화는 한계를 드러냈습니다.
이제는 연산의 속도보다
에너지 효율, 인프라의 지속 가능성,
그리고 시스템 전체에 대한 통제력 확보가
더 중요한 기준이 되고 있습니다.
단기적인 성능 경쟁이 아닌,
장기적인 생존 전략이
AI 인프라 산업의 핵심 과제가 된 것입니다.
AI 산업의 주도권은 가장 빠른 시스템이 아니라,
가장 오래 버티고,
가장 적게 소모하며,
가장 넓게 확산될 수 있는 구조를 만든 곳에 돌아갈 것입니다.