AI 답변 속도를 3배 높인 건 GPU가 아니라 메모리였다 — 어떻게?

2026년 8월, 스탠퍼드대 핫칩스 학회. 삼성전자가 AI 추론 성능 결과를 공개했다.

A: AI가 답변 한 줄 만드는 데 12초 넘게 걸렸대요. B: GPU가 데이터 가져오고 보내고를 반복하니까요.

A: 근데 메모리가 직접 계산하면 그 왔다갔다가 줄어드는 거잖아요? B: 그게 PIM이에요. 메모리 안에 연산 회로를 심는 거죠.

B: D램 뱅크 16개마다 연산 블록을 하나씩 넣었어요. 동시에 다 돌아가고요.

A: 시제품 수치가 아니라, 실제 칩에서 메타 AI 모델로 검증한 거라고요? B: 네. 그게 이번 발표의 핵심이에요.

A: 5.4초면 거의 반 넘게 줄었네요. B: GPU 건드리지 않고, 메모리만 바꿔서요.

B: 기존 메모리 컨트롤러 그대로 써요. 시스템 전체를 뜯어고칠 필요가 없는 거예요. A: 그럼 갖다 쓰는 쪽 부담이 훨씬 낮겠네요.

삼성전자는 차세대 LPDDR6-PIM의 국제 표준 규격도 최종화 단계에 가까워졌다고 밝혔다. AI 반도체 경쟁의 축이 GPU 성능에서 데이터 이동 효율로 이동하고 있다.