AI 답변 한 번에 걸리는 시간, 12초에서 5초로 줄었다 스마트폰이나 노트북에서 AI에게 질문을 던지면, 답변이 생성되는 동안 잠시 기다리게 됩니다. 그 시간을 절반 이하로 줄이는 실험 결과가 나왔습니다. 삼성전자가 메모리 반도체의 구조를 바꾸는 방식으로, 같은 AI 모델을 더 빠르게 구동한 수치를 공개했습니다. GPU를 더 강하게 만드는 대신, 데이터가 이동하는 거리를 줄이는 방향입니다. 이 접근이 왜 주목받는지, 숫자와 구조로 살펴봅니다.
삼성전자는 2025년 7월 25일(현지시간) 미국 스탠퍼드대에서 열린 반도체 학회 '핫칩스 2026'에서 LPDDR5X-PIM의 실제 AI 추론 성능을 발표했습니다. 삼성전자 자체 개발 엣지 AI 가속기 시스템온칩(SoC)에 기존 LPDDR5X와 LPDDR5X-PIM을 각각 연결하고, 메타의 거대언어모델 '라마 3.1 8B'를 동일하게 구동했습니다. 결과는 다음과 같습니다. 토큰 생성 속도는 기존 초당 27개에서 81.3개로 3.01배 빨라졌고, 같은 작업에 걸리는 시간은 12.3초에서 5.4초로 줄었습니다. 토큰은 AI가 답변을 만들 때 사용하는 글자 또는 단어 단위의 데이터 조각입니다.
삼성전자는 이전에도 LPDDR5X-PIM 시제품과 기본 성능 수치를 공개한 바 있습니다. 이번 발표는 실제 제작한 반도체 칩 위에서 상용 AI 모델을 돌려 성능 개선을 확인했다는 점에서 이전과 다릅니다. 내부 연산 구조도 처음으로 구체적으로 공개됐습니다. 16개 D램 뱅크(데이터를 나눠 저장하는 내부 독립 공간) 각각에 PIM 블록(연산회로 묶음) 하나씩을 배치해 총 16개 연산 블록이 동시에 작동하는 설계입니다. 실험실 수치에서 실칩 검증으로 한 단계 나아간 것입니다.
기존 AI 반도체 구조에서는 메모리에 저장된 데이터를 GPU가 꺼내 계산한 뒤 다시 메모리로 돌려보내는 과정을 반복합니다. 이 이동 경로가 병목입니다. PIM(프로세싱 인 메모리)은 메모리 내부에 연산 회로를 심어, 데이터를 꺼내지 않고 저장된 곳에서 바로 일부 계산을 처리합니다. 데이터 이동 거리가 짧아지면 처리 속도가 오르고 전력 소비도 낮아집니다. 업계 관계자는 "AI 반도체 경쟁이 GPU의 연산 속도를 높이는 것뿐 아니라 데이터를 얼마나 효율적으로 이동시키고 처리하느냐가 중요한 단계로 넘어가고 있다"고 말했습니다.
PIM 기술의 현실적 걸림돌 중 하나는 도입 비용입니다. 새로운 메모리를 쓰려면 프로세서와 메모리 사이에서 데이터 입출력을 관리하는 메모리 컨트롤러를 함께 교체해야 하는 경우가 많기 때문입니다. 삼성전자는 주소정렬모드(AAM)를 적용해 LPDDR5X-PIM이 기존 D램 메모리 컨트롤러를 그대로 활용할 수 있도록 설계했습니다. 시스템 구조를 전면 개편하지 않아도 PIM을 적용할 수 있다는 뜻으로, 상용화를 고려한 선택입니다.
삼성전자는 차세대 LPDDR6-PIM의 국제반도체표준협의기구(JEDEC) 첫 정식 규격이 최종화 단계에 가까워졌다고 밝혔습니다. JEDEC는 반도체 업계가 공통으로 따르는 기술 규격을 정하는 국제 표준 기구입니다. 규격이 확정되면 삼성전자 외 다른 반도체·시스템 업체도 같은 방식으로 PIM을 설계하고 채택할 수 있게 됩니다. 특정 업체 전용 기술에서 업계 공통 기술로 전환되는 수순입니다. 다만 삼성전자는 최종화 시점을 구체적으로 밝히지 않았습니다.
동일한 AI 모델이라도 메모리 구조를 바꾸면 추론 속도가 3배 이상 달라질 수 있습니다. AI 성능은 모델의 크기나 GPU 사양만으로 결정되지 않습니다. 데이터가 얼마나 짧은 거리를 이동하느냐도 속도를 좌우합니다. 스마트폰이나 노트북 같은 엣지 기기에서 AI를 구동할 때, 12초 넘게 기다리던 응답이 5초대로 줄어드는 변화는 사용자가 직접 체감하는 영역입니다. 삼성전자의 이번 발표는 그 변화가 시제품을 넘어 실칩 수준에서 확인됐다는 데 의미가 있습니다.
