삼성전자 ‘연산기 넣은 메모리’ 실증…AI 답변 속도 3배 빨라졌다

같은 뉴스, 네 가지 시선. AILENS입니다. AI한테 뭔가를 물었을 때, 답이 나오기까지 그 잠깐의 기다림 — 느껴보신 적 있죠. 그 몇 초가 짧은 것 같아도, 스마트폰에서 실시간으로 처리되는 거라면 꽤 긴 시간이거든요. 삼성전자가 지난 25일, 스탠퍼드대에서 열린 반도체 학회 '핫칩스 이공이육'에서 흥미로운 결과를 발표했어요. 똑같은 AI 모델을 돌렸는데, 메모리만 바꿨더니 답변이 나오는 시간이 확 줄었다는 겁니다. 얼마나 줄었냐면 — 기존에 열두 초 넘게 걸리던 게, 다섯 초 초반으로 떨어졌어요. 세 배 이상 빨라진 거죠. 근데 이게 왜 생긴 일인지가 좀 흥미롭거든요. AI가 답변을 만들 때, 데이터는 메모리에 있고, 계산은 GPU가 해요. 그러니까 데이터가 메모리에서 GPU로 갔다가, 계산이 끝나면 다시 메모리로 돌아오고 — 이 왕복이 계속 반복되거든요. 마치 책은 서재에 있고, 계산기는 다른 방에 있는 구조랄까요. 뭔가 계산할 때마다 책 들고 왔다 갔다 하는 거예요. PIM, 그러니까 '프로세싱 인 메모리'는 이 구조를 바꿔요. 서재에 계산기를 아예 갖다 두는 거죠. 데이터가 있는 곳에서 일부 계산을 직접 처리하니까, 왔다 갔다 하는 시간이 줄어드는 겁니다. 삼성전자는 이번에 메모리 안에 열여섯 개의 연산 블록을 탑재했다고 밝혔어요. 각 블록이 동시에 돌아가는 구조예요. 그런데 이 발표에서 저는 한 대목이 좀 걸렸어요. 성능 향상을 실제 상용 AI 모델로 검증했다는 점이에요. 메타의 라마 삼점일 팔십억 파라미터 모델 — 요즘 실제 기기에 많이 쓰이는 그 모델로 테스트했거든요. 보통 반도체 발표에서 성능 수치는 실험실 조건이 많아서, 실제 서비스 환경과 차이가 나는 경우가 있어요. 이번엔 그 간격을 좀 좁혔다는 거죠. 상용화 설계도 흥미로운 지점이에요. 기존 시스템을 크게 바꾸지 않아도 된다고 삼성전자는 설명해요. 메모리 컨트롤러 — 프로세서와 메모리 사이에서 교통정리 역할을 하는 장치가 있는데, 이걸 그대로 쓸 수 있도록 설계했다는 거거든요. 새 기술을 도입하려면 주변 시스템도 다 뜯어고쳐야 하는 경우가 많은데, 그 부담을 낮춘 셈이에요. 여기서 한번 뒤집어볼 게 있어요. 우리는 보통 AI가 느리면 "GPU 성능이 부족해서"라고 생각하거든요. 더 강력한 칩을 써야 한다고. 그런데 이 발표는 다른 이야기를 해요 — 데이터가 이동하는 경로를 줄이는 것만으로도 속도가 세 배 달라질 수 있다는 거죠. 연산 능력이 아니라, 이동 구조의 문제였던 거예요. 업계에서도 비슷한 시각이에요. AI 반도체 경쟁이 이제 GPU 성능 올리기에서, 데이터를 얼마나 효율적으로 이동시키냐로 무게중심이 옮겨가고 있다고요. 남는 질문은 이거예요. 표준화가 되면 어떻게 달라질까요. 삼성전자는 차세대 규격인 LPDDR6-PIM의 국제 표준 작업이 마무리 단계에 가깝다고 밝혔어요. 특정 회사만 쓰는 기술이 아니라, 여러 시스템 업체가 공통으로 활용할 수 있는 규격이 되는 거죠. 그게 실제로 자리를 잡으면 — 스마트폰이든, 작은 AI 기기든 — 지금과는 다른 경험이 될 수 있을 거예요. 다만 그게 언제, 어떤 방식으로 실제 제품에 들어오는지는 아직 지켜봐야 하는 단계예요. 오늘 기억할 것 하나. AI가 느린 건 생각하는 능력이 부족해서만이 아닐 수 있어요. 데이터가 어디를 얼마나 오가느냐 — 그 경로가 속도를 만드는 거거든요. 같은 뉴스, 네 가지 시선. AILENS였습니다.