PIM (Processing In Memory)

PIM (Processing In Memory)

1. 개요

1.1 PIM의 정의 및 등장 배경

PIM(Processing In Memory)은 메모리 내부에 연산 기능을 통합하여 데이터 이동 없이 메모리에서 직접 연산을 수행하는 차세대 지능형 반도체 기술이다. 전통적인 폰 노이만(Von Neumann) 아키텍처는 프로세서와 메모리가 물리적으로 분리되어 있어 데이터 처리를 위해서는 메모리와 CPU 간 지속적인 데이터 이동이 필요하다. 이러한 구조는 "메모리 벽(Memory Wall)" 또는 "폰 노이만 병목(Von Neumann Bottleneck)" 문제를 야기하며, 특히 AI와 빅데이터 시대에 폭발적으로 증가하는 데이터 처리 요구를 충족시키기 어렵다는 한계를 드러냈다.

지난 40년간 CPU와 메모리 성능 격차는 연 50%씩 확대되어 현재 1,000배 이상의 차이를 보이며, 프로세서와 메모리 간 데이터 이동에 소요되는 전력은 연산 자체보다 100~1,000배 많은 에너지를 소비한다. PIM 기술은 이러한 근본적인 구조적 한계를 극복하기 위해 메모리 중심 컴퓨팅(Memory-Centric Computing) 패러다임을 제시하며, AI 추론, 머신러닝, 그래프 분석 등 데이터 집약형 워크로드에 최적화된 솔루션으로 부상하고 있다.

1.2 PIM 기술의 필요성

AI 모델의 파라미터 규모가 4년 만에 약 10,000배 증가하면서 기존 아키텍처의 한계가 더욱 명확해졌다. 특히 GPT-4와 같은 초거대 모델은 수백 GB~수 TB의 데이터를 처리해야 하며, 이 과정에서 발생하는 메모리 대역폭 병목과 높은 전력 소비는 데이터센터와 엣지 디바이스 모두에서 심각한 과제가 되었다. PIM은 데이터를 메모리 내부에서 직접 처리함으로써 이러한 문제를 근본적으로 해결할 수 있는 혁신 기술로 평가받고 있다.

2. PIM의 핵심 기술 원리

2.1 메모리 중심 컴퓨팅 구조

PIM의 핵심 원리는 메모리 셀 또는 메모리 인접 영역에 연산 유닛(Processing Element)을 집적하여 데이터가 저장된 위치에서 직접 연산을 수행하는 것이다. 전통적인 구조에서는 데이터가 메모리→CPU→메모리로 이동하며 연산되지만, PIM은 이러한 데이터 이동을 최소화하거나 제거하여 처리 속도를 향상시키고 전력 소비를 획기적으로 감소시킨다.

2.2 In-Memory vs Near-Memory 방식

PIM 기술은 구현 방식에 따라 크게 두 가지로 분류된다:

IM-PIM (In-Memory PIM): 메모리 셀 자체에 연산 기능을 통합한 방식으로, 메모리 대역폭을 최대한 활용하여 높은 병렬 처리 성능을 제공한다. 아날로그 PIM이 대표적이며, 각 메모리 셀마다 연산기가 집적되어 디지털 PIM 대비 최대 15배 높은 데이터 처리량을 달성한다.

NM-PIM (Near-Memory PIM): 메모리 칩 내부 또는 인접한 위치에 연산 유닛을 배치하는 방식으로, 기존 메모리 구조와의 호환성이 높고 소프트웨어 통합이 용이하다. 디지털 PIM이 주로 이 방식을 채택하며, HBM-PIM, GDDR6-AiM 등이 대표적 사례다.

3. PIM의 구성 요소 및 아키텍처

3.1 주요 구성 요소

구성 요소	기능 및 역할	특징
PIM 연산 유닛(PE)	DRAM Cell Array에 집적된 ALU로 벡터 연산, 비교, 집계 연산 수행	메모리 대역폭 내에서 병렬 처리 가능
PIM Controller	명령어 디코딩 및 연산 스케줄링 담당	Host CPU와 PIM Unit 간 프로토콜 관리
PIM 명령어 확장	표준 메모리 프로토콜에 연산 명령 추가	Load/Store + PIM_OP 형태 구성
TSV Interface	실리콘 관통 전극을 통한 적층 메모리 연결	고대역폭 데이터 전송 지원
DMA Engine	CPU 개입 없이 메모리 간 직접 데이터 전송	연산 효율성 극대화

3.2 메모리 기반 PIM 유형

PIM 기술은 적용되는 메모리 종류에 따라 다양한 형태로 구현된다:

HBM-PIM: 수직 적층 구조의 고대역폭 메모리에 PIM을 통합하여 AI 학습과 고성능 컴퓨팅에 최적화되었다. 삼성전자가 2021년 세계 최초로 개발한 HBM-PIM은 기존 HBM2 대비 성능이 2.5배 증가하고 에너지 소비는 70% 감소하는 성과를 입증했다.

GDDR6-PIM (AiM): SK하이닉스가 개발한 그래픽 D램 기반 PIM으로, 일반 D램 대비 연산 속도가 16배 향상되고 전력 소모는 80% 감소한다. 대규모 언어모델(LLM) 추론에 특화된 AiMX 가속기 카드로 발전했다.

LPDDR-PIM: 저전력 모바일 D램에 PIM을 적용한 형태로, 온디바이스 AI 구현에 최적화되어 있다. 스마트폰과 엣지 디바이스에서 전력 효율적인 AI 연산을 가능하게 한다.

4. PIM의 특징 및 장단점

4.1 핵심 장점

데이터 이동 최소화: 메모리 외부로의 데이터 전송을 획기적으로 줄여 메모리 대역폭 병목을 해소한다. 프로세서와 메모리 간 데이터 이동 에너지는 칩 내부 연산 대비 100~1,000배 이상 소모되는데, PIM은 이를 근본적으로 제거한다.

에너지 효율 극대화: 데이터 전송 에너지 절감을 통해 기존 DRAM 대비 최대 80%의 에너지를 절약할 수 있다. 이는 탄소 배출 저감 등 ESG 성과로도 이어진다.

대규모 병렬 처리: 메모리 뱅크 단위로 병렬 연산을 수행하여 CPU 기반 직렬 처리 대비 연산 밀도가 대폭 향상된다. 특히 행렬 연산과 벡터 연산에서 탁월한 성능을 보인다.

AI 워크로드 최적화: AI 추론과 학습 과정에서 반복적으로 수행되는 메모리 집약적 연산을 효율적으로 처리하여 시스템 전체 성능을 향상시킨다.

4.2 한계 및 과제

소프트웨어 호환성 제한: 기존 소프트웨어 스택과의 호환성 확보가 과제이며, PIM 전용 컴파일러 및 프로그래밍 모델 개발이 필요하다.

높은 개발 비용: 메모리와 연산 유닛을 통합하는 설계가 복잡하고, 초기 개발 비용이 높아 상용화에 장애가 된다.

표준화 부족: JEDEC 등 국제 표준화 기구에서 PIM 규격 논의가 진행 중이지만 아직 통일된 표준이 확립되지 않아 범용화에 제약이 있다.

범용성 한계: 특정 워크로드에 특화된 구조로 설계되어 범용 CPU·GPU를 완전히 대체하기 어려우며, 기존 아키텍처와의 조화가 중요하다.

5. PIM의 활용 분야 및 적용 사례

5.1 주요 응용 분야

분야	적용 사례	효과
AI/머신러닝	신경망 추론 가속, LLM 처리	이미지 인식·자연어 처리 성능 향상
고성능 컴퓨팅(HPC)	빅데이터 분석, 과학 시뮬레이션	연산 처리량 극대화
데이터베이스	초고속 데이터 검색 및 인덱싱	검색 속도 향상
클라우드 컴퓨팅	데이터센터 AI 서버 최적화	전력 효율성 개선
엣지/온디바이스 AI	스마트폰, IoT 디바이스 실시간 연산	저전력 AI 구현

6. 기술 동향 및 발전 방향

6.1 차세대 기술 발전 방향

Analog PIM의 성능 고도화: 메모리 셀 자체에서 아날로그 연산을 수행하여 처리량을 극대화하는 연구가 활발히 진행 중이다. KAIST의 다이아몬드(Dyamond) PIM은 메모리 밀도와 용량을 각각 8배, 3배 개선하며 차세대 기술로 주목받고 있다.

CXL 연계 확장성 강화: CXL(Compute Express Link) 인터페이스와 PIM을 결합하여 메모리 용량을 유연하게 확장하고, 멀티 프로세서 간 메모리 자원 공유를 최적화하는 연구가 진행되고 있다.

엣지 AI 특화 솔루션: 스마트폰, IoT, 5G 기지국 등 전력 제약이 있는 엣지 환경에서 PIM 기술의 적용이 가속화되고 있다. SK하이닉스는 LPDDR에 PIM 적용이 HBM보다 엣지 시장에 더 적합하다는 전략을 제시했다.

소프트웨어 생태계 구축: PIM 전용 컴파일러, 프로그래밍 프레임워크, 시뮬레이션 환경 개발을 통해 소프트웨어 호환성과 개발 편의성을 향상시키는 노력이 진행 중이다.

7. 결론 및 제언

7.1 기술적 의의

PIM은 폰 노이만 아키텍처의 근본적 한계인 메모리 벽 문제를 해결할 수 있는 패러다임 전환적 기술이다. 메모리와 연산의 경계를 허물어 데이터 이동을 최소화함으로써 성능 향상과 에너지 효율을 동시에 달성할 수 있다. 특히 데이터 집약적 AI 워크로드가 급증하는 시대에 PIM은 필수 불가결한 핵심 기술로 자리매김하고 있다.

Sources

[1] PIM(Processing in Memory) - ITPE * JackerLab https://itpe.jackerlab.com/entry/PIMProcessing-in-Memory
[2] Processing-in-Memory(PIM) DRAM - ITPE * JackerLab https://itpe.jackerlab.com/entry/Processing-in-MemoryPIM-DRAM
[3] Processing-in-Memory https://acpl.ewha.ac.kr/projects/pim/
[4] Tearing Down the Memory Wall https://www.linkedin.com/pulse/tearing-down-memory-wall-sharada-yeluri
[5] How the von Neumann bottleneck is impeding AI computing https://research.ibm.com/blog/why-von-neumann-architecture-is-impeding-the-power-of-ai-computing
[6] [단독] SK하이닉스, “'LPDDR6-PIM' 내년 1분기 표준화 완료” ... https://www.etoday.co.kr/news/view/2474770
[7] [PDF] Breaking the von Neumann bottleneck: architecture-level processing ... http://scis.scichina.com/en/2021/160404.pdf
[8] Processing-in-Memory 반도체 기술 동향 https://ppta.or.kr/webzine/2023_01/a1.html
[9] [반도체 한계를 넘다] ETRI “2025년까지 AI 연산 지원 PIM ... https://www.etnews.com/20241017000192
[10] (5) CXL과 PIM – 차세대 메모리 아키텍처의 가능성 https://thekeundol.tistory.com/190
[11] 'AI·데이터센터·HPC 최적화'…삼성·SK, 지능형 메모리 'PIM' ... https://www.newspim.com/news/view/20240925000750
[12] PIM (Processing In Memory)이란 ? https://velog.io/@ragnarok_code/PIM-Processing-In-Memory%EC%9D%B4%EB%9E%80
[13] PIM (Processing-in-Memory) < 도리의 디지털라이프 https://blog.skby.net/pim-processing-in-memory/
[14] PIM 반도체 기술의 발전과 적용 - Goover https://seo.goover.ai/report/202409/go-public-report-ko-cf4cfa3e-6588-425f-9acb-61e405a469c0-0-0.html
[15] 카이스트, 더 빠른 'D램-PIM' 반도체 개발…"AI서 높은 성능 기대" : 네이트 뉴스 https://news.nate.com/view/20230314n21145
[16] [2023 AI 메모리 결산] HBM·PIM·CXL 라인업 '탄탄' SK하이닉스 ... https://news.skhynix.co.kr/skhynix-ai-memory-2023/
[17] 삼성전자, AI 메모리 제품군 확대…PIM 기술 적용 https://www.hankyung.com/article/202108244531g
[18] SK하이닉스, 美서 차세대 AI 반도체 해법 'PIM' 특허 획득 https://www.theguru.co.kr/news/article.html?no=90693
[19] SK하이닉스, 차세대 지능형 메모리반도체 PIM 개발 https://news.skhynix.co.kr/developed-processing-in-memory/
[20] 인하대, 차세대 AI 반도체 'PIM' 호환성 문제 해결...상용화 ... https://www.hellot.net/news/article.html?no=106521
[21] Process In Memory (PIM) - 배경 원리 장점 단점 활용 전망 https://lifehackdeliver.tistory.com/entry/Process-In-Memory-PIM-%EB%B0%B0%EA%B2%BD-%EC%9B%90%EB%A6%AC-%EC%9E%A5%EC%A0%90-%EB%8B%A8%EC%A0%90-%ED%99%9C%EC%9A%A9-%EC%A0%84%EB%A7%9D
[22] 삼성·SK '넥스트 HBM' PIM에서 붙는다 https://biz.newdaily.co.kr/site/data/html/2025/08/01/2025080100121.html
[23] 삼성전자와 SK하이닉스가 LPDDR6-PIM 표준화 주도 https://mundobytes.com/ko/%EC%82%BC%EC%84%B1-SK%ED%95%98%EC%9D%B4%EB%8B%89%EC%8A%A4,-LPDDR6-PIM-%ED%91%9C%EC%A4%80%ED%99%94-%EA%B3%B5%EB%8F%99%EC%A7%84%EC%B6%9C/
[24] 네이버클라우드, 자사 데이터센터에 SK하이닉스 CXL·PIM ... https://www.thelec.kr/news/articleView.html?idxno=40551
[25] SK하이닉스 "PIM, 온디바이스 AI 타고 엣지 시장서 뜬다" https://zdnet.co.kr/view/?no=20250812115744
[26] PIM 반도체 관련 연구성과 브리핑 https://www.korea.kr/briefing/policyBriefingView.do?newsId=156557261
[27] [단독] '반도체 맞수' 삼성·SK, 미래 메모리 표준화 손잡는다 https://www.sedaily.com/NewsView/2DHYB73CG2
[28] 삼성전자, PIM·LLW 등 '넥스트 HBM' 개발 한창…"표준화 ... https://zdnet.co.kr/view/?no=20250513110351
[29] PIM 알아보기 (2) - PIM의 성장성 https://daily-tech-industry.tistory.com/entry/PIM-2
[30] 고성능·저전력 지능형반도체로 2030년 AI반도체 세계정상 목표 https://www.hankyung.com/article/202212129930Y
[31] PIM(Processing-In-Memory)과 컴파일러: 데이터 이동의 한계를 넘어서는 기술 혁신 - naver.HOW data lake by AI https://naver.how/wp/2025/03/08/pimprocessing-in-memory%EA%B3%BC-%EC%BB%B4%ED%8C%8C%EC%9D%BC%EB%9F%AC-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%9D%B4%EB%8F%99%EC%9D%98-%ED%95%9C%EA%B3%84%EB%A5%BC-%EB%84%98%EC%96%B4%EC%84%9C%EB%8A%94/
[32] 생각하는 메모리 PIM, 차세대 기술 중 가장 상용화 빠를 것 http://technovalue.com/View.aspx?No=3714455
[33] "생각하는 메모리 PIM, 차세대 기술 중 가장 상용화 빠를 것" https://zdnet.co.kr/view/?no=20250716154703
[34] 프로세싱 인 메모리, PIM https://blog.naver.com/drryuhk/223541697893
[35] PIM 개요 | Junos OS | 주니퍼 네트웍스 https://www.juniper.net/documentation/kr/ko/software/junos/multicast/topics/concept/multicast-pim-overview.html
[36] 정부조달우수제품협회 https://narangdesign.com/mail/jungwoo/202301/a1.html
[37] PIM 기반 가속기 아키텍처를 활용한 AI 연산의 정확성 및 신뢰성 개선 https://dtl.yonsei.ac.kr/docs/Domestic_Conference/%5B2024%5DPIM%20%EA%B8%B0%EB%B0%98%20%EA%B0%80%EC%86%8D%EA%B8%B0%20%EC%95%84%ED%82%A4%ED%85%8D%EC%B2%98%EB%A5%BC%20%ED%99%9C%EC%9A%A9%ED%95%9C%20AI%20%EC%97%B0%EC%82%B0%EC%9D%98%20%EC%A0%95%ED%99%95%EC%84%B1%20%EB%B0%8F%20%EC%8B%A0%EB%A2%B0%EC%84%B1%20%EA%B0%9C%EC%84%A0.pdf
[38] HBM-PIM: 차세대 AI를 가속화하는 최첨단 메모리 기술 https://semiconductor.samsung.com/kr/news-events/tech-blog/hbm-pim-cutting-edge-memory-technology-to-accelerate-next-generation-ai/
[39] pim https://velog.io/@agnusdei1207/pim
[40] 인메모리 프로세싱 - 위키백과, 우리 모두의 백과사전 https://ko.wikipedia.org/wiki/%EC%9D%B8%EB%A9%94%EB%AA%A8%EB%A6%AC_%ED%94%84%EB%A1%9C%EC%84%B8%EC%8B%B1
[41] PIM 알아보기 (1) - 개념과 등장 배경 https://daily-tech-industry.tistory.com/entry/PIM-1
[42] PIM (r2 판) https://namu.wiki/w/PIM?uuid=59297b76-0ab8-4563-a42b-a5aae3d53df7
[43] PIM (Processing In Memory) & PIM의 분류(PNM / Digital PIM / Analog PIM) https://blog.naver.com/songsite123/223496788503
[44] 멀티캐스트 정리 #3 (PIM) https://ethan-world.tistory.com/entry/%EB%A9%80%ED%8B%B0%EC%BA%90%EC%8A%A4%ED%8A%B8-%EC%A0%95%EB%A6%AC-3-PIM
[45] [차세대 메모리] "Processing-In-Memory, PIM '차세대 메모리'" https://sshmyb.tistory.com/156
[46] SK 하이닉스, ‘PIM’ 차세대 메모리 칩 개발? 그게 뭘까? feat. 반도체 https://blog.naver.com/bonamy/223464710539
[47] SK하이닉스, HBM4용 테스트 장비 공급망 '윤곽'…연내 발주 ... https://zdnet.co.kr/view/?no=20251024092800
[48] 2024년 미국 반도체 제조 산업 정보 - 해외경제정보드림 https://dream.kotra.or.kr/kotranews/cms/news/actionKotraBoardDetail.do?SITE_NO=3&MENU_ID=200&bbsSn=403&pNttSn=223020&CONTENTS_NO=1
[49] PIM (Processing In Memory) & PIM의 분류(PNM / Digital PIM / Analog PIM) https://blog.naver.com/PostView.naver?blogId=songsite123&logNo=223496788503&fromRecommendationType=category&targetRecommendationDetailCode=1000
[50] 최신 인공지능 반도체 및 컴파일러 지원 기술 동향 https://ettrends.etri.re.kr/ettrends/210/0905210013/0905210013.html
[51] [SK하이닉스 41주년] “빛나는 40+1” 40년 기술력 다져 No.1으로 ... https://news.skhynix.co.kr/skhynix-41st-anniversary/
[52] “AI 반도체 미래가 밝다” KAIST PIM반도체설계연구센터, ... https://news.kaist.ac.kr/news/html/news/?mode=V&mng_no=38310&skey=&sval=%ED%95%9C%EA%B5%AD%EA%B3%BC%ED%95%99%EA%B8%B0%EC%88%A0%EC%9B%90&list_s_date=&list_e_date=&GotoPage=2
[53] Processing in Memory (PIM)이란? (1) - 개념과 분류 https://lifeisenjoyable.tistory.com/12
[54] AI시대의 메모리 반도체 3대장: HBM, CXL, PIM https://blog.naver.com/kongbd56/223444005397
[55] 삼성전자와 SK하이닉스, HBM과 차세대 메모리 기술로 ... https://skywork.ai/skypage/ko/AI-%EC%8B%9C%EB%8C%80%EC%9D%98-%EC%83%88%EB%A1%9C%EC%9A%B4-%EC%8B%AC%EC%9E%A5-%EC%82%BC%EC%84%B1%EC%A0%84%EC%9E%90%EC%99%80-SK%ED%95%98%EC%9D%B4%EB%8B%89%EC%8A%A4,-HBM%EA%B3%BC-%EC%B0%A8%EC%84%B8%EB%8C%80-%EB%A9%94%EB%AA%A8%EB%A6%AC-%EA%B8%B0%EC%88%A0%EB%A1%9C-%ED%8E%BC%EC%B9%98%EB%8A%94-%EB%B0%98%EB%8F%84%EC%B2%B4-%ED%8C%A8%EA%B6%8C-%EC%A0%84%EC%9F%81/1947942302416453632
[56] 삼성-SK하이닉스, 온디바이스 AI용 LPDDR6-PIM 표준화 ... https://coolenjoy.net/bbs/38/6260935
[57] [ICT전략연구] PIM 인공지능반도체 발전 현황 및 시장 전망 https://ksp.etri.re.kr/ksp/plan-report/read?id=1354
[58] SK하이닉스와 삼성전자가 PIM 기술을 주목한 이유 https://byline.network/2022/02/21-174/
[59] [보고서]프로세싱-인-메모리의 표준화 가능 인터페이스 연구 https://scienceon.kisti.re.kr/srch/selectPORSrchReport.do?cn=TRKO202400008741
[60] HBM 한계, 차세대 반도체 PIM 특징, 현황 https://likeyoung.tistory.com/entry/HBM-%ED%95%9C%EA%B3%84-%EC%B0%A8%EC%84%B8%EB%8C%80-%EB%B0%98%EB%8F%84%EC%B2%B4-PIM-%ED%8A%B9%EC%A7%95-%ED%98%84%ED%99%A9
[61] Von Neumann architecture https://en.wikipedia.org/wiki/Von_Neumann_architecture
[62] [과기장관회의]2030년 AI 반도체 시장점유율 20% 혁신기업 ... https://m.dongascience.com/news.php?idx=40539
[63] 1 https://arxiv.org/ftp/arxiv/papers/2011/2011.11230.pdf
[64] 네오와인에서 PIM 정부과제에 참여 합니다. - 네이버 블로그 https://blog.naver.com/godinus123/222302568408
[65] '거품 아니다' AI 수요 '우상향'…"2030년 반도체 시장규모 ... https://www.news1.kr/industry/general-industry/5892646
[66] Von Neumann Architecture - an overview https://www.sciencedirect.com/topics/computer-science/von-neumann-architecture
[67] '인공지능 반도체' 선도국가 도약…2030년 세계시장 20% 선점 https://www.korea.kr/news/policyFocusView.do?newsId=148878668&pkgId=49500747
[68] What is the Von Neumann Bottleneck? https://www.techtarget.com/whatis/definition/von-Neumann-bottleneck
[69] 가속기를 위한 가속기: PiM - AI 시대 누가 미래를 이끄는가 https://wikidocs.net/300505