[AI] 온디바이스 vs 클라우드

AI를 위한 칩 개발 현황을 찾다보니 뭔가 생소한 용어도 많고 관련 제품명도 다양하다. 뭔지 정리를 좀 하고 싶어서 뒤적뒤적 하다보니 "온디바이스 AI"와 "클라우드 AI" 이 두 가지 개념을 알아야 제품 분류에 대한 이해가 될듯 하다. 우선 설명과 각각의 장담점을 알아보자.

 

온디바이스 AI

1. 설명: 온디바이스 AI는 AI 연산이 사용자의 장치(스마트폰, 태블릿, 노트북 등) 내에서 직접 이루어지며 AI 모델이 장치 내의 프로세서를 사용하여 데이터를 처리하고, 결정을 내린다.
2. 장점: 사용자 데이터가 장치를 떠나지 않기 때문에 개인정보 보호가 강화된다. 인터넷 연결이나 서버 응답 시간에 의존하지 않으므로 실시간 데이터 처리가 가능하고 오프라인에서도 사용 가능하다.
3. 단점: 모바일 장치에서의 처리 능력은 서버에 비해 제한적일 수 있으며 AI 연산으로 인한 배터리 소모가 커질 수 있다. 장치의 저장 공간과 처리 능력 때문에 모델의 크기와 복잡성에 제한이 있을 수 있다.

 

클라우드 AI

1. 설명: 클라우드 AI는 데이터 처리와 AI 연산이 클라우드 서버에서 이루어지며 사용자 장치에서 수집된 데이터를 클라우드로 전송하여 처리하고 결과를 다시 장치로 받는다.
2. 장점: 서버의 고성능 하드웨어를 활용하여 복잡하고 큰 규모의 AI 모델을 실행할 수 있다. 사용자 수나 처리 필요성이 증가하더라도 클라우드 자원을 쉽게 확장할 수 있다. 지속적으로 데이터를 수집하고 모델을 업데이트할 수 있어 시간이 지남에 따라 AI의 정확도와 효율성이 향상될 수 있다.
3. 단점: 사용자 데이터가 외부 서버로 전송되므로 개인정보 보호에 대한 우려가 있다. 인터넷 연결이 필요하며 연결 상태에 따라 데이터 전송과 처리에 시간이 소요되어 성능이 영향을 받을 수 있다. 따라서 실시간 반응이 필요한 애플리케이션에는 제한적일 수 있다.

 

온디바이스 AI의 경우, 개인을 위한 스몰데이터를 처리하고 맞춤형 서비스를 제공한다면 나쁘진 않아 보인다. 혹자는 애플, 퀄컴과 삼성같이 클라우드 경쟁에서 뒤쳐진 기업들이 Next로 넘어가기 위해 버퍼링을 하기 위해 밀고 있다는 말도 하지만 클라우드에서 트래픽이 몰려 버벅거리거나 통신으로부터의 자유로움이 없다는 점 때문에 불편함을 느꼈던 나는 기대하고 있는 편이다.

---

다시 돌아와서 본래의 목적을 정리해보면..이 2가지의 AI를 위한 제품(칩) 개발이 여러 회사에서 개발하고 있다. 많기도 하고 헷갈려서 테이블로 정리해보면 아래와 같다.

클라우드
하드웨어	제조사	제품 모델
CPU	Intel	Xeon 시리즈
CPU	AMD	EPYC 시리즈
GPU	NVIDIA	Tesla, A100, V100 시리즈
GPU	AMD	Radeon Instinct 시리즈
GPU	MS	마이아100, 코발트100
TPU	Google	Google Cloud TPU
NPU	다양	특정 회사의 맞춤형 서버에 통합 (예: Huawei Kirin)
Various	Graphcore	Intelligence Processing Units (IPU)
Various	Cerebras Systems	Wafer Scale Engine
Various	SambaNova Systems	데이터플로우 아키텍처
Various	Mythic	AI 처리 기술 (Analog Compute)
NPU	퓨리오사	워보이
NPU	사피온	X330
NPU	리벨리온	아톰

 

온디바이스
하드웨어	제조사	제품 모델
CPU	Qualcomm	Snapdragon 시리즈
CPU	Apple	A 시리즈, M1 칩
CPU	Samsung	Exynos 시리즈
GPU	Qualcomm	Adreno (Snapdragon 내장)
GPU	Apple	Apple GPU (A 시리즈, M1 칩 내장)
GPU	ARM	Mali 시리즈
NPU	Apple	Neural Engine (A 시리즈, M1 칩에 내장)
NPU	Huawei	Kirin 시리즈에 내장된 NPU
NPU	Samsung	Exynos 시리즈에 내장된 NPU

 

온디바이스의 경우, 노트북도 포함이 될듯 하긴 한데 노트북은 또 다른 제품들이 있기때문에 배제하였다. 

테이블을 유심히 보다보면 생소한 용어가 또 보일건데 요것도 간단히 정리해보면..

 

GPU (Graphics Processing Unit, 그래픽 처리 장치)

1. 개요: GPU는 원래 비디오 렌더링을 위해 설계되었으나 복잡한 계산 능력과 병렬 처리 기능 때문에 인공 지능(AI) 및 머신 러닝(ML) 분야에서 널리 사용되고 있다.
2. 장점: GPU는 병렬 연산에 최적화되어 있어 복잡한 수학적 계산과 데이터 처리에 효율적이다. 이는 머신 러닝과 같은 고성능 연산에서 매우 유용하다.
3. 단점: GPU는 범용적으로 설계되었기 때문에 AI 전용 처리 장치에 비해 효율성이 다소 떨어질 수 있\다.

 

NPU (Neural Processing Unit, 신경망 처리 장치)

1. 개요: NPU는 인공 신경망의 연산에 최적화된 처리 장치이며 AI 애플리케이션을 위해 특별히 설계되었다.
2. 장점: NPU는 AI 연산을 위한 특수한 아키텍처 덕분에 작업에 대한 높은 효율성과 낮은 전력 소모를 제공한다.
3. 단점: NPU는 AI에 특화되어 있어 다른 종류의 계산 작업에는 비효율적일 수 있다.

 

TPU (Tensor Processing Unit, 텐서 처리 장치)

1. 개요: 구글에서 개발한 TPU는 딥 러닝 애플리케이션을 위해 설계되었으며 텐서(다차원 데이터 배열) 연산에 최적화되어 있다.
2. 장점: TPU는 병렬 처리와 효율적인 텐서 연산에 초점을 맞춘 설계 덕분에 딥 러닝 연산을 매우 빠르게 처리할 수 있다.
3. 단점: TPU는 주로 구글의 클라우드 서비스에서 사용되며, 특정 애플리케이션에 맞춰진 특수화된 설계 때문에 범용성이 떨어질 수 있다.

---

여기까지 정리된 내용을 보니 좀 만 더 알아보고  AI 기업에 투자를 해야겠구나란 생각이 가장 먼저 들었다. 물론 넘사벽은 당연히 MS로 보인다. 자체 AI 칩 개발도 하고 있고 이미 제품도 나왔다. 뭐..최근 OpenAI에서 CEO 해임하고 어수선하긴 한데 현재 조용한 애플과 구글의 행보가 좀 기대된다. 앞지르진 못하겠지만 세걸음 뒤쳐진걸 한걸음으로 줄이는 결과가 나왔으면 한다.