AI는 어디에서 동작하는가
인공지능(AI)이라고 하면, 거대한 데이터센터의 서버에서 복잡한 계산을 처리하는 이미지가 먼저 떠오릅니다. 실제로 ChatGPT, 구글 번역, 클라우드 기반 음성 인식 등 많은 AI 서비스가 이 방식으로 동작합니다. 이를 클라우드 AI라고 부릅니다.
하지만 최근 몇 년간 AI 기술의 흐름이 변하고 있습니다. 스마트폰, 태블릿, IoT 기기 같은 사용자의 기기 안에서 직접 AI를 실행하는 방식이 급속히 확산되고 있는데, 이것이 바로 온디바이스 AI(On-Device AI), 또는 엣지 AI(Edge AI)입니다.
클라우드 AI vs 온디바이스 AI
클라우드 AI의 구조
클라우드 AI는 다음과 같은 과정을 거칩니다.
1. 사용자 기기에서 데이터(사진, 음성 등)를 수집
2. 인터넷을 통해 원격 서버로 전송
3. 서버의 고성능 GPU/TPU에서 AI 모델 실행
4. 결과를 다시 인터넷을 통해 사용자 기기로 전송
이 방식은 강력한 연산 능력을 활용할 수 있다는 장점이 있지만, 인터넷 연결이 필수이고, 데이터가 외부로 전송되므로 개인정보 보호에 대한 우려가 존재합니다.
온디바이스 AI의 구조
온디바이스 AI는 모든 과정이 기기 내부에서 완결됩니다.
1. 사용자 기기에서 데이터 수집
2. 기기 내부의 AI 전용 칩셋에서 모델 실행
3. 결과를 즉시 사용자에게 표시
데이터가 기기 밖으로 나가지 않으므로 개인정보 보호에 유리하고, 인터넷이 없어도 동작하며, 지연 시간(latency)이 거의 없습니다.
핵심 비교
| 항목 | 클라우드 AI | 온디바이스 AI |
|---|---|---|
| 인터넷 필요 | 필수 | 불필요 |
| 응답 속도 | 수백ms~수초 | 수ms~수십ms |
| 개인정보 보호 | 서버 전송 필요 | 기기 내 처리 |
| 연산 능력 | 매우 높음 | 제한적 (기기 성능 의존) |
| 운영 비용 | 서버 비용 발생 | 추가 비용 없음 |
| 모델 크기 | 제한 없음 | 소형 모델 필요 |
주요 기업의 온디바이스 AI 기술
Apple: Core ML과 Neural Engine
Apple은 온디바이스 AI의 선두 주자 중 하나입니다. 2017년 iPhone X부터 탑재된 Neural Engine은 AI 연산에 특화된 전용 프로세서입니다. A17 Pro 칩 기준으로 초당 35조 회의 연산을 수행할 수 있습니다.
개발자들은 Apple의 Core ML 프레임워크를 통해 머신러닝 모델을 iPhone, iPad에서 실행할 수 있습니다. Face ID(얼굴 인식 잠금 해제), 사진 앱의 인물 인식, Siri의 음성 인식 등이 모두 온디바이스에서 처리됩니다.
Apple의 철학은 명확합니다. 사용자의 개인 데이터는 가능한 한 기기 안에서만 처리한다는 것입니다. 이는 개인정보 보호를 중시하는 기조와 맞닿아 있습니다.
Google: TensorFlow Lite와 MediaPipe
Google은 AI 개발자 플랫폼을 통해 온디바이스 AI 생태계를 구축하고 있습니다. TensorFlow Lite(TFLite)는 모바일과 임베디드 기기에서 머신러닝 모델을 실행하기 위한 경량 프레임워크입니다. 기존 TensorFlow 모델을 압축(양자화)하여 스마트폰에서도 실행 가능한 크기로 변환합니다.
MediaPipe는 Google이 공개한 멀티미디어 처리 파이프라인으로, 얼굴 감지, 손 추적, 포즈 추정 등의 AI 작업을 실시간으로 기기에서 처리할 수 있게 해줍니다. 468개의 얼굴 랜드마크를 실시간으로 추출하는 것도 스마트폰에서 가능합니다.
Android 기기에서는 NNAPI(Neural Networks API)를 통해 기기의 AI 전용 하드웨어(GPU, DSP, NPU)를 활용할 수 있어, 소프트웨어만으로 실행하는 것보다 훨씬 빠른 추론이 가능합니다.
Qualcomm: Hexagon DSP와 AI Engine
스마트폰 프로세서 시장의 대표 기업인 Qualcomm은 Snapdragon 칩셋에 Hexagon DSP라는 AI 전용 프로세서를 탑재하고 있습니다. 최신 Snapdragon 8 Gen 3 기준으로 초당 75조 회의 연산 성능을 제공합니다.
Qualcomm의 AI Engine은 CPU, GPU, Hexagon DSP를 통합적으로 활용하여 AI 워크로드를 가장 효율적인 프로세서에 자동으로 배분합니다. 이를 통해 배터리 소모를 최소화하면서도 높은 AI 성능을 달성합니다.
온디바이스 AI가 활용되는 분야
스마트폰 카메라
야간 모드 촬영, 배경 흐림(보케) 효과, 장면 인식 자동 설정 등 최신 스마트폰 카메라의 고급 기능 대부분은 온디바이스 AI로 구현됩니다.
음성 비서
Apple의 Siri, Google 어시스턴트 등은 온디바이스에서 음성을 인식한 후 필요한 경우에만 서버와 통신합니다. "Hey Siri"라는 호출어 인식 자체는 완전히 기기 내에서 처리됩니다.
실시간 번역
Google 번역 앱의 카메라 번역 기능은 인터넷 없이도 텍스트를 실시간으로 번역할 수 있습니다. 이는 번역 모델이 기기에 다운로드되어 오프라인으로 동작하기 때문입니다.
건강 모니터링
Apple Watch의 심전도(ECG) 측정, 낙상 감지, 수면 분석 등은 모두 온디바이스 AI가 센서 데이터를 실시간으로 분석하여 이루어집니다.
생체인식
얼굴 인식, 지문 인식, 홍채 인식 등 생체인식 기술의 대부분은 보안상의 이유로 온디바이스에서 처리됩니다. 생체 데이터가 기기 밖으로 나가지 않으므로 유출 위험이 원천적으로 차단됩니다.
온디바이스 AI의 도전 과제
온디바이스 AI가 만능은 아닙니다. 현재 기술이 직면한 과제들도 있습니다.
모델 크기 제한
서버에서는 수십~수백 GB 크기의 대형 모델을 실행할 수 있지만, 스마트폰에서는 수 MB~수십 MB 크기의 경량 모델만 실행 가능합니다. 모델을 작게 만들면 정확도가 떨어질 수 있어, 정확도와 크기 사이의 균형이 중요합니다.
배터리 소모
AI 연산은 배터리를 소모합니다. 전용 칩셋(Neural Engine, Hexagon DSP 등)이 이 문제를 크게 완화했지만, 연속적인 AI 처리(예: 실시간 영상 분석)는 여전히 배터리에 부담을 줄 수 있습니다.
기기 성능 편차
최신 플래그십 스마트폰과 구형 보급형 기기의 AI 처리 성능 차이가 큽니다. 같은 AI 모델이라도 기기에 따라 처리 속도와 정확도가 달라질 수 있습니다.
온디바이스 AI의 미래
업계 전망에 따르면 온디바이스 AI 시장은 향후 5년간 연평균 20% 이상 성장할 것으로 예상됩니다. 특히 다음 분야에서 큰 변화가 예상됩니다.
마무리
온디바이스 AI는 "인터넷 없이도 동작하는 AI", "내 데이터를 밖으로 보내지 않는 AI"입니다. 스마트폰의 얼굴 인식 잠금부터 실시간 카메라 필터, 음성 인식까지 이미 우리 일상 깊숙이 들어와 있습니다. 앞으로 AI가 더 많은 곳에서 활용될수록, 개인정보 보호와 즉각적인 응답을 모두 충족하는 온디바이스 AI의 중요성은 더욱 커질 것입니다.