Smartphones em 2026 embarcam NPUs que, em isolamento, parecem suficientes pra rodar modelos de linguagem localmente. O Apple Neural Engine no A18 Pro entrega 35 TOPS, o Hexagon NPU no Snapdragon 8 Elite entrega 45 TOPS na primeira geração e 100 TOPS no Gen 5, e o Google Tensor G5 processa Gemini Nano 2,6 vezes mais rápido e com 50% menos consumo do que o G4. Pra mim esses números são capacidade teórica que se degrada sob uso real, e a distância entre o benchmark de bancada e o comportamento sustentado dentro de um chassis de alumínio com bateria de 4.500 mAh é onde estão as decisões que importam.
O primeiro constraint é térmico. Um SoC mobile pode atingir 8 a 10 watts de consumo durante a inferência contínua, o que num dispositivo sem ventilação ativa eleva a CPU a 80 graus Celsius em minutos. O thermal throttling reduz frequência de clock automaticamente, e a queda de performance é não-linear: o dispositivo não fica 10% mais lento, pode perder 40% a 60% da capacidade em segundos quando o limite térmico é atingido. Tarefas que exigem inferência sustentada por mais de 30 segundos (sumarização de documentos longos, transcrição de áudio em tempo real, edição generativa de imagens) colidem diretamente com esse limite. O que funciona num benchmark de 10 segundos não sobrevive a um minuto contínuo.
O segundo constraint é memória. Dispositivos flagship em 2026 operam com 8 a 12 gigabytes de LPDDR5X compartilhados entre sistema operacional, foreground, background e o modelo de IA. A Apple exige 8 GB como mínimo pra Apple Intelligence, e seu modelo on-device de cerca de 3 bilhões de parâmetros usa quantização de 2 bits com KV-cache sharing pra cortar o footprint de atenção em mais de um terço. Mesmo assim, um modelo de 3B parâmetros quantizado a INT4 ocupa de 2 a 3 GB de RAM, o que num dispositivo com 8 GB totais representa entre 25% e 37% da memória disponível antes de qualquer alocação adicional. Não há margem pra mais sem o SO começar a encerrar processos de background.
O terceiro constraint é a latência de rede como alternativa. Delegar inferência ao cloud esbarra na realidade das redes móveis. Round-trip em 4G fica entre 50 e 100 milissegundos em condições ideais, e isso é só transporte, sem contar tempo de inferência no servidor, serialização do payload e variabilidade de redes congestionadas. No 5G real cai pra 10 a 30 milissegundos em áreas com cobertura mmWave, mas essa cobertura segue esparsa na maioria das regiões urbanas. O P95 de latência pra inferência cloud em 2026 está projetado em 250 milissegundos: uma em cada vinte requisições demora mais que um quarto de segundo antes do primeiro token. Pra o que o usuário percebe como instantâneo (autocompleção, classificação, comando de voz), 250ms no P95 já faz a interface parecer travada.
Essas três restrições convergem pra um espaço de design onde escolha de modelo e estratégia de execução são inseparáveis. Small language models na faixa de 1 a 4 bilhões de parâmetros viraram a unidade operacional viável no mobile. Phi-4-mini da Microsoft, com 3.8 bilhões de parâmetros, roda no dispositivo com desempenho competitivo na classe em raciocínio matemático e seguimento de instruções. Gemini Nano opera com 1.8 a 3.25 bilhões de parâmetros e executa factualidade, retrieval e reasoning com latência percebida como instantânea quando otimizado pra NPU. A quantização INT4 reduz o tamanho do modelo de 2.5 a 4 vezes comparado a bf16, encaixando modelos que em precisão plena exigiriam 12 GB no envelope de 2 a 3 GB. O trade-off é perda marginal de precisão, aceitável em tarefas de classificação ou sumarização curta, mas mensurável em reasoning multi-step ou na geração de texto longo.
A arquitetura que emerge como padrão prático é a split inference, onde o dispositivo executa as camadas iniciais e delega as finais (ou as tarefas mais complexas) ao cloud. Pesquisas recentes propõem decompor camadas transformer em blocos de atenção e sub-blocos feed-forward, expondo mais pontos de partição do que o corte tradicional por camada. O dispositivo processa o input localmente, preservando privacidade e eliminando latência de upload, enquanto o servidor completa o reasoning pesado quando necessário. Implementações híbridas edge-cloud reportam economia de energia de até 75% e redução de custo superior a 80% comparadas à execução integralmente em cloud pra workloads agênticos (dados de janeiro de 2025). A decisão é granular por camada, por tarefa e por estado térmico do dispositivo na hora da requisição, e não se reduz a escolha binária entre local e cloud.
O efeito de segunda ordem dessas restrições é forçar uma disciplina de engenharia que não existe no desenvolvimento pra servidor. No servidor, contexto de 200 mil tokens, modelos de 70 bilhões de parâmetros e inferência sustentada por minutos são condições normais. No mobile a equação muda: cada token gerado consome bateria, e cada segundo de inferência sustentada aproxima o dispositivo do thermal throttling enquanto disputa RAM com o resto do sistema. Na minha avaliação é isso que faz aplicações mobile com IA on-device bem implementada acabarem mais precisas na definição do que o modelo deve fazer e mais disciplinadas no escopo de cada chamada. A restrição de recursos produz um estilo arquitetural onde a eficiência é condição de existência, tratada já no projeto. Projetar IA pra mobile pede honestidade sobre o que o hardware sustenta, à frente da ambição sobre o que o modelo pode fazer.