Entenda por que o M5 Max 128 GB e o MLX são a combinação nativa ideal para inferência local em Apple Silicon.
Fonte primária para entender como modelos convertidos para MLX rodam nativamente no Apple Silicon.
O Mac M5 Max não é só um laptop caro: ele é quase um acelerador de IA com memória compartilhada. CPU, GPU e Neural Engine acessam os mesmos 128 GB sem precisar copiar dados de um lado para outro. O MLX é a biblioteca da Apple que aproveita isso.
Pense como uma cozinha compacta: em computadores comuns, ingredientes ficam em armários separados e você perde tempo transportando panelas. No Mac, tudo está na mesma bancada; o chef (MLX) pega e usa sem perder tempo.
A Unified Memory do Apple Silicon permite zero-copy entre CPU, GPU Metal e Neural Engine. Isso reduz o uso de RAM em ~7–13% em comparação com GGUF/llama.cpp. O M5 Max entrega ~614 GB/s de largura de banda, o que torna o gargalo a largura de banda e a eficiência dos kernels Metal, não a VRAM.
Em benchmarks de julho/2026, o M5 Max 128 GB executa Qwen3.6-35B-A3B a ~80 tok/s em 8-bit. Os Neural Accelerators do M5 reduzem o TTFT (time-to-first-token) em 3–4× em comparação com o M4 Max no mesmo modelo, graças a kernels Metal otimizados para atenção e matmul.
Existem vários programas que "falam" com os modelos. O MLX é o mais rápido no Apple Silicon porque foi feito pela Apple. O Ollama é o mais fácil de usar. O llama.cpp é o mais compatível. O ds4/DwarfStar é especialista em modelos gigantes como DeepSeek V4 Flash.
MLX (mlx-lm, mlx-vlm, mlx-audio) usa kernels Metal otimizados, suporta APC, KV cache quantization e speculative decoding. Ollama 0.19+ usa MLX automaticamente para Safetensors no Apple Silicon, mas adiciona overhead da camada Go. llama.cpp é o padrão ouro de compatibilidade GGUF. ds4 é uma engine nativa para DeepSeek V4, GLM 5.2 e Laguna S.
Use MLX como padrão para quase tudo. Use Ollama quando quiser prototipar rápido ou integrar com agentes que já falam Ollama. Use llama.cpp quando só existir um modelo em GGUF. Use ds4 quando precisar rodar DeepSeek V4 Flash localmente e aceitar a configuração extra.
Regra prática do research_mac_inference_m5max.md: "Use MLX sempre que possível no M5 Max; reserve Ollama/llama.cpp para compatibilidade com GGUF e ds4 para modelos grandes de fronteira."
# MLX padrão python -m mlx_lm.server --model mlx-community/Qwen3.6-35B-A3B-8bit # Ollama rápido ollama pull qwen3.6:35b-a3b ollama run qwen3.6:35b-a3b # llama.cpp com GGUF ./llama-cli -m modelo.gguf -ngl 99 -c 32768 # ds4 para DeepSeek V4 Flash ./ds4 -p "Explique a arquitetura." --nothink
Teste o que aprendeu com exercícios rápidos.