Prévia Técnica [Pesquisa independente por Lucas Ribeiro](https://horizonrunmap.com/pt#contact) # Uma arquitetura para IA com menos memória de vídeo. Alguns modelos têm muitas partes especializadas, mas acionam poucas a cada passo. Guardar todas na placa de vídeo exige muita memória. O Horizon RunMap compacta essas partes, calcula sem manter cópias expandidas e controla o que fica na placa; a origem íntegra permanece na memória do computador. Criado por Lucas Ribeiro de modo independente, sem investimento externo e com hardware limitado. [Conhecer a arquitetura](https://horizonrunmap.com/pt#regimes)[Explorar as evidências](https://horizonrunmap.com/pt#evidence) [Pesquisa, relatórios e fontes (em inglês)](https://horizonrunmap.com/en/research) - [Execução compacta, memória e velocidade medidas em uma RTX 5070.](https://horizonrunmap.com/pt#evidence) - [O sistema concluiu o teste completo de seguir instruções em outro computador com uma RTX 4060.](https://horizonrunmap.com/pt#external-4060) - [541 tarefas avaliadas em uma medição publicada separadamente.](https://horizonrunmap.com/pt#ifeval-benchmark) Ilustração de uma oficina: ferramentas sobre uma bancada, com muitas caixas nas estantes ao fundo. A oficina ilustrada acompanha a pesquisa; a conta de memória vem a seguir. [Horizon RunMap Desktop · página de download](https://horizonrunmap.com/pt/download/)[Resumo para revisão técnica (em inglês)](https://horizonrunmap.com/en/review) 01 / A ideia ## Por que a IA precisa de tanta memória. A GPU faz os cálculos da IA. Sua memória, chamada VRAM, guarda os pesos — números aprendidos que orientam a resposta — e o espaço temporário do cálculo. Alguns modelos têm muitas partes especializadas, chamadas especialistas, embora acionem só algumas a cada passo. Se os pesos não cabem em uma placa, mantê-los inteiramente nas GPUs exige mais capacidade. Outra opção é trazê-los da RAM do computador quando necessário, mas esse movimento também pode afetar o tempo de resposta. O exemplo abaixo mostra a conta de capacidade, antes de falar da solução. Modelo hipotético · 40 bilhões de parâmetros ### Quanto espaço os pesos pedem Imagine 32 bilhões de parâmetros nos especialistas e 8 bilhões nas demais partes. Em 16 bits (2 bytes por parâmetro), são 80 GB de pesos. 4 placas de 24 GBTrês placas somariam apenas 72 GB, menos que os 80 GB de pesos. Por que a memória importa? Veja o contexto de modelos grandes Em modelos MoE, uma seleção de especialistas trabalha em cada token, enquanto o conjunto completo de parâmetros precisa ser armazenado. Compare a escala em BF16 com a representação publicada pelos projetos. A dimensão da memória ### O mesmo modelo. Dois cenários de memória. Escolha um modelo GLM-5.3744 bilhões de parâmetros totais · 40 bilhões ativos por token #### Comparação em BF16 16 bits · 2 bytes por parâmetro Memória estimada dos pesos: ≈ 1,49 TB Mínimo matemático · somente pesos: 9 B200 Capacidade para planejar a execução: 16 B200 2 servidores de 8 GPUs Cenário calculado com reserva de 20%–30% da memória total e servidores completos. Contexto e carga de trabalho orientam o dimensionamento final. #### Formato publicado FP8 · 8 bits Memória idealizada dos pesos: ≈ 744 GB Mínimo matemático · somente pesos: 5 B200 Referência para execução: 8 B200 · configuração documentada A receita do vLLM descreve pesos FP8 e KV cache FP8 para contexto de até 1 milhão de tokens. A concorrência é ajustada ao orçamento de memória. FP8 é o checkpoint padrão; a Z.ai também publica uma versão BF16 separada. Fontes verificadas em 13 de set. de 2026[Especificação do modelo ↗](https://github.com/zai-org/GLM-5)[Receita de execução vLLM ↗](https://recipes.vllm.ai/zai-org/GLM-5.3) Como chegamos a esses números A comparação considera os pesos integralmente na memória das GPUs, com divisão ideal entre dispositivos. Pesos ≈ parâmetros totais × bits ÷ 8. Cada B200 oferece 180 GB nominais; cada servidor reúne 8 GPUs, totalizando 1,44 TB. GB e TB usam unidades decimais. Mínimo de GPUs = pesos ÷ 180 GB, arredondado para cima. Servidores com reserva = pesos ÷ (1,44 TB × 0,80) até pesos ÷ (1,44 TB × 0,70), sempre arredondados para cima. A reserva é uma premissa de planejamento escolhida para esta comparação. As contas usam parâmetros publicados arredondados, em vez do tamanho real dos arquivos. Escalas, tensores em precisão mista, buffers, KV cache (memória do contexto) e organização do paralelismo compõem o orçamento de execução. Quantidade de GPUs e velocidade de resposta são dimensões distintas. Para GLM-5.3, usamos os 744 bilhões totais e 40 bilhões ativos declarados pela Z.ai. A receita do vLLM descreve aproximadamente 743/39 bilhões; essa diferença mantém o mesmo arredondamento das GPUs nesta comparação. [Capacidade do sistema B200 · NVIDIA ↗](https://docs.nvidia.com/dgx/dgxb200-user-guide/introduction-to-dgxb200.html) Os modelos de fronteira mostram a escala do desafio de memória e de infraestrutura que motiva o Horizon RunMap. OLMoE e Qwen são os modelos usados para investigar armazenamento, transferência e execução no hardware disponível. A aplicação da arquitetura a escalas maiores exige validação própria; as taxas medidas abaixo pertencem à campanha identificada. ### Referências de custo por plataforma Ofertas registradas em 10/09/2026, por plataforma ou categoria de instância. A compra e o aluguel abaixo têm escopo próprio; uma implantação com vários servidores também depende da rede e dos serviços contratados. NVIDIA B200 (180 GB product) · fontes e estimativas registradas ### NVIDIA B200 (produto de 180 GB) Contexto externo · estimativas · Verificado em 10 de set. de 2026 #### Lambda: por GPU-hora, conforme a categoria USD 6,69–6,99 / GPU-hora Estimativa de oferta publicada Fórmula, premissas e limites `1 GPU × USD 6.69 a 6.99/GPU-hora × 1 hora` - Faixa publicada pela Lambda entre categorias de instância, sem representar o menor preço de todo o mercado ou uma oferta uniforme de GPU individual. - Categoria de oito GPUs: USD 6.69 por GPU; quatro GPUs: USD 6.79 por GPU; duas GPUs: USD 6.89 por GPU; uma GPU: USD 6.99. - Região não especificada na tabela; impostos sobre vendas/IVA/GST adicionais. Nenhuma disponibilidade foi reservada. - O menor valor exige uma instância com oito GPUs. Os recursos do computador dependem da categoria; armazenamento externo, rede e operação não foram precificados aqui. [Lambda (abre em nova aba)](https://lambda.ai/pricing)Fonte primária · Verificado em 10 de set. de 2026 #### Runpod: por GPU-hora, sob demanda USD 6,79 / GPU-hora Estimativa de oferta publicada Fórmula, premissas e limites `1 Runpod Secure Cloud B200 × USD 6.79/GPU-hora × 1 hora` - Oferta publicada pela Runpod para Secure Cloud sob demanda; sem compromisso de prazo ou tarifa sem servidor. - Anunciada com 283 GB de RAM e 28 vCPUs. A região não é especificada no guia citado. - Armazenamento, rede, impostos e disponibilidade exigem verificação separada. [Runpod (abre em nova aba)](https://www.runpod.io/articles/guides/nvidia-b200)Fonte primária · Verificado em 10 de set. de 2026 #### Lambda: mês hipotético, instância de oito GPUs USD 38.534,4 Hipótese Fórmula, premissas e limites `8 GPUs × USD 6.69/GPU-hora × 720 horas = USD 38534.40` - Uma instância Lambda de oito GPUs por um mês hipotético de 30 dias de aluguel contínuo. - O total horário correspondente da instância é 8 × USD 6.69 = USD 53.52. - Sem afirmação de que um modelo cabe ou pode ser implantado. Exclui impostos e serviços cobrados separadamente; região não especificada. [Lambda (abre em nova aba)](https://lambda.ai/pricing)Fonte primária · Verificado em 10 de set. de 2026 #### ITCT: uma plataforma com oito GPUs, em pré-venda USD 390.000 Estimativa de oferta publicada Fórmula, premissas e limites `1 anunciada com oito GPUs HGX B200 plataforma × USD 390000/plataforma` - Somente a oferta de pré-venda anunciada pela própria ITCT Shop; não é preço de GPU avulsa, fatura verificada ou orçamento completo de centro de dados. - A lista final de componentes e a região de entrega não foram estabelecidas. Não se afirma que CPU, RAM, armazenamento, extras do gabinete ou rede estejam incluídos. - Não há comprovação da inclusão de switches externos, cabos, eletricidade, refrigeração, trabalho operacional, frete ou impostos. - As tabelas de engenharia e afirmações publicitárias do vendedor não são usadas como evidência técnica; a especificação de capacidade vem da NVIDIA. - Esta é uma oferta atribuível, sem representar uma faixa de preços de aquisição do mercado ou uma garantia de entrega. [ITCT Shop (abre em nova aba)](https://itctshop.com/product/nvidia-hgx-b200-8-gpu-platform/)Fonte primária · Verificado em 10 de set. de 2026 [NVIDIA (abre em nova aba)](https://docs.nvidia.com/datacenter/tesla/mig-user-guide/supported-mig-profiles.html)Fonte primária · Verificado em 10 de set. de 2026 [NVIDIA (abre em nova aba)](https://docs.nvidia.com/dgx/dgxb200-user-guide/introduction-to-dgxb200.html)Fonte primária · Verificado em 10 de set. de 2026 [Lambda (abre em nova aba)](https://lambda.ai/pricing)Fonte primária · Verificado em 10 de set. de 2026 [Runpod (abre em nova aba)](https://www.runpod.io/articles/guides/nvidia-b200)Fonte primária · Verificado em 10 de set. de 2026 [ITCT Shop (abre em nova aba)](https://itctshop.com/product/nvidia-hgx-b200-8-gpu-platform/)Fonte primária · Verificado em 10 de set. de 2026 Capacidade de GPU, compra de plataforma, aluguel, rede, eletricidade, refrigeração e operação são planos de custo separados. Não há orçamento completo, custo total de propriedade ou recomendação de compra. 02 / A solução ## Como o Horizon abre espaço. O Horizon compacta os especialistas roteados e mantém as outras partes do modelo fora dessa compactação. O roteador escolhe quais especialistas usar; kernels próprios calculam com seus pesos compactos e escalas. A execução funciona com os especialistas residentes na GPU. Quando a memória é menor, o runtime também pode manter a origem quantizada na RAM e trazer as cópias necessárias. O comparativo abaixo mostra a diferença de capacidade para o mesmo modelo. ### Separar as partes As partes não roteadas seguem fora da compactação; os especialistas, usados seletivamente, recebem uma representação menor. ### Compactar especialistas Pesos e escalas dos especialistas ficam em formatos distintos: pesos compactos e escalas FP16. ### Selecionar e calcular O roteador escolhe os especialistas; o kernel próprio combina seus pesos e escalas com as ativações FP16. ### Adaptar à memória Com espaço, os especialistas ficam na GPU. Se necessário, o runtime mantém a origem quantizada na RAM e traz cópias sob demanda. [Ler os contratos técnicos e as decisões de engenharia (em inglês) →](https://horizonrunmap.com/technical-report-v1.html) O mesmo modelo · depois dos quatro passos ### O que a compactação muda? Os especialistas passam de 64 GB em 16 bits para 16 GB em 4 bits. As demais partes continuam em 16 GB: 32 GB de pesos no total. Antes: 4 placas80 GB de pesos Na conta compacta: 2 placas32 GB de pesos A comparação conta os pesos. Na execução, escalas, memória temporária, RAM da origem dos especialistas e suporte para distribuir o modelo também importam. [Ver o que foi medido →](https://horizonrunmap.com/pt#evidence) 03 / Arquitetura ## A arquitetura completa em operação. O modelo combina partes não roteadas executadas em FP16 com especialistas de pesos compactos e escalas FP16. O roteador seleciona os especialistas de cada etapa; o kernel próprio usa suas ativações e devolve o resultado ao restante do modelo. A execução principal ### Um modelo, duas formas de guardar seus pesos Nas configurações medidas, a compactação é seletiva. Ela reduz os especialistas roteados, enquanto os pesos das outras partes seguem no caminho FP16. Partes não roteadasFP16 Atenção, embeddings e outros componentes não entram na compactação dos especialistas. EspecialistasINT4 + escalas FP16 Os pesos ficam compactos na GPU. As escalas indicam como interpretar esses valores durante o cálculo. 01 O roteador escolhe quais especialistas trabalham neste pedaço da resposta. 02 O kernel próprio lê pesos compactos e escalas, usa as ativações FP16 e devolve o resultado ao restante do modelo. Não mantém um especialista inteiro expandido na GPU. Quando os pesos e o espaço de execução cabem na GPU, todos os especialistas compactos podem ficar residentes. O kernel trabalha sem buscar especialistas durante a resposta. Extensão de memória ### Quando falta espaço na GPU Com VRAM suficiente, os especialistas ficam residentes e o cálculo acima segue sem buscar cópias. Com menos espaço, o Horizon conserva a origem quantizada completa na RAM, traz os especialistas pedidos e descarta apenas a cópia da GPU quando precisa abrir espaço. - RAMOrigem quantizada imutável - Área de transferênciaLimitada, no computador - Memória da GPUCópias compactas Ver os detalhes técnicos No fluxo de residência parcial apresentado, a origem dos especialistas na RAM permanece completa e imutável. Uma cópia passa por uma área limitada de memória fixada (pinned staging) no computador, antes da transferência para a GPU. A remoção descarta a cópia na GPU, sem transferência de volta ou regravação na origem. Residência não é ativação: o cache pode manter especialistas que não estão sendo usados nesta etapa. O diagrama explica a organização; a campanha abaixo mede residência parcial e completa, preservando as diferenças entre executores. ### Uma cópia só entra no cache quando está pronta Contrato do cache opcional · resident-qpacked-cache-v1 · ADR 0009. Escopo original: P0 Qwen experimental, desativado por padrão. Os executores medidos abaixo são descritos em seus contratos específicos. - Origem imutável O conjunto qpacked completo permanece na RAM do processo, com identidade e layout validados. - Staging limitado Uma área pinned temporária prepara a transferência. Ela só pode ser reutilizada após a conclusão. - Spare não publicado A linha qpacked chega a uma posição temporária da GPU; os leitores continuam vendo a geração anterior. - Publicação atômica Após a conclusão do grupo roteado, uma transição publica a nova geração completa do cache. - Uso e descarte Leitores usam uma geração válida. A cópia removida só é reutilizada após a aposentadoria de seus consumidores; a origem não é reescrita. - Admissão de recursos Capacidade é fixada antes das requisições. Se staging ou spares forem insuficientes, a inicialização rejeita o perfil; falhas anteriores à publicação preservam a geração anterior. Perfis anteriores têm outro contrato: offload-qpacked materializa slots de execução FP16/BF16 a partir de uma fonte quantizada. No cache qpacked descrito aqui, os experts permanecem compactos. O kernel converte os valores necessários durante o cálculo, sem manter o expert inteiro expandido em um slot. Essa conversão não recupera informação perdida na quantização. [Ler decisões, fontes e limites (inglês) ↓](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/horizon-technical-notes.md) 04 / Resultados ## O que aconteceu nos testes. Os números de execução, memória e velocidade abaixo vêm de uma campanha publicada em uma RTX 5070, com configurações de OLMoE e Qwen. Cada resultado identifica o modelo, o executor e as condições da medição. A arquitetura em operação O mesmo princípio foi medido com todas as cópias especializadas na placa e com apenas parte delas na placa. Os cartões mostram modelos e caminhos de cálculo distintos. Leia cada taxa com seu próprio modelo, memória e configuração; elas não são uma comparação direta entre os modelos. Residência completa ### OLMoE 0924 As partes compactas permaneceram na placa de vídeo durante a geração. Caminho de cálculo: especialistas compactos calculados em grupos Configuração e executor 64/64 especialistas por camada · Grouped T3 Registro de execução 61,26 tokens/s Decode após o primeiro token Pico de memória da placa inteira · 5,99 GiB [Inspecionar este resultado](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/olmoe-0924-instruct-c64-residency39.json) Residência completa ### OLMoE 0125 As partes compactas permaneceram na placa de vídeo durante a geração. Caminho de cálculo: especialistas compactos calculados em grupos Configuração e executor 64/64 especialistas por camada · Grouped T3 Registro de execução 62,07 tokens/s Decode após o primeiro token Pico de memória da placa inteira · 6,01 GiB [Inspecionar este resultado](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/olmoe-0125-instruct-c64-residency39.json) Residência parcial ### Qwen Parte das cópias ficou na placa de vídeo, com outras partes trazidas quando necessárias. Caminho de cálculo: especialistas compactos calculados em conjunto Configuração e executor 39/60 especialistas por camada · top4-fused-v1 Registro de execução 19,95 tokens/s Decode após o primeiro token Pico de memória da placa inteira · 8,99 GiB [Inspecionar este resultado](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/qwen15-moe-chat-c39-residency39.json) Maior residência medida em cada modelo · RTX 5070 · 36 respostas de 128 tokens por configuração. OLMoE e Qwen usam executores distintos; cada cartão descreve sua própria execução. Campanha medida 468 respostas medidas · volume da campanha 39/39execuções válidas 13configurações 1h 50min 21sduração da campanha Medição pública sob contrato · Reprodução independente não realizada 36 respostas de 128 tokens por configuração · 12 entradas × 3 blocos · 39 warmups excluídos das taxas. Testes em computador compartilhado, com entradas fixas. Consulte o escopo da pesquisa para conhecer o alcance das observações. [Escopo da pesquisa →](https://horizonrunmap.com/pt#limitations) [Baixar dados da campanha](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/residency-campaign.json)[Relatório original (inglês)](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/residency-report.md) Como os números foram calculados Decode divide a soma dos tokens após o primeiro pela soma dos tempos internos de geração. É uma taxa agregada, ponderada pelo tempo. A espera pelo primeiro token e a duração da resposta são médias por requisição, com limites internos específicos de cada executor. Decode: 37min 06s Até o primeiro token: 35min 10s Demais etapas (por diferença): 38min 05s Amplitude relativa observada entre os blocos: 0,27%–4,78%. É variação observada, não intervalo de confiança. Temperatura máxima registrada: 58 °C. A consolidação registrou sequências de tokens iguais entre repetições da mesma configuração. Essa observação descreve consistência dentro de cada configuração; a avaliação de qualidade e a comparação de saídas entre configurações têm escopos próprios. O tempo das demais etapas é calculado por diferença na duração do controlador. [Explorar os resultados →](https://horizonrunmap.com/pt#residence) Tokens são pequenos pedaços de texto; nem sempre palavras inteiras. Outra máquina · RTX 4060 ### Validação em outro computador Fora da máquina de desenvolvimento do autor, o aplicativo público concluiu todas as tarefas do IFEval numa RTX 4060. A execução confirma a arquitetura operando nesse outro computador e o fluxo completo de avaliação. A pontuação e as 541 respostas consultáveis do IFEval pertencem a uma execução publicada separadamente. [Entender o teste e a execução publicada →](https://horizonrunmap.com/pt#ifeval-benchmark) 05 / Memória e movimento ## Mais partes prontas: qual é a troca? Manter mais partes na placa de vídeo ocupa memória e pode reduzir transferências. As configurações registradas mostram como memória, movimentação e tempos de resposta mudaram juntos. Cada resultado identifica seu caminho de cálculo. Modelo Métrica Validação contratual: válidaE3 · pesquisa controladaMedição pública sob contratoReprodução independente não realizada11 de set. de 2026 36 respostas por configuração · 128 tokens por resposta · 3 blocos Hardware · NVIDIA GeForce RTX 5070, conforme o registro da campanha; computador Windows compartilhado. Decode após o primeiro token · tokens/s Taxa agregada: Σ(tokens − 1) / Σ(tempo interno de decode). Exclui a espera pelo primeiro token; não é média das taxas individuais. Medições após aquecimento, com entradas fixas. [Escopo da pesquisa](https://horizonrunmap.com/pt#limitations) Especialistas residentes por camada · medições discretas, sem interpolação ou comparação entre modelos. ### PRODUCT-core scalar 30/6423,00 tokens/s 40/6427,69 tokens/s 50/6431,50 tokens/s 60/6435,01 tokens/s ### Grouped T3 · executor diferente Entre c30–c60 (scalar) e c64 (Grouped T3), residência e executor mudam juntos. A diferença de velocidade não isola o custo do offloading nem o ganho do kernel. 64/6461,26 tokens/s Ver as 13 configurações A tabela contém todas as configurações. Em telas estreitas, role a tabela para os lados. Campanha de 11/09/2026 · 36 respostas de 128 tokens por configuração · E3 · pesquisa controlada Medição pública sob contrato · Reprodução independente não realizada NVIDIA GeForce RTX 5070 (frozen campaign declaration); shared Windows desktop. Decode = Σ(tokens − 1) / Σ(tempo interno de decode). | Modelo / executor | Experts residentes por camada | Decode agregado após o primeiro token (tokens/s) | TTFT interno — média (s) | Resposta interna, 128 tokens — média (s) | Pico VRAM¹ (GiB) | Fonte | | --- | --- | --- | --- | --- | --- | --- | | OLMoE 0924PRODUCT-core scalar | 30/64 | 23,00 | 6,17 | 11,69 | 4,11 | [JSON](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/olmoe-0924-instruct-c30-residency39.json) | | OLMoE 0924PRODUCT-core scalar | 40/64 | 27,69 | 4,49 | 9,07 | 4,62 | [JSON](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/olmoe-0924-instruct-c40-residency39.json) | | OLMoE 0924PRODUCT-core scalar | 50/64 | 31,50 | 3,62 | 7,65 | 5,15 | [JSON](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/olmoe-0924-instruct-c50-residency39.json) | | OLMoE 0924PRODUCT-core scalar | 60/64 | 35,01 | 3,00 | 6,63 | 5,67 | [JSON](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/olmoe-0924-instruct-c60-residency39.json) | | OLMoE 0924Grouped T3 | 64/64 | 61,26 | 0,75 | 2,82 | 5,99 | [JSON](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/olmoe-0924-instruct-c64-residency39.json) | | OLMoE 0125PRODUCT-core scalar | 30/64 | 23,04 | 6,07 | 11,58 | 4,15 | [JSON](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/olmoe-0125-instruct-c30-residency39.json) | | OLMoE 0125PRODUCT-core scalar | 40/64 | 27,12 | 4,53 | 9,21 | 4,62 | [JSON](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/olmoe-0125-instruct-c40-residency39.json) | | OLMoE 0125PRODUCT-core scalar | 50/64 | 31,22 | 3,59 | 7,66 | 5,15 | [JSON](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/olmoe-0125-instruct-c50-residency39.json) | | OLMoE 0125PRODUCT-core scalar | 60/64 | 35,44 | 2,97 | 6,55 | 5,67 | [JSON](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/olmoe-0125-instruct-c60-residency39.json) | | OLMoE 0125Grouped T3 | 64/64 | 62,07 | 0,70 | 2,74 | 6,01 | [JSON](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/olmoe-0125-instruct-c64-residency39.json) | | Qwentop4-fused-v1 | 20/60 | 15,22 | 9,42 | 17,76 | 7,11 | [JSON](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/qwen15-moe-chat-c20-residency39.json) | | Qwentop4-fused-v1 | 30/60 | 17,17 | 7,51 | 14,90 | 8,08 | [JSON](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/qwen15-moe-chat-c30-residency39.json) | | Qwentop4-fused-v1 | 39/60 | 19,95 | 5,80 | 12,17 | 8,99 | [JSON](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/qwen15-moe-chat-c39-residency39.json) | ¹ VRAM observada pelo driver durante o worker inteiro, incluindo preparação, warmup e uso compartilhado pelo desktop. Não é VRAM exclusiva do processo ou apenas do decode. OLMoE 0924 · 30/64 · PRODUCT-core scalar — contrato e medidas adicionais Métrica: Taxa agregada: soma dos tokens após o primeiro / soma dos tempos internos de decode. Exclui espera pelo primeiro token, preparação e aquecimento; não é a média das taxas individuais. Modelo / revisão: `allenai/OLMoE-1B-7B-0924-Instruct` Executor: PRODUCT-core scalar Armazenamento / execução: INT4 / block 256 / FP16 scales. Valores FP16 derivados da fonte quantizada. A precisão e os valores do checkpoint original são registrados separadamente; o detalhe disponível continua limitado à representação quantizada. Pico de RAM do processo (worker inteiro): 4,95 GiB Transferência RAM → GPU (soma das respostas medidas): 1.108,10 GiB Taxas dos três blocos: 23,12 / 23,14 / 22,74 tokens/s Amplitude relativa observada (não é intervalo de confiança): 1,74% Taxa de saída incluindo espera pelo primeiro token: 10,95 tokens/s Hardware: NVIDIA GeForce RTX 5070, conforme o registro da campanha; computador Windows compartilhado. Contrato da execução: PERF-REAL-v1; 12 entradas repetidas em 3 blocos; 36 respostas medidas de 128 tokens por configuração; seleção gulosa, EOS suprimido; aquecimento de 64 tokens excluído. Posicionamento inicial canônico, LRU evolui pelas entradas fixas; concorrência 1. Data da execução: 11 de set. de 2026 Revisão do modelo: `7f1c97f440f06ce36705e4f2b843edb5925f4498` Artefato original (caminho relativo ao repositório): `artifacts/residency-executors-39-20260911-01/consolidation-01/summary.json` ### Limites desta configuração - Medição E3 controlada em computador compartilhado, sob a configuração registrada. - Picos de VRAM do driver e RSS do processo cobrem o worker inteiro, incluindo preparação e aquecimento; a VRAM inclui o uso do desktop. - A passagem do OLMoE c60 para c64 combina mudanças de executor e residência; o resultado deve ser interpretado nesse contexto conjunto. - A amplitude dos blocos é uma faixa observada, não um intervalo de confiança. A igualdade de tokens refere-se às repetições de cada configuração. - Primeiro token e resposta usam limites internos da requisição; prefill isolado é UNKNOWN e a observação HTTP do OLMoE é UNSUPPORTED. [Baixar extrato selecionado (JSON)](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/olmoe-0924-instruct-c30-residency39.json) Extrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria. OLMoE 0924 · 40/64 · PRODUCT-core scalar — contrato e medidas adicionais Métrica: Taxa agregada: soma dos tokens após o primeiro / soma dos tempos internos de decode. Exclui espera pelo primeiro token, preparação e aquecimento; não é a média das taxas individuais. Modelo / revisão: `allenai/OLMoE-1B-7B-0924-Instruct` Executor: PRODUCT-core scalar Armazenamento / execução: INT4 / block 256 / FP16 scales. Valores FP16 derivados da fonte quantizada. A precisão e os valores do checkpoint original são registrados separadamente; o detalhe disponível continua limitado à representação quantizada. Pico de RAM do processo (worker inteiro): 4,95 GiB Transferência RAM → GPU (soma das respostas medidas): 576,17 GiB Taxas dos três blocos: 27,76 / 27,63 / 27,69 tokens/s Amplitude relativa observada (não é intervalo de confiança): 0,45% Taxa de saída incluindo espera pelo primeiro token: 14,11 tokens/s Hardware: NVIDIA GeForce RTX 5070, conforme o registro da campanha; computador Windows compartilhado. Contrato da execução: PERF-REAL-v1; 12 entradas repetidas em 3 blocos; 36 respostas medidas de 128 tokens por configuração; seleção gulosa, EOS suprimido; aquecimento de 64 tokens excluído. Posicionamento inicial canônico, LRU evolui pelas entradas fixas; concorrência 1. Data da execução: 11 de set. de 2026 Revisão do modelo: `7f1c97f440f06ce36705e4f2b843edb5925f4498` Artefato original (caminho relativo ao repositório): `artifacts/residency-executors-39-20260911-01/consolidation-01/summary.json` ### Limites desta configuração - Medição E3 controlada em computador compartilhado, sob a configuração registrada. - Picos de VRAM do driver e RSS do processo cobrem o worker inteiro, incluindo preparação e aquecimento; a VRAM inclui o uso do desktop. - A passagem do OLMoE c60 para c64 combina mudanças de executor e residência; o resultado deve ser interpretado nesse contexto conjunto. - A amplitude dos blocos é uma faixa observada, não um intervalo de confiança. A igualdade de tokens refere-se às repetições de cada configuração. - Primeiro token e resposta usam limites internos da requisição; prefill isolado é UNKNOWN e a observação HTTP do OLMoE é UNSUPPORTED. [Baixar extrato selecionado (JSON)](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/olmoe-0924-instruct-c40-residency39.json) Extrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria. OLMoE 0924 · 50/64 · PRODUCT-core scalar — contrato e medidas adicionais Métrica: Taxa agregada: soma dos tokens após o primeiro / soma dos tempos internos de decode. Exclui espera pelo primeiro token, preparação e aquecimento; não é a média das taxas individuais. Modelo / revisão: `allenai/OLMoE-1B-7B-0924-Instruct` Executor: PRODUCT-core scalar Armazenamento / execução: INT4 / block 256 / FP16 scales. Valores FP16 derivados da fonte quantizada. A precisão e os valores do checkpoint original são registrados separadamente; o detalhe disponível continua limitado à representação quantizada. Pico de RAM do processo (worker inteiro): 4,95 GiB Transferência RAM → GPU (soma das respostas medidas): 230,88 GiB Taxas dos três blocos: 31,75 / 31,57 / 31,19 tokens/s Amplitude relativa observada (não é intervalo de confiança): 1,75% Taxa de saída incluindo espera pelo primeiro token: 16,73 tokens/s Hardware: NVIDIA GeForce RTX 5070, conforme o registro da campanha; computador Windows compartilhado. Contrato da execução: PERF-REAL-v1; 12 entradas repetidas em 3 blocos; 36 respostas medidas de 128 tokens por configuração; seleção gulosa, EOS suprimido; aquecimento de 64 tokens excluído. Posicionamento inicial canônico, LRU evolui pelas entradas fixas; concorrência 1. Data da execução: 11 de set. de 2026 Revisão do modelo: `7f1c97f440f06ce36705e4f2b843edb5925f4498` Artefato original (caminho relativo ao repositório): `artifacts/residency-executors-39-20260911-01/consolidation-01/summary.json` ### Limites desta configuração - Medição E3 controlada em computador compartilhado, sob a configuração registrada. - Picos de VRAM do driver e RSS do processo cobrem o worker inteiro, incluindo preparação e aquecimento; a VRAM inclui o uso do desktop. - A passagem do OLMoE c60 para c64 combina mudanças de executor e residência; o resultado deve ser interpretado nesse contexto conjunto. - A amplitude dos blocos é uma faixa observada, não um intervalo de confiança. A igualdade de tokens refere-se às repetições de cada configuração. - Primeiro token e resposta usam limites internos da requisição; prefill isolado é UNKNOWN e a observação HTTP do OLMoE é UNSUPPORTED. [Baixar extrato selecionado (JSON)](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/olmoe-0924-instruct-c50-residency39.json) Extrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria. OLMoE 0924 · 60/64 · PRODUCT-core scalar — contrato e medidas adicionais Métrica: Taxa agregada: soma dos tokens após o primeiro / soma dos tempos internos de decode. Exclui espera pelo primeiro token, preparação e aquecimento; não é a média das taxas individuais. Modelo / revisão: `allenai/OLMoE-1B-7B-0924-Instruct` Executor: PRODUCT-core scalar Armazenamento / execução: INT4 / block 256 / FP16 scales. Valores FP16 derivados da fonte quantizada. A precisão e os valores do checkpoint original são registrados separadamente; o detalhe disponível continua limitado à representação quantizada. Pico de RAM do processo (worker inteiro): 4,96 GiB Transferência RAM → GPU (soma das respostas medidas): 37,62 GiB Taxas dos três blocos: 35,47 / 34,72 / 34,85 tokens/s Amplitude relativa observada (não é intervalo de confiança): 2,14% Taxa de saída incluindo espera pelo primeiro token: 19,31 tokens/s Hardware: NVIDIA GeForce RTX 5070, conforme o registro da campanha; computador Windows compartilhado. Contrato da execução: PERF-REAL-v1; 12 entradas repetidas em 3 blocos; 36 respostas medidas de 128 tokens por configuração; seleção gulosa, EOS suprimido; aquecimento de 64 tokens excluído. Posicionamento inicial canônico, LRU evolui pelas entradas fixas; concorrência 1. Data da execução: 11 de set. de 2026 Revisão do modelo: `7f1c97f440f06ce36705e4f2b843edb5925f4498` Artefato original (caminho relativo ao repositório): `artifacts/residency-executors-39-20260911-01/consolidation-01/summary.json` ### Limites desta configuração - Medição E3 controlada em computador compartilhado, sob a configuração registrada. - Picos de VRAM do driver e RSS do processo cobrem o worker inteiro, incluindo preparação e aquecimento; a VRAM inclui o uso do desktop. - A passagem do OLMoE c60 para c64 combina mudanças de executor e residência; o resultado deve ser interpretado nesse contexto conjunto. - A amplitude dos blocos é uma faixa observada, não um intervalo de confiança. A igualdade de tokens refere-se às repetições de cada configuração. - Primeiro token e resposta usam limites internos da requisição; prefill isolado é UNKNOWN e a observação HTTP do OLMoE é UNSUPPORTED. [Baixar extrato selecionado (JSON)](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/olmoe-0924-instruct-c60-residency39.json) Extrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria. OLMoE 0924 · 64/64 · Grouped T3 — contrato e medidas adicionais Métrica: Taxa agregada: soma dos tokens após o primeiro / soma dos tempos internos de decode. Exclui espera pelo primeiro token, preparação e aquecimento; não é a média das taxas individuais. Modelo / revisão: `allenai/OLMoE-1B-7B-0924-Instruct` Executor: Grouped T3 Armazenamento / execução: INT4 / block 256 / FP16 scales. Valores FP16 derivados da fonte quantizada. A precisão e os valores do checkpoint original são registrados separadamente; o detalhe disponível continua limitado à representação quantizada. Pico de RAM do processo (worker inteiro): 4,98 GiB Transferência RAM → GPU (soma das respostas medidas): 0,00 GiB Taxas dos três blocos: 59,72 / 62,65 / 61,47 tokens/s Amplitude relativa observada (não é intervalo de confiança): 4,78% Taxa de saída incluindo espera pelo primeiro token: 45,41 tokens/s Hardware: NVIDIA GeForce RTX 5070, conforme o registro da campanha; computador Windows compartilhado. Contrato da execução: PERF-REAL-v1; 12 entradas repetidas em 3 blocos; 36 respostas medidas de 128 tokens por configuração; seleção gulosa, EOS suprimido; aquecimento de 64 tokens excluído. Posicionamento inicial canônico, LRU evolui pelas entradas fixas; concorrência 1. Data da execução: 11 de set. de 2026 Revisão do modelo: `7f1c97f440f06ce36705e4f2b843edb5925f4498` Artefato original (caminho relativo ao repositório): `artifacts/residency-executors-39-20260911-01/consolidation-01/summary.json` ### Limites desta configuração - Medição E3 controlada em computador compartilhado, sob a configuração registrada. - Picos de VRAM do driver e RSS do processo cobrem o worker inteiro, incluindo preparação e aquecimento; a VRAM inclui o uso do desktop. - A passagem do OLMoE c60 para c64 combina mudanças de executor e residência; o resultado deve ser interpretado nesse contexto conjunto. - A amplitude dos blocos é uma faixa observada, não um intervalo de confiança. A igualdade de tokens refere-se às repetições de cada configuração. - Primeiro token e resposta usam limites internos da requisição; prefill isolado é UNKNOWN e a observação HTTP do OLMoE é UNSUPPORTED. [Baixar extrato selecionado (JSON)](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/olmoe-0924-instruct-c64-residency39.json) Extrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria. OLMoE 0125 · 30/64 · PRODUCT-core scalar — contrato e medidas adicionais Métrica: Taxa agregada: soma dos tokens após o primeiro / soma dos tempos internos de decode. Exclui espera pelo primeiro token, preparação e aquecimento; não é a média das taxas individuais. Modelo / revisão: `allenai/OLMoE-1B-7B-0125-Instruct` Executor: PRODUCT-core scalar Armazenamento / execução: INT4 / block 256 / FP16 scales. Valores FP16 derivados da fonte quantizada. A precisão e os valores do checkpoint original são registrados separadamente; o detalhe disponível continua limitado à representação quantizada. Pico de RAM do processo (worker inteiro): 4,97 GiB Transferência RAM → GPU (soma das respostas medidas): 1.115,87 GiB Taxas dos três blocos: 22,65 / 22,98 / 23,51 tokens/s Amplitude relativa observada (não é intervalo de confiança): 3,74% Taxa de saída incluindo espera pelo primeiro token: 11,05 tokens/s Hardware: NVIDIA GeForce RTX 5070, conforme o registro da campanha; computador Windows compartilhado. Contrato da execução: PERF-REAL-v1; 12 entradas repetidas em 3 blocos; 36 respostas medidas de 128 tokens por configuração; seleção gulosa, EOS suprimido; aquecimento de 64 tokens excluído. Posicionamento inicial canônico, LRU evolui pelas entradas fixas; concorrência 1. Data da execução: 11 de set. de 2026 Revisão do modelo: `b89a7c4bc24fb9e55ce2543c9458ce0ca5c4650e` Artefato original (caminho relativo ao repositório): `artifacts/residency-executors-39-20260911-01/consolidation-01/summary.json` ### Limites desta configuração - Medição E3 controlada em computador compartilhado, sob a configuração registrada. - Picos de VRAM do driver e RSS do processo cobrem o worker inteiro, incluindo preparação e aquecimento; a VRAM inclui o uso do desktop. - A passagem do OLMoE c60 para c64 combina mudanças de executor e residência; o resultado deve ser interpretado nesse contexto conjunto. - A amplitude dos blocos é uma faixa observada, não um intervalo de confiança. A igualdade de tokens refere-se às repetições de cada configuração. - Primeiro token e resposta usam limites internos da requisição; prefill isolado é UNKNOWN e a observação HTTP do OLMoE é UNSUPPORTED. [Baixar extrato selecionado (JSON)](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/olmoe-0125-instruct-c30-residency39.json) Extrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria. OLMoE 0125 · 40/64 · PRODUCT-core scalar — contrato e medidas adicionais Métrica: Taxa agregada: soma dos tokens após o primeiro / soma dos tempos internos de decode. Exclui espera pelo primeiro token, preparação e aquecimento; não é a média das taxas individuais. Modelo / revisão: `allenai/OLMoE-1B-7B-0125-Instruct` Executor: PRODUCT-core scalar Armazenamento / execução: INT4 / block 256 / FP16 scales. Valores FP16 derivados da fonte quantizada. A precisão e os valores do checkpoint original são registrados separadamente; o detalhe disponível continua limitado à representação quantizada. Pico de RAM do processo (worker inteiro): 4,95 GiB Transferência RAM → GPU (soma das respostas medidas): 580,72 GiB Taxas dos três blocos: 27,21 / 26,75 / 27,42 tokens/s Amplitude relativa observada (não é intervalo de confiança): 2,47% Taxa de saída incluindo espera pelo primeiro token: 13,90 tokens/s Hardware: NVIDIA GeForce RTX 5070, conforme o registro da campanha; computador Windows compartilhado. Contrato da execução: PERF-REAL-v1; 12 entradas repetidas em 3 blocos; 36 respostas medidas de 128 tokens por configuração; seleção gulosa, EOS suprimido; aquecimento de 64 tokens excluído. Posicionamento inicial canônico, LRU evolui pelas entradas fixas; concorrência 1. Data da execução: 11 de set. de 2026 Revisão do modelo: `b89a7c4bc24fb9e55ce2543c9458ce0ca5c4650e` Artefato original (caminho relativo ao repositório): `artifacts/residency-executors-39-20260911-01/consolidation-01/summary.json` ### Limites desta configuração - Medição E3 controlada em computador compartilhado, sob a configuração registrada. - Picos de VRAM do driver e RSS do processo cobrem o worker inteiro, incluindo preparação e aquecimento; a VRAM inclui o uso do desktop. - A passagem do OLMoE c60 para c64 combina mudanças de executor e residência; o resultado deve ser interpretado nesse contexto conjunto. - A amplitude dos blocos é uma faixa observada, não um intervalo de confiança. A igualdade de tokens refere-se às repetições de cada configuração. - Primeiro token e resposta usam limites internos da requisição; prefill isolado é UNKNOWN e a observação HTTP do OLMoE é UNSUPPORTED. [Baixar extrato selecionado (JSON)](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/olmoe-0125-instruct-c40-residency39.json) Extrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria. OLMoE 0125 · 50/64 · PRODUCT-core scalar — contrato e medidas adicionais Métrica: Taxa agregada: soma dos tokens após o primeiro / soma dos tempos internos de decode. Exclui espera pelo primeiro token, preparação e aquecimento; não é a média das taxas individuais. Modelo / revisão: `allenai/OLMoE-1B-7B-0125-Instruct` Executor: PRODUCT-core scalar Armazenamento / execução: INT4 / block 256 / FP16 scales. Valores FP16 derivados da fonte quantizada. A precisão e os valores do checkpoint original são registrados separadamente; o detalhe disponível continua limitado à representação quantizada. Pico de RAM do processo (worker inteiro): 4,95 GiB Transferência RAM → GPU (soma das respostas medidas): 235,35 GiB Taxas dos três blocos: 31,10 / 31,31 / 31,25 tokens/s Amplitude relativa observada (não é intervalo de confiança): 0,66% Taxa de saída incluindo espera pelo primeiro token: 16,71 tokens/s Hardware: NVIDIA GeForce RTX 5070, conforme o registro da campanha; computador Windows compartilhado. Contrato da execução: PERF-REAL-v1; 12 entradas repetidas em 3 blocos; 36 respostas medidas de 128 tokens por configuração; seleção gulosa, EOS suprimido; aquecimento de 64 tokens excluído. Posicionamento inicial canônico, LRU evolui pelas entradas fixas; concorrência 1. Data da execução: 11 de set. de 2026 Revisão do modelo: `b89a7c4bc24fb9e55ce2543c9458ce0ca5c4650e` Artefato original (caminho relativo ao repositório): `artifacts/residency-executors-39-20260911-01/consolidation-01/summary.json` ### Limites desta configuração - Medição E3 controlada em computador compartilhado, sob a configuração registrada. - Picos de VRAM do driver e RSS do processo cobrem o worker inteiro, incluindo preparação e aquecimento; a VRAM inclui o uso do desktop. - A passagem do OLMoE c60 para c64 combina mudanças de executor e residência; o resultado deve ser interpretado nesse contexto conjunto. - A amplitude dos blocos é uma faixa observada, não um intervalo de confiança. A igualdade de tokens refere-se às repetições de cada configuração. - Primeiro token e resposta usam limites internos da requisição; prefill isolado é UNKNOWN e a observação HTTP do OLMoE é UNSUPPORTED. [Baixar extrato selecionado (JSON)](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/olmoe-0125-instruct-c50-residency39.json) Extrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria. OLMoE 0125 · 60/64 · PRODUCT-core scalar — contrato e medidas adicionais Métrica: Taxa agregada: soma dos tokens após o primeiro / soma dos tempos internos de decode. Exclui espera pelo primeiro token, preparação e aquecimento; não é a média das taxas individuais. Modelo / revisão: `allenai/OLMoE-1B-7B-0125-Instruct` Executor: PRODUCT-core scalar Armazenamento / execução: INT4 / block 256 / FP16 scales. Valores FP16 derivados da fonte quantizada. A precisão e os valores do checkpoint original são registrados separadamente; o detalhe disponível continua limitado à representação quantizada. Pico de RAM do processo (worker inteiro): 4,96 GiB Transferência RAM → GPU (soma das respostas medidas): 40,81 GiB Taxas dos três blocos: 35,45 / 35,49 / 35,39 tokens/s Amplitude relativa observada (não é intervalo de confiança): 0,27% Taxa de saída incluindo espera pelo primeiro token: 19,54 tokens/s Hardware: NVIDIA GeForce RTX 5070, conforme o registro da campanha; computador Windows compartilhado. Contrato da execução: PERF-REAL-v1; 12 entradas repetidas em 3 blocos; 36 respostas medidas de 128 tokens por configuração; seleção gulosa, EOS suprimido; aquecimento de 64 tokens excluído. Posicionamento inicial canônico, LRU evolui pelas entradas fixas; concorrência 1. Data da execução: 11 de set. de 2026 Revisão do modelo: `b89a7c4bc24fb9e55ce2543c9458ce0ca5c4650e` Artefato original (caminho relativo ao repositório): `artifacts/residency-executors-39-20260911-01/consolidation-01/summary.json` ### Limites desta configuração - Medição E3 controlada em computador compartilhado, sob a configuração registrada. - Picos de VRAM do driver e RSS do processo cobrem o worker inteiro, incluindo preparação e aquecimento; a VRAM inclui o uso do desktop. - A passagem do OLMoE c60 para c64 combina mudanças de executor e residência; o resultado deve ser interpretado nesse contexto conjunto. - A amplitude dos blocos é uma faixa observada, não um intervalo de confiança. A igualdade de tokens refere-se às repetições de cada configuração. - Primeiro token e resposta usam limites internos da requisição; prefill isolado é UNKNOWN e a observação HTTP do OLMoE é UNSUPPORTED. [Baixar extrato selecionado (JSON)](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/olmoe-0125-instruct-c60-residency39.json) Extrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria. OLMoE 0125 · 64/64 · Grouped T3 — contrato e medidas adicionais Métrica: Taxa agregada: soma dos tokens após o primeiro / soma dos tempos internos de decode. Exclui espera pelo primeiro token, preparação e aquecimento; não é a média das taxas individuais. Modelo / revisão: `allenai/OLMoE-1B-7B-0125-Instruct` Executor: Grouped T3 Armazenamento / execução: INT4 / block 256 / FP16 scales. Valores FP16 derivados da fonte quantizada. A precisão e os valores do checkpoint original são registrados separadamente; o detalhe disponível continua limitado à representação quantizada. Pico de RAM do processo (worker inteiro): 4,96 GiB Transferência RAM → GPU (soma das respostas medidas): 0,00 GiB Taxas dos três blocos: 62,69 / 61,39 / 62,15 tokens/s Amplitude relativa observada (não é intervalo de confiança): 2,10% Taxa de saída incluindo espera pelo primeiro token: 46,67 tokens/s Hardware: NVIDIA GeForce RTX 5070, conforme o registro da campanha; computador Windows compartilhado. Contrato da execução: PERF-REAL-v1; 12 entradas repetidas em 3 blocos; 36 respostas medidas de 128 tokens por configuração; seleção gulosa, EOS suprimido; aquecimento de 64 tokens excluído. Posicionamento inicial canônico, LRU evolui pelas entradas fixas; concorrência 1. Data da execução: 11 de set. de 2026 Revisão do modelo: `b89a7c4bc24fb9e55ce2543c9458ce0ca5c4650e` Artefato original (caminho relativo ao repositório): `artifacts/residency-executors-39-20260911-01/consolidation-01/summary.json` ### Limites desta configuração - Medição E3 controlada em computador compartilhado, sob a configuração registrada. - Picos de VRAM do driver e RSS do processo cobrem o worker inteiro, incluindo preparação e aquecimento; a VRAM inclui o uso do desktop. - A passagem do OLMoE c60 para c64 combina mudanças de executor e residência; o resultado deve ser interpretado nesse contexto conjunto. - A amplitude dos blocos é uma faixa observada, não um intervalo de confiança. A igualdade de tokens refere-se às repetições de cada configuração. - Primeiro token e resposta usam limites internos da requisição; prefill isolado é UNKNOWN e a observação HTTP do OLMoE é UNSUPPORTED. [Baixar extrato selecionado (JSON)](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/olmoe-0125-instruct-c64-residency39.json) Extrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria. Qwen · 20/60 · top4-fused-v1 — contrato e medidas adicionais Métrica: Taxa agregada: soma dos tokens após o primeiro / soma dos tempos internos de decode. Exclui espera pelo primeiro token, preparação e aquecimento; não é a média das taxas individuais. Modelo / revisão: `Qwen/Qwen1.5-MoE-A2.7B-Chat` Executor: top4-fused-v1 Armazenamento / execução: INT4 / block 256 / FP16 scales. Valores FP16 derivados da fonte quantizada. A precisão e os valores do checkpoint original são registrados separadamente; o detalhe disponível continua limitado à representação quantizada. Pico de RAM do processo (worker inteiro): 7,97 GiB Transferência RAM → GPU (soma das respostas medidas): 2.702,75 GiB Taxas dos três blocos: 15,08 / 15,03 / 15,56 tokens/s Amplitude relativa observada (não é intervalo de confiança): 3,49% Taxa de saída incluindo espera pelo primeiro token: 7,21 tokens/s Hardware: NVIDIA GeForce RTX 5070, conforme o registro da campanha; computador Windows compartilhado. Contrato da execução: PERF-REAL-v1; 12 entradas repetidas em 3 blocos; 36 respostas medidas de 128 tokens por configuração; seleção gulosa, EOS suprimido; aquecimento de 64 tokens excluído. Posicionamento inicial canônico, LRU evolui pelas entradas fixas; concorrência 1. Data da execução: 11 de set. de 2026 Revisão do modelo: `ec052fda178e241c7c443468d2fa1db6618996be` Artefato original (caminho relativo ao repositório): `artifacts/residency-executors-39-20260911-01/consolidation-01/summary.json` ### Limites desta configuração - Medição E3 controlada em computador compartilhado, sob a configuração registrada. - Picos de VRAM do driver e RSS do processo cobrem o worker inteiro, incluindo preparação e aquecimento; a VRAM inclui o uso do desktop. - A passagem do OLMoE c60 para c64 combina mudanças de executor e residência; o resultado deve ser interpretado nesse contexto conjunto. - A amplitude dos blocos é uma faixa observada, não um intervalo de confiança. A igualdade de tokens refere-se às repetições de cada configuração. - Primeiro token e resposta usam limites internos da requisição; prefill isolado é UNKNOWN e a observação HTTP do OLMoE é UNSUPPORTED. [Baixar extrato selecionado (JSON)](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/qwen15-moe-chat-c20-residency39.json) Extrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria. Qwen · 30/60 · top4-fused-v1 — contrato e medidas adicionais Métrica: Taxa agregada: soma dos tokens após o primeiro / soma dos tempos internos de decode. Exclui espera pelo primeiro token, preparação e aquecimento; não é a média das taxas individuais. Modelo / revisão: `Qwen/Qwen1.5-MoE-A2.7B-Chat` Executor: top4-fused-v1 Armazenamento / execução: INT4 / block 256 / FP16 scales. Valores FP16 derivados da fonte quantizada. A precisão e os valores do checkpoint original são registrados separadamente; o detalhe disponível continua limitado à representação quantizada. Pico de RAM do processo (worker inteiro): 7,99 GiB Transferência RAM → GPU (soma das respostas medidas): 1.852,07 GiB Taxas dos três blocos: 17,45 / 17,02 / 17,04 tokens/s Amplitude relativa observada (não é intervalo de confiança): 2,51% Taxa de saída incluindo espera pelo primeiro token: 8,59 tokens/s Hardware: NVIDIA GeForce RTX 5070, conforme o registro da campanha; computador Windows compartilhado. Contrato da execução: PERF-REAL-v1; 12 entradas repetidas em 3 blocos; 36 respostas medidas de 128 tokens por configuração; seleção gulosa, EOS suprimido; aquecimento de 64 tokens excluído. Posicionamento inicial canônico, LRU evolui pelas entradas fixas; concorrência 1. Data da execução: 11 de set. de 2026 Revisão do modelo: `ec052fda178e241c7c443468d2fa1db6618996be` Artefato original (caminho relativo ao repositório): `artifacts/residency-executors-39-20260911-01/consolidation-01/summary.json` ### Limites desta configuração - Medição E3 controlada em computador compartilhado, sob a configuração registrada. - Picos de VRAM do driver e RSS do processo cobrem o worker inteiro, incluindo preparação e aquecimento; a VRAM inclui o uso do desktop. - A passagem do OLMoE c60 para c64 combina mudanças de executor e residência; o resultado deve ser interpretado nesse contexto conjunto. - A amplitude dos blocos é uma faixa observada, não um intervalo de confiança. A igualdade de tokens refere-se às repetições de cada configuração. - Primeiro token e resposta usam limites internos da requisição; prefill isolado é UNKNOWN e a observação HTTP do OLMoE é UNSUPPORTED. [Baixar extrato selecionado (JSON)](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/qwen15-moe-chat-c30-residency39.json) Extrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria. Qwen · 39/60 · top4-fused-v1 — contrato e medidas adicionais Métrica: Taxa agregada: soma dos tokens após o primeiro / soma dos tempos internos de decode. Exclui espera pelo primeiro token, preparação e aquecimento; não é a média das taxas individuais. Modelo / revisão: `Qwen/Qwen1.5-MoE-A2.7B-Chat` Executor: top4-fused-v1 Armazenamento / execução: INT4 / block 256 / FP16 scales. Valores FP16 derivados da fonte quantizada. A precisão e os valores do checkpoint original são registrados separadamente; o detalhe disponível continua limitado à representação quantizada. Pico de RAM do processo (worker inteiro): 7,97 GiB Transferência RAM → GPU (soma das respostas medidas): 1.172,50 GiB Taxas dos três blocos: 20,31 / 19,78 / 19,76 tokens/s Amplitude relativa observada (não é intervalo de confiança): 2,74% Taxa de saída incluindo espera pelo primeiro token: 10,52 tokens/s Hardware: NVIDIA GeForce RTX 5070, conforme o registro da campanha; computador Windows compartilhado. Contrato da execução: PERF-REAL-v1; 12 entradas repetidas em 3 blocos; 36 respostas medidas de 128 tokens por configuração; seleção gulosa, EOS suprimido; aquecimento de 64 tokens excluído. Posicionamento inicial canônico, LRU evolui pelas entradas fixas; concorrência 1. Data da execução: 11 de set. de 2026 Revisão do modelo: `ec052fda178e241c7c443468d2fa1db6618996be` Artefato original (caminho relativo ao repositório): `artifacts/residency-executors-39-20260911-01/consolidation-01/summary.json` ### Limites desta configuração - Medição E3 controlada em computador compartilhado, sob a configuração registrada. - Picos de VRAM do driver e RSS do processo cobrem o worker inteiro, incluindo preparação e aquecimento; a VRAM inclui o uso do desktop. - A passagem do OLMoE c60 para c64 combina mudanças de executor e residência; o resultado deve ser interpretado nesse contexto conjunto. - A amplitude dos blocos é uma faixa observada, não um intervalo de confiança. A igualdade de tokens refere-se às repetições de cada configuração. - Primeiro token e resposta usam limites internos da requisição; prefill isolado é UNKNOWN e a observação HTTP do OLMoE é UNSUPPORTED. [Baixar extrato selecionado (JSON)](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/qwen15-moe-chat-c39-residency39.json) Extrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria. 06 / Acompanhe uma resposta ## Acompanhe um pedaço da resposta. Uma resposta é construída em pequenos pedaços de texto. O modelo escolhe partes a cada etapa, e o Horizon coordena onde elas ficam e como são usadas. Da entrada à resposta: acompanhe como o trabalho se organiza. O diagrama seguinte mostra o que acontece com as cópias dos especialistas. [Ver acerto, falta e descarte](https://horizonrunmap.com/pt#explain-simple) - ### Ler a entrada O texto é dividido em tokens e processado pelo modelo. - ### Selecionar especialistas O roteamento escolhe especialistas em cada camada roteada. - ### Consultar o cache Se a cópia está na GPU, ela pode ser usada. Se falta, vem da RAM pela área de transferência. - ### Produzir o próximo token Os cálculos das camadas contribuem para a próxima saída. O processo se repete. 07 / De volta à oficina ## Uma origem confiável na oficina. Agora a oficina ajuda a visualizar o mecanismo: a GPU é a bancada, a RAM é o armazém e os especialistas são ferramentas. Uma cópia pode estar pronta, precisar ser trazida ou abrir espaço para outra; a origem continua intacta. ### A bancada A GPU faz os cálculos. A VRAM é o espaço de memória que ela usa. ### O armazém A RAM guarda a cópia completa e imutável dos especialistas. ### As ferramentas Especialistas são partes do modelo. Cada etapa usa alguns deles. Imagine uma oficina: a bancada tem espaço limitado e as ferramentas ficam no armazém. Aqui, cada ferramenta representa um conjunto de cálculos do modelo. Uma origem completa. Cópias para trabalhar. Em todas as situações, os especialistas compactos continuam guardados na RAM. Essa é a origem imutável. Acerto ### Usar a cópia pronta RAMOrigem intacta Já está na GPU GPUCópia disponível O especialista solicitado já tem uma cópia pronta na bancada. O cálculo usa essa cópia. A origem fica intacta; essa consulta dispensa uma nova transferência do especialista. Falta ### Trazer uma cópia RAMOrigem intacta Copiar para a GPU GPUCópia recebida A cópia solicitada vem da RAM pela área de transferência. Ela fica disponível para uso quando a transferência termina e o novo estado completo do cache é publicado. A origem permanece pronta na RAM, inclusive depois da transferência. Descarte ### Liberar espaço RAMOrigem intacta Liberar na GPU GPUCópia liberada Quando pode ser liberada com segurança, a cópia sai da bancada. A posição só é reutilizada depois que os cálculos que usam essa cópia terminam. A origem segue pronta para uma próxima cópia; os pesos não precisam voltar à CPU. Três situações possíveis, não uma sequência obrigatória. O desenho explica o mecanismo; quantidades e tempos são informados nos resultados de cada configuração. [Conhecer a transferência e a publicação do cache →](https://horizonrunmap.com/pt#regimes) 08 / Comportamento do modelo ## Como o modelo respondeu aos testes? Para ocupar menos memória de vídeo, o Horizon mantém os pesos dos especialistas compactos e usa rotinas próprias para calcular com eles. As outras partes do modelo seguem um caminho de maior precisão. Essa mudança pode afetar as respostas; por isso, testamos se o modelo continua seguindo instruções. Como os pesos são guardados e usados nos cálculos Na arquitetura qpacked medida, os pesos dos especialistas roteados ficam compactos em INT4 na RAM e na GPU. Os kernels usam ativações FP16. Os demais componentes ficam fora dessa quantização INT4. O formato guardado, o formato usado no cálculo e a precisão da soma são decisões diferentes. Os pesos compactos são convertidos dentro do kernel quando necessários; o especialista inteiro não ocupa um slot permanente expandido. 01 / Guardar ### Especialistas compactos INT4 Os pesos dos especialistas escolhidos pelo roteamento ficam compactos na RAM e na GPU. Atenção, embeddings e os demais componentes ficam fora dessa quantização. Pesos dos experts: INT4 · escalas: FP16 [Entender os formatos →](https://horizonrunmap.com/pt#boundaries) 02 / Calcular ### Executar no formato escolhido W4A16 Kernels são as rotinas de cálculo na GPU. Os do Horizon usam os pesos compactos e convertem os valores necessários durante a operação, sem manter um especialista inteiro expandido. Pesos compactos → kernel próprio + ativações FP16 → saída [Conhecer o caminho do cálculo →](https://horizonrunmap.com/pt#boundaries) 03 / Organizar ### Trabalhar com cópias RAM → GPU A RAM conserva a origem completa. A GPU usa cópias de todos os especialistas ou de uma parte, conforme o espaço reservado. A origem segue pronta depois do descarte. Origem imutável · cópias descartáveis na GPU [Ver acerto, falta e descarte →](https://horizonrunmap.com/pt#explain-simple) ### Guardar W4: pesos dos experts roteados em INT4, com escalas FP16. O cache da GPU conserva esse formato compacto. ### Calcular A16: ativações FP16. Os kernels convertem pesos durante o cálculo e têm etapas de acumulação FP32 e arredondamentos explícitos. W4A16 não descreve sozinho toda a aritmética. ### Demais componentes Atenção, embeddings, roteamento e demais componentes ficam fora do INT4. Na campanha, os pesos não roteados são materializados em FP16 a partir do checkpoint BF16. IFEVAL / OLMoE 0924 ### O modelo seguiu as instruções? O IFEval apresenta pedidos escritos à IA, como incluir uma palavra obrigatória ou usar determinado formato, e confere cada resposta. Essa execução publicada concluiu os 541 pedidos; assim podemos ver com que frequência o modelo cumpriu todas as instruções de cada pedido. Pedidos que cumpriram todas as instruções · com ajustes de apresentação permitidos45,66% 247 das 541 respostas cumpriram todas as instruções na avaliação loose. Nota da execução publicada com OLMoE, distinta daquela no outro computador com RTX 4060. #### O que este resultado mostra Os 541 pedidos foram concluídos, e cada resposta pode ser consultada. A pontuação mostra com que frequência esta configuração cumpriu os requisitos escritos neste teste. prompts concluídos: 541/541 instruções individuais: 834 repetições automáticas: 0 [Explorar as 541 respostas →](https://horizonrunmap.com/evidence/ifeval/olmoe-0924-ifeval541-v1/explore-pt.html)[Baixar o benchmark completo ↓](https://horizonrunmap.com/evidence/ifeval/olmoe-0924-ifeval541-v1.zip) Quatro leituras do mesmo benchmark | Avaliação | Aprovados / avaliados | Acerto | | --- | --- | --- | | Prompts · strict | 217/541 | 40,11% | | Prompts · loose | 247/541 | 45,66% | | Instruções · strict | 433/834 | 51,92% | | Instruções · loose | 474/834 | 56,83% | O IFEval verifica requisitos como palavras obrigatórias, quantidade de seções e formatação. Um prompt passa quando todas as suas instruções passam. As notas por instrução contam cada requisito separadamente. Strict verifica a resposta diretamente; loose aplica ajustes de apresentação predefinidos. #### Os resultados publicados do modelo dão contexto. Os 45,66% do Horizon ficam numericamente entre dois valores IFEval publicados para o OLMoE 0924: 45,29 e 48,1. É uma referência encorajadora para a configuração com experts compactados. [48,1Model card original · Loose Acc ↗](https://huggingface.co/allenai/OLMoE-1B-7B-0924-Instruct#evaluation-snapshot)[45,29Model card posterior · IFEval ↗](https://huggingface.co/allenai/OLMoE-1B-7B-0125-Instruct#performance) Referências externas, avaliadas sob contratos distintos. A tabela posterior não especifica a variante do IFEval; esses valores contextualizam o resultado, sem constituir uma comparação pareada com BF16. Como o benchmark foi executado OLMoE-1B-7B-0924-Instruct · 64/64 experts por camada · Grouped T3 · fontes INT4 dos experts / ativações FP16. Geração determinística, sem truncar a entrada, com até 1.280 novos tokens por prompt. Todos os 541 prompts entram nas notas. 467/541 respostas encerraram naturalmente por EOS; 74/541 atingiram o limite de tokens. Os 11 blocos de execução foram concluídos, com zero fallback, faltas/preenchimentos de cache ou transferências H2D de experts registrados por requisição. O benchmark mede seguimento de instruções. A correção factual e a equivalência de qualidade a uma execução BF16 pareada são perguntas de avaliação próprias. E1 · benchmark independente · verificado e publicado sob seu contrato. Reprodução independente da geração: não realizada. Revision · `7f1c97f440f06ce36705e4f2b843edb5925f4498` Recalcular os resultados O pacote reúne as respostas originais, os prompts, as notas por instrução, as fontes congeladas do avaliador, as licenças e um verificador em CPU. Com as dependências Python fixadas já instaladas, o verificador recalcula as quatro notas offline, sem modelo ou GPU. [Guia de auditoria (inglês) ↓](https://horizonrunmap.com/evidence/ifeval/olmoe-0924-ifeval541-v1/audit-method.md)[Manifesto e hashes ↓](https://horizonrunmap.com/evidence/ifeval/olmoe-0924-ifeval541-v1/manifest.json) `SHA-256 · 9dcdb178a5469ca57c74c1e72ed2956cc94539b16607fdee7771b3b5442c8ed2` ESTUDO PAREADO ### Outro teste: formato e encerramento Um estudo anterior apresentou os mesmos 120 pedidos ao Horizon e ao modelo original BF16. Ele verificou se cada resposta respeitou a estrutura solicitada e terminou normalmente. Referência BF1629/120 24,17% Horizon28/120 23,33% Diferença líquida−0,83 pp 8 perdas / 120 · 7 ganhos / 120 Conformidade aqui significa uma resposta concluída, não vazia, contendo um único objeto JSON estrito e encerrada naturalmente por EOS. A medida avalia o formato solicitado e o encerramento; a correção do conteúdo não recebeu nota. Este estudo é separado do IFEval e da campanha de desempenho. Ver os 120 pares, condições e auditoria #### Onde os resultados mudaram Ambos conformes: 21/120 Somente BF16 conforme: 8/120 Somente Horizon conforme: 7/120 Nenhum conforme: 84/120 As 8 perdas representam 8/29 dos casos em que o BF16 foi conforme (8/120 do total). As oito respostas do Horizon falham na leitura como JSON estrito; três também atingiram o limite de tokens. São regressões de formato ou encerramento, sem julgamento da correção do conteúdo. Uma falha compartilhada não é uma regressão atribuída ao Horizon. Das 86 divergências sem direção de qualidade determinada, 82 falham na conformidade nos dois lados e 4 são conformes nos dois, com valores JSON diferentes. Uma diferença de texto ou conteúdo, sozinha, não estabelece pior qualidade. Como os 120 pares foram classificados Como os 120 pares foram classificados | Classificação | Pares / 120 | | --- | --- | | Tokens de saída idênticos | 16 | | Ganho de conformidade no Horizon | 7 | | Perda de conformidade no Horizon | 8 | | Saídas diferentes; nenhum conforme | 82 | | Valores JSON diferentes; ambos conformes | 4 | | Valores JSON equivalentes | 3 | 19/120 pares têm paridade observável: 16 sequências de tokens idênticas e 3 com valores JSON equivalentes pela tolerância numérica congelada. A paridade, sozinha, não estabelece correção. Conclusão das solicitações e encerramento 120/120 solicitações concluídas em cada execução. Os 120 registros do Horizon mostram zero fallback, faltas/preenchimentos de cache e transferências de experts para a GPU. Conclusão das solicitações e encerramento | Observação | BF16 | Horizon | | --- | --- | --- | | EOS natural | 59 | 54 | | Limite de 128 tokens atingido | 61 | 66 | | Respostas vazias | 0 | 0 | Condições desta comparação OLMoE-1B-7B-0924-Instruct, mesma ordem de prompts e hashes de entrada do tokenizer, decodificação greedy e até 128 tokens novos. Horizon: c64, todos os experts residentes, Grouped T3, fontes de experts INT4 e ativações FP16. Referência: valores originais do checkpoint BF16 via Transformers/Accelerate, com a distribuição CPU/GPU registrada. Esta comparação E3 descreve este modelo, conjunto de prompts e configuração. A campanha de desempenho acima é um experimento separado. Correção do conteúdo, respostas mais longas e preservação geral de qualidade exigem avaliação própria. Revision · `7f1c97f440f06ce36705e4f2b843edb5925f4498` [Conferir os 120 pares e o material de auditoria →](https://horizonrunmap.com/evidence/paired/olmoe-0924-bf16-horizon-v1/explore-pt.html) #### Recalcular esta comparação [Baixar as 240 respostas originais ↓](https://horizonrunmap.com/evidence/behavioral/olmoe-0924-fidelity-v2.zip) - [Relatório completo (inglês) ↓](https://horizonrunmap.com/evidence/behavioral/olmoe-0924-fidelity-v2/report.md) - [Guia de auditoria (inglês) ↓](https://horizonrunmap.com/evidence/behavioral/olmoe-0924-fidelity-v2/audit-method.md) - [Manifesto e hashes ↓](https://horizonrunmap.com/evidence/behavioral/olmoe-0924-fidelity-v2/manifest.json) - [Verificador offline (Python) ↓](https://horizonrunmap.com/evidence/behavioral/olmoe-0924-fidelity-v2/verify-bundle.py) Extraia o ZIP, confira os arquivos Python e execute: python -B verify-bundle.py . — Python 3.10+, sem pacotes, GPU ou modelo. O verificador confere os hashes das respostas originais e recalcula as 120 classificações pareadas e o resumo. Registro da publicação A publicação original falhou porque o sanitizer interpretou incorretamente caracteres de escape do JSON. Esta edição sucessora corrige o pós-processamento em CPU, com a classificação inalterada e as 240 gerações originais preservadas. A validação das gerações e a verificação deste bundle passaram. Nenhuma geração foi repetida; ainda não houve reprodução independente. [Origem e hashes dos artefatos ↓](https://horizonrunmap.com/evidence/behavioral/olmoe-0924-fidelity-v2/provenance.json) olmoe-0924-fidelity-v2 · E3 · SHA-256 `8105c554260e54974990560cfeca65b9302e9c7480663dad2a0bf1d8c8a939b2` 09 / Aplicações ## IA local com controle dos dados. Para organizações e pessoas, o potencial é executar modelos de IA localmente, no próprio computador ou infraestrutura. Perguntas, documentos e respostas podem permanecer no ambiente de quem usa o sistema, sem passar por um serviço externo de inferência. Ao reduzir a memória exigida pelos especialistas, o Horizon pode viabilizar uma configuração menor para a mesma aplicação. Se ela atender às necessidades de velocidade e qualidade, compra, aluguel e custo total de infraestrutura podem diminuir. Esse ganho precisa ser avaliado para cada modelo e carga de trabalho. Dados sob controle ### Modelos locais para informações que você administra. Uma organização pode trabalhar com documentos internos em infraestrutura própria; uma pessoa, com arquivos no próprio computador. A inferência local permite manter pedidos e respostas nesse ambiente, com acesso e armazenamento definidos por quem o opera. [Conversar sobre aplicações locais →](https://horizonrunmap.com/pt#contact) Infraestrutura sob medida ### Menos memória de GPU pode reduzir o custo total. Especialistas compactos podem permitir usar placas já disponíveis ou alugar uma configuração menor. Memória, velocidade, RAM e operação entram na comparação para saber se a infraestrutura realmente custa menos para aquele modelo e aquela carga. [Ver memória e velocidade medidas →](https://horizonrunmap.com/pt#residence) Para examinar uma execução completa, o aplicativo público oferece o IFEval nas configurações validadas. [Conhecer o aplicativo →](https://horizonrunmap.com/pt/download/) ### Trabalhos relacionados HHorizon RunMap Especialistas compactos e cópias sob controle Residência: Residência parcial ou completa, conforme configuração e executor. As quantidades da campanha são por camada. Precisão de armazenamento: O perfil resident-qpacked-cache-v1 documenta a origem em RAM e o cache na GPU em formato qpacked, com caminho W4A16. O offload-qpacked usa slots FP16/BF16 reconstruídos da fonte de baixa precisão; são mecanismos distintos. Papel da CPU: No cache imutável documentado, a CPU mantém a origem completa em RAM e coordena staging, admissão e publicação. Esse é o papel arquitetural da CPU; sua utilização é uma métrica separada. Unidade de movimentação: Linhas de especialistas roteados, por camada; áreas temporárias limitadas para transporte. Política de distribuição: Capacidade de cache fixada antes da admissão. Especialistas residentes não são necessariamente os ativos no token atual. Estratégia de sobreposição: O ADR 0009 serializa transações de miss e só publica após conclusão. A contribuição descrita aqui é a coordenação da transferência e da publicação. Classe de hardware: A campanha selecionada declara uma RTX 5070 em computador Windows compartilhado. Esse hardware define o contexto das capacidades registradas. Carga de trabalho divulgada: OLMoE 0924, OLMoE 0125 e Qwen; 13 configurações, 12 entradas repetidas em três blocos, 128 tokens por resposta medida. Maturidade das medições: Resultados E3 de pesquisa controlada sobre memória e execução. OLMoE c64 também muda o executor; os limites gerais estão na seção de escopo da pesquisa. Mecanismos documentados e escopo medido são identificados separadamente. O ADR 0009 não autoriza generalizar seu perfil P0 para todos os braços desta campanha. [Fontes e limites do Horizon (inglês) ↓](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/horizon-technical-notes.md) 01FlexGen / FlexLLMGen Pesos, ativações e cache KV podem ser distribuídos entre GPU, memória da CPU e disco. Residência: Pesos, ativações e cache KV podem ser distribuídos entre GPU, memória da CPU e disco. Precisão de armazenamento: Compressão opcional de pesos e cache KV em quatro bits. Papel da CPU: Não divulgado Unidade de movimentação: Tensores e camadas reutilizados entre lotes. Política de distribuição: Modelo de otimização no artigo; o README publicado orienta políticas percentuais manuais. Estratégia de sobreposição: Escalonamento em blocos sobrepõe entrada/saída e cálculos. Classe de hardware: Exemplo com uma NVIDIA T4, DRAM do computador e SSD. Carga de trabalho divulgada: Geração em lotes com OPT; exemplo documentado de 512 tokens de entrada e 32 de saída. Maturidade das medições: Artigo de pesquisa e instruções de reprodução; repositório arquivado em dezembro de 2024. ### Limitações - Otimizado para vazão em lotes, com uma contrapartida de latência. - O README publicado apresenta a liberação do otimizador automático de políticas como trabalho futuro. - As fontes selecionadas não esclarecem uma divisão universal dos operadores na CPU. ### Fontes primárias — mecanismo [FMInference (abre em nova aba)](https://github.com/FMInference/FlexLLMGen)Fonte primária · Verificado em 10 de set. de 2026 [FlexGen — autores (abre em nova aba)](https://arxiv.org/abs/2303.06865)Fonte primária · Verificado em 10 de set. de 2026 02DeepSpeed ZeRO-Inference A CPU ou o NVMe mantém os pesos de origem; uma ou poucas camadas ocupam temporariamente a memória da GPU. Residência: A CPU ou o NVMe mantém os pesos de origem; uma ou poucas camadas ocupam temporariamente a memória da GPU. Precisão de armazenamento: Projeto original em meia precisão; exemplo oficial posterior admite pesos em quatro bits. Papel da CPU: Armazenamento e preparação de pesos; os cálculos das camadas executam na GPU. Unidade de movimentação: Pesos de camadas, com busca particionada em configurações de múltiplas GPUs. Política de distribuição: Pesos mantidos fora da GPU e camadas transitórias na GPU. Estratégia de sobreposição: A busca antecipada de uma camada se sobrepõe aos cálculos de camadas anteriores. Classe de hardware: GPU com RAM da CPU ou NVMe; opcionalmente várias GPUs e sua interconexão. Carga de trabalho divulgada: Geração com lotes grandes ou sequências longas de entrada. Maturidade das medições: Artigo oficial sobre o mecanismo e exemplos executáveis de configuração. ### Limitações - A amortização das transferências depende da carga de trabalho. - A retirada de pesos da GPU na inferência não deve ser confundida com a movimentação de estados do otimizador no treinamento. ### Fontes primárias — mecanismo [DeepSpeed (abre em nova aba)](https://www.deepspeed.ai/2022/09/09/zero-inference.html)Fonte primária · Verificado em 10 de set. de 2026 [DeepSpeed (abre em nova aba)](https://github.com/deepspeedai/DeepSpeedExamples/blob/master/inference/huggingface/zero_inference/README.md)Fonte primária · Verificado em 10 de set. de 2026 ### Relatos da comunidade — contexto separado Discussões sobre dificuldades de configuração e interesse operacional. Não demonstram desempenho, arquitetura, reprodução quantitativa ou prevalência entre usuários. [Participantes do Reddit (abre em nova aba)](https://www.reddit.com/r/LocalLLaMA/comments/1nzvtp9/inference_of_llms_with_offloading_to_ssdnvme/)Relato anedótico · Verificado em 10 de set. de 2026 03llama.cpp Distribuição completa ou dividida entre CPU e GPU, conforme a configuração. Residência: Distribuição completa ou dividida entre CPU e GPU, conforme a configuração. Precisão de armazenamento: O formato GGUF admite vários formatos de armazenamento quantizado. Papel da CPU: Cálculos de inferência para operações atribuídas à CPU. Unidade de movimentação: Configuração por camada e tensor; cache dinâmico de especialistas é um mecanismo distinto dessas opções. Política de distribuição: Quantidade de camadas na GPU, substituições por tensor e controles explícitos para colocar MoE na CPU. Estratégia de sobreposição: Não divulgado Classe de hardware: CPU, GPUs NVIDIA e AMD, Apple Silicon e outros backends documentados. Carga de trabalho divulgada: Inferência local por linha de comando e servidor. Maturidade das medições: Implementação mantida e controles de configuração documentados; nenhuma campanha comparativa importada. ### Limitações - Uso de memória e comportamento dependem do modelo, backend e configuração. - Não se afirma uma estratégia universal de sobreposição ou uma política de cache dinâmico de especialistas. ### Fontes primárias — mecanismo [ggml-org (abre em nova aba)](https://github.com/ggml-org/llama.cpp)Fonte primária · Verificado em 10 de set. de 2026 [ggml-org (abre em nova aba)](https://raw.githubusercontent.com/ggml-org/llama.cpp/master/tools/server/README.md)Fonte primária · Verificado em 10 de set. de 2026 ### Relatos da comunidade — contexto separado Discussões sobre dificuldades de configuração e interesse operacional. Não demonstram desempenho, arquitetura, reprodução quantitativa ou prevalência entre usuários. [Participantes do Reddit (abre em nova aba)](https://www.reddit.com/r/LocalLLaMA/comments/1s5xcmw/llamacpp_prefetching_weights_when_offloading_to/)Relato anedótico · Verificado em 10 de set. de 2026 04PowerInfer Neurônios frequentemente ativados residem na GPU; os pouco ativados residem na CPU. Residência: Neurônios frequentemente ativados residem na GPU; os pouco ativados residem na CPU. Precisão de armazenamento: GGUF especializado do PowerInfer, com opções sem quantização e Q4_0. Papel da CPU: Calcula os neurônios ativados que ficam na CPU. Unidade de movimentação: Divisão entre CPU/GPU orientada a neurônios e troca de resultados intermediários. Política de distribuição: Localidade de ativações obtida por perfilamento e orçamento de memória da GPU. Estratégia de sobreposição: Não divulgado Classe de hardware: GPU de consumo e CPU com AVX2. Carga de trabalho divulgada: Geração com modelos esparsos/ReLU e preditores compatíveis. Maturidade das medições: Artigo de pesquisa e implementação pública. ### Limitações - O mecanismo relatado requer modelos esparsos especializados e preditores. - Checkpoints comuns não herdam os benefícios relatados. - Não se afirma um cronograma universal de sobreposição entre CPU e GPU. ### Fontes primárias — mecanismo [PowerInfer — autores (abre em nova aba)](https://arxiv.org/abs/2312.12456)Fonte primária · Verificado em 10 de set. de 2026 [Tiiny-AI / PowerInfer (abre em nova aba)](https://github.com/Tiiny-AI/PowerInfer)Fonte primária · Verificado em 10 de set. de 2026 05PowerInfer-2 Cache de neurônios na DRAM de celular com armazenamento de origem em memória flash. Residência: Cache de neurônios na DRAM de celular com armazenamento de origem em memória flash. Precisão de armazenamento: São divulgados casos FP16 e de quatro bits. Papel da CPU: Decodificação esparsa em grupos na CPU; processamento da entrada centrado na NPU. Unidade de movimentação: Conjuntos e grupos de neurônios, com leituras da memória flash dependentes da quantização. Política de distribuição: Planejador prévio e cache de neurônios durante a execução. Estratégia de sobreposição: Fluxo de grupos de neurônios sobrepõe cálculos e entrada/saída. Classe de hardware: Aparelhos Android OnePlus com acesso root, usando CPU, NPU e armazenamento UFS. Carga de trabalho divulgada: Diálogo, geração de código, matemática e interpretação de papéis com modelos esparsos especificados. Maturidade das medições: Artigo detalhado de pesquisa com avaliação delimitada por aparelhos e cargas. ### Limitações - A avaliação exige aparelhos com acesso root e modelos esparsos específicos. - Alguns braços usam modelos tornados esparsos e outros usam os originais; não é uma comparação com checkpoint inalterado. - O mecanismo de celular não é um contrato genérico de implantação em GPU de computador. ### Fontes primárias — mecanismo [PowerInfer-2 — autores (abre em nova aba)](https://arxiv.org/html/2406.06282v1)Fonte primária · Verificado em 10 de set. de 2026 06AirLLM Partes por camada em disco, com residência temporária no acelerador. Residência: Partes por camada em disco, com residência temporária no acelerador. Precisão de armazenamento: Padrão sem compressão; compressão opcional dos pesos em blocos de quatro ou oito bits. Papel da CPU: Não divulgado Unidade de movimentação: Camadas do modelo. Política de distribuição: Carregamento sequencial de camadas. Estratégia de sobreposição: O carregamento antecipado se sobrepõe aos cálculos; o README limita a opção a AirLLMLlama2. Classe de hardware: GPU CUDA; caminho separado para Apple Silicon. Carga de trabalho divulgada: Geração com modelos por meio dos exemplos do repositório. Maturidade das medições: Implementação e exemplos públicos; nenhuma campanha independente comparável admitida. ### Limitações - A divisão em camadas exige capacidade adicional em disco. - O suporte à busca antecipada depende do modelo. - Os exemplos de capacidade e a avaliação de latência interativa respondem a perguntas distintas. - O resumo selecionado não estabelece uma divisão universal dos cálculos na CPU. ### Fontes primárias — mecanismo [AirLLM — mantenedores (abre em nova aba)](https://github.com/lyogavin/airllm)Fonte primária · Verificado em 10 de set. de 2026 ### Relatos da comunidade — contexto separado Discussões sobre dificuldades de configuração e interesse operacional. Não demonstram desempenho, arquitetura, reprodução quantitativa ou prevalência entre usuários. [Participantes do Reddit (abre em nova aba)](https://www.reddit.com/r/LocalLLaMA/comments/1ckxzi3)Relato anedótico · Verificado em 10 de set. de 2026 07Mixtral offloading Pesos dos especialistas no computador e cache limitado de especialistas na GPU. Residência: Pesos dos especialistas no computador e cache limitado de especialistas na GPU. Precisão de armazenamento: Experimentos selecionados usam HQQ de dois/três bits nos especialistas e quatro bits na atenção; outros tensores especificados mantêm dezesseis bits. Papel da CPU: Pesos de origem e preparação no computador; cálculos do modelo na GPU. Unidade de movimentação: Especialistas selecionados. Política de distribuição: Cache LRU por camada: substituição do item usado há mais tempo. Estratégia de sobreposição: Carregamento especulativo de especialistas da próxima camada a partir dos estados ocultos atuais. Classe de hardware: T4, RTX 3060 e RTX 3080 Mobile; configuração de referência A100. Carga de trabalho divulgada: Geração com Mixtral-8x7B-Instruct em lote unitário, sobre conversas OpenAssistant. Maturidade das medições: Artigo de pesquisa, código-fonte e ablações delimitadas do mecanismo. ### Limitações - A avaliação cobre uma população restrita de modelos e hardware. - A quantização altera os valores do checkpoint. - O comportamento do cache e os resultados do carregamento especulativo não se generalizam automaticamente. ### Fontes primárias — mecanismo [Eliseev and Mazur (abre em nova aba)](https://arxiv.org/html/2312.17238v1)Fonte primária · Verificado em 10 de set. de 2026 [Mixtral offloading — autores (abre em nova aba)](https://github.com/dvmazur/mixtral-offloading)Fonte primária · Verificado em 10 de set. de 2026 10 / Próximas perguntas ## O que vem a seguir. O Horizon demonstrou sua arquitetura em configurações medidas e numa avaliação completa de seguir instruções. Próximos testes úteis incluem mais hardware e modelos, solicitações longas, uso simultâneo e o custo total de operação. Os resultados conservam seus contratos exatos de modelo, precisão, executor, hardware e carga de trabalho. O estudo anterior com BF16 mede formato e término separadamente; correção factual, equivalência de qualidade pareada e operação em produção exigem avaliações próprias. A correção do conteúdo não recebeu nota. O teste de instruções verifica se os requisitos escritos foram cumpridos, sem avaliar se cada resposta estava factualmente correta. ### Perguntas para ler a pesquisa Como interpretar os resultados? As taxas registram como o Horizon operou nas configurações publicadas. Uma comparação de desempenho com outro runtime é uma pergunta de pesquisa própria: exige checkpoint, precisão, hardware, entradas e geração comparáveis. Quais dados explicam o cache? H2D é o volume transferido do computador para a GPU. O explorador apresenta o total registrado nas respostas medidas. Acertos, faltas e custo por falta exigem contadores e tempos próprios; esse volume sozinho não determina essas medidas. O que posso verificar nos downloads? Os extratos de desempenho permitem conferir integridade e consistência dos agregados. O pacote IFEval permite recalcular as quatro métricas a partir das 541 respostas originais. O bundle comportamental anterior permite recalcular as classificações dos 120 pares. Reproduzir o experimento completo exige também código, ambiente e observações brutas suficientes. O bloco de auditoria descreve o material compartilhado e a disponibilidade do código. [Consultar o material disponível →](https://horizonrunmap.com/pt#audit-data) Escopo preciso da contribuição ### A pergunta de engenharia Como coordenar a precisão de armazenamento, a precisão de execução, a residência e a movimentação de dados sem exigir que todos os parâmetros do modelo MoE ocupem a memória da GPU em formato expandido? Residência completa e offloading são regimes dessa arquitetura. As medições descrevem como o sistema opera em cada configuração registrada. ### O que este trabalho afirma - [Arquitetura implementada.](https://horizonrunmap.com/pt#regimes) Compressão seletiva, kernels próprios W4A16 e residência controlada de especialistas integrados em um runtime. - [Execução de especialistas compactos medida.](https://horizonrunmap.com/pt#evidence) Memória, transferências e tempos registrados nas configurações publicadas de OLMoE e Qwen. - [Residência parcial e completa medidas.](https://horizonrunmap.com/pt#residence) Configurações de operação registradas, com o executor de cada uma identificado. - [Comportamento sob compressão seletiva medido.](https://horizonrunmap.com/pt#boundaries) Seguimento de instruções do OLMoE 0924 no IFEval e conformidade das saídas em uma comparação separada com BF16. ### O que este trabalho não afirma - Ser o runtime MoE mais rápido. - Velocidade de geração no estado da arte. - Superioridade universal sobre llama.cpp, vLLM ou KTransformers. - Escalabilidade validada para modelos MoE de fronteira. Cada medição pertence ao modelo, à precisão, ao executor, ao hardware e à carga de trabalho informados. A contribuição é a arquitetura implementada e a evidência registrada para ela. O alcance desta campanha A campanha de desempenho reúne OLMoE 0924, OLMoE 0125 e Qwen. Cada configuração usa 12 entradas em três blocos, com respostas de 128 tokens. Verificações curtas e séries históricas usam condições diferentes e ficam separadas desta campanha. Cada conjunto de arquivos identifica suas condições de execução. Desconhecido (UNKNOWN) significa informação ausente ou não medida. Não suportado (UNSUPPORTED) significa que a plataforma ou dependência não oferece a observação. [Baixar guia de auditoria desta edição](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/audit-method-v1.md) Guia desta edição em inglês. 11 / Engenharia ## Quem construiu o sistema. Lucas Ribeiro concebeu e desenvolveu o Horizon de forma independente, sem investimento externo e com hardware limitado. O trabalho vai da pergunta de pesquisa à arquitetura, execução própria, runtime, testes, experimentos registrados, documentação e aplicativo público de avaliação. A trajetória começou na pesquisa do NeuronMap e evoluiu para um runtime próprio. O código reutilizado tem procedência registrada; os relatórios técnicos mostram as decisões de engenharia e as condições de cada medição. ### O trabalho de ponta a ponta - PesquisaFormulou o problema de memória e a pergunta experimental. - ArquiteturaDesenhou como representar, guardar, mover e executar as partes do modelo. - ExecuçãoConstruiu o runtime e as rotinas de cálculo para a placa de vídeo. - TestesValidou contratos e registrou desempenho e seguimento de instruções. - DocumentaçãoPublicou decisões, métodos, limites e arquivos para inspeção. - Aplicativo públicoCriou uma forma de preparar e acompanhar a avaliação em outro computador. Três decisões de engenharia e seus registros ### A memória é um orçamento Problema · Uma etapa ativa poucos especialistas, mas o conjunto de pesos precisa continuar acessível. Decisão de engenharia · Distinguir armazenamento, residência e execução; declarar a capacidade por camada e por perfil. Como interpretar · Essa decisão torna explícito quanto espaço cada configuração reserva para os especialistas. [Notas técnicas · contratos de backend ↓](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/horizon-technical-notes.md) ### Publicar apenas estado completo Problema · Substituir uma cópia em uso exige preservar a autoridade dos pesos e dos leitores do cache. Decisão de engenharia · Manter a origem em RAM imutável, preparar as novas cópias em posições temporárias da GPU e tornar o novo estado do cache visível de uma só vez, após a transferência. Como interpretar · Os cálculos recebem um conjunto completo de cópias prontas para uso, enquanto a origem em RAM permanece intacta. [Notas técnicas · ADR 0009 ↓](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/horizon-technical-notes.md) ### Separar as variáveis na leitura Problema · No OLMoE, c60 e c64 mudam residência e executor ao mesmo tempo. Decisão de engenharia · Manter os resultados disponíveis, separar o ponto Grouped T3 e explicitar o contrato ao lado da medição. Como interpretar · A leitura considera as duas mudanças em conjunto. As taxas dos três blocos mostram a variação registrada; isolar o efeito causal da residência requer outro desenho experimental. [Relatório da campanha selecionada ↓](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/residency-report.md) Esta é a apresentação da pesquisa: arquitetura, decisões técnicas e registros de execução do Horizon. Revisão técnica ### Analise o Horizon com IA. O resumo de revisão reúne arquitetura, medições, limites e trabalhos relacionados. O prompt orienta a reconstruir o sistema completo antes de avaliá-lo e a indicar quais fontes foram acessadas. [Índice da pesquisa (EN)](https://horizonrunmap.com/en/research)[Abrir resumo técnico (EN)](https://horizonrunmap.com/en/review)[Contexto para IA (.txt, EN)](https://horizonrunmap.com/ai-context.txt)[Pacote de revisão (.zip)](https://horizonrunmap.com/downloads/horizon-review-pack-v1.zip?rev=20260917-1) Para agentes: [llms.txt](https://horizonrunmap.com/llms.txt) · [claims.json](https://horizonrunmap.com/claims.json) · [architecture.json](https://horizonrunmap.com/architecture.json) 12 / Contato ## Converse com Lucas. Estou aberto a conversas sobre aplicações, pesquisa, parcerias e oportunidades profissionais. O LinkedIn é o contato direto; o GitHub complementa com um perfil técnico. ### Lucas Ribeiro Criador do Horizon RunMap · pesquisa independente Uma pessoa conectando pesquisa, engenharia e experimentação. Sou Lucas Ribeiro. Concebi e desenvolvo o Horizon individualmente, com recursos limitados e sem financiamento institucional. O projeto reúne meu trabalho de investigação, construção do runtime e análise dos experimentos. Quero levar essa capacidade de construir e investigar a desafios de sistemas de IA, em colaboração com pessoas e organizações que valorizem engenharia cuidadosa e iniciativa. [Vamos conversar no LinkedIn (abre em nova aba)](https://www.linkedin.com/in/oguilhermelucas/)[Ver perfil no GitHub (abre em nova aba)](https://github.com/guilhermecrlucas) ### Como auditar estes dados A edição de desempenho reúne extratos curados da campanha já realizada. Você pode conferir a integridade dos arquivos e a consistência entre cada extrato e o conjunto de agregados. Edição · `technical-preview-residency39-v3` - [Guia de auditoria (inglês) ↓](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/audit-method-v1.md) - [Inventário e SHA-256 ↓](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/manifest.json) - [Dados das 13 configurações ↓](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/residency-campaign.json) - [Relatório original (inglês) ↓](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/residency-report.md) - [Verificador offline (Node.js) ↓](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/verify-evidence-edition.mjs) - [Decisões técnicas e fontes (inglês) ↓](https://horizonrunmap.com/evidence/releases/technical-preview-residency39-v3/horizon-technical-notes.md) Executar a verificação no seu computador - Siga o guia para baixar o manifesto e seus 19 arquivos em uma pasta nova, mantendo os nomes. Há um comando PowerShell para baixar a edição completa. - Com Node.js 22.19.0, execute dentro dessa pasta: `node verify-evidence-edition.mjs --directory .` PASS confirma os hashes de 19 arquivos e a concordância das 13 cópias de agregados. O verificador usa apenas arquivos locais, sem instalar dependências ou executar modelos. A verificação cobre a integridade dos arquivos e a consistência dos agregados desta edição. A reprodução do experimento e o recálculo a partir de observações brutas exigem o material completo e um procedimento próprio. Os hashes conferem os arquivos contra o manifesto fornecido; a autenticação do publicador é uma verificação distinta. O código do runtime permanece privado por decisão do autor. Esta apresentação compartilha a arquitetura, as decisões de engenharia e os resultados documentados. Os downloads incluem extratos, relatório, notas técnicas e verificador. [Consultar a edição atual e os dois extratos históricos ↓](https://horizonrunmap.com/evidence/publication-index.json) #### IFEval · 541 prompts As 541 respostas originais, as notas por instrução e o avaliador congelado estão disponíveis em um pacote próprio. O verificador recalcula as quatro métricas em CPU. [Explorar o benchmark e a auditoria →](https://horizonrunmap.com/pt#ifeval-benchmark) [Índice IFEval e hashes ↓](https://horizonrunmap.com/evidence/ifeval-index.json) #### Comparação comportamental BF16 × Horizon As 240 respostas originais e a classificação dos 120 pares estão em um bundle próprio, com manifesto, relatório e verificador Python que recalcula a análise. [Abrir respostas e auditoria da comparação →](https://horizonrunmap.com/pt#behavioral-audit) [Índice da comparação e hashes ↓](https://horizonrunmap.com/evidence/behavioral-index.json) [Agent index](/llms.txt) · [Technical brief](/technical-brief.md)