Prévia Técnica
Pesquisa independente por Lucas RibeiroAlguns modelos têm muitas partes especializadas, mas acionam poucas a cada passo. Guardar todas na placa de vídeo exige muita memória.
O Horizon RunMap compacta essas partes, calcula sem manter cópias expandidas e controla o que fica na placa; a origem íntegra permanece na memória do computador.
Pesquisa, relatórios e fontes (em inglês)
01 / A ideia
A GPU faz os cálculos da IA. Sua memória, chamada VRAM, guarda os pesos — números aprendidos que orientam a resposta — e o espaço temporário do cálculo. Alguns modelos têm muitas partes especializadas, chamadas especialistas, embora acionem só algumas a cada passo.
Se os pesos não cabem em uma placa, mantê-los inteiramente nas GPUs exige mais capacidade. Outra opção é trazê-los da RAM do computador quando necessário, mas esse movimento também pode afetar o tempo de resposta. O exemplo abaixo mostra a conta de capacidade, antes de falar da solução.
Em modelos MoE, uma seleção de especialistas trabalha em cada token, enquanto o conjunto completo de parâmetros precisa ser armazenado. Compare a escala em BF16 com a representação publicada pelos projetos.
GLM-5.3744 bilhões de parâmetros totais · 40 bilhões ativos por token
16 bits · 2 bytes por parâmetro
Cenário calculado com reserva de 20%–30% da memória total e servidores completos. Contexto e carga de trabalho orientam o dimensionamento final.
FP8 · 8 bits
A receita do vLLM descreve pesos FP8 e KV cache FP8 para contexto de até 1 milhão de tokens. A concorrência é ajustada ao orçamento de memória.
FP8 é o checkpoint padrão; a Z.ai também publica uma versão BF16 separada.
A comparação considera os pesos integralmente na memória das GPUs, com divisão ideal entre dispositivos. Pesos ≈ parâmetros totais × bits ÷ 8. Cada B200 oferece 180 GB nominais; cada servidor reúne 8 GPUs, totalizando 1,44 TB. GB e TB usam unidades decimais.
Mínimo de GPUs = pesos ÷ 180 GB, arredondado para cima. Servidores com reserva = pesos ÷ (1,44 TB × 0,80) até pesos ÷ (1,44 TB × 0,70), sempre arredondados para cima. A reserva é uma premissa de planejamento escolhida para esta comparação.
As contas usam parâmetros publicados arredondados, em vez do tamanho real dos arquivos. Escalas, tensores em precisão mista, buffers, KV cache (memória do contexto) e organização do paralelismo compõem o orçamento de execução. Quantidade de GPUs e velocidade de resposta são dimensões distintas.
Para GLM-5.3, usamos os 744 bilhões totais e 40 bilhões ativos declarados pela Z.ai. A receita do vLLM descreve aproximadamente 743/39 bilhões; essa diferença mantém o mesmo arredondamento das GPUs nesta comparação.
Capacidade do sistema B200 · NVIDIA ↗Os modelos de fronteira mostram a escala do desafio de memória e de infraestrutura que motiva o Horizon RunMap. OLMoE e Qwen são os modelos usados para investigar armazenamento, transferência e execução no hardware disponível. A aplicação da arquitetura a escalas maiores exige validação própria; as taxas medidas abaixo pertencem à campanha identificada.
Ofertas registradas em 10/09/2026, por plataforma ou categoria de instância. A compra e o aluguel abaixo têm escopo próprio; uma implantação com vários servidores também depende da rede e dos serviços contratados.
USD 6,69–6,99 / GPU-hora
Estimativa de oferta publicada
1 GPU × USD 6.69 a 6.99/GPU-hora × 1 horaLambda (abre em nova aba)Fonte primária · Verificado em 10 de set. de 2026
USD 6,79 / GPU-hora
Estimativa de oferta publicada
1 Runpod Secure Cloud B200 × USD 6.79/GPU-hora × 1 horaRunpod (abre em nova aba)Fonte primária · Verificado em 10 de set. de 2026
USD 38.534,4
Hipótese
8 GPUs × USD 6.69/GPU-hora × 720 horas = USD 38534.40Lambda (abre em nova aba)Fonte primária · Verificado em 10 de set. de 2026
USD 390.000
Estimativa de oferta publicada
1 anunciada com oito GPUs HGX B200 plataforma × USD 390000/plataformaITCT Shop (abre em nova aba)Fonte primária · Verificado em 10 de set. de 2026
NVIDIA (abre em nova aba)Fonte primária · Verificado em 10 de set. de 2026
NVIDIA (abre em nova aba)Fonte primária · Verificado em 10 de set. de 2026
Lambda (abre em nova aba)Fonte primária · Verificado em 10 de set. de 2026
Runpod (abre em nova aba)Fonte primária · Verificado em 10 de set. de 2026
ITCT Shop (abre em nova aba)Fonte primária · Verificado em 10 de set. de 2026
Capacidade de GPU, compra de plataforma, aluguel, rede, eletricidade, refrigeração e operação são planos de custo separados. Não há orçamento completo, custo total de propriedade ou recomendação de compra.
02 / A solução
O Horizon compacta os especialistas roteados e mantém as outras partes do modelo fora dessa compactação. O roteador escolhe quais especialistas usar; kernels próprios calculam com seus pesos compactos e escalas.
A execução funciona com os especialistas residentes na GPU. Quando a memória é menor, o runtime também pode manter a origem quantizada na RAM e trazer as cópias necessárias. O comparativo abaixo mostra a diferença de capacidade para o mesmo modelo.
As partes não roteadas seguem fora da compactação; os especialistas, usados seletivamente, recebem uma representação menor.
Pesos e escalas dos especialistas ficam em formatos distintos: pesos compactos e escalas FP16.
O roteador escolhe os especialistas; o kernel próprio combina seus pesos e escalas com as ativações FP16.
Com espaço, os especialistas ficam na GPU. Se necessário, o runtime mantém a origem quantizada na RAM e traz cópias sob demanda.
Ler os contratos técnicos e as decisões de engenharia (em inglês) →
03 / Arquitetura
O modelo combina partes não roteadas executadas em FP16 com especialistas de pesos compactos e escalas FP16. O roteador seleciona os especialistas de cada etapa; o kernel próprio usa suas ativações e devolve o resultado ao restante do modelo.
A execução principal
Nas configurações medidas, a compactação é seletiva. Ela reduz os especialistas roteados, enquanto os pesos das outras partes seguem no caminho FP16.
Atenção, embeddings e outros componentes não entram na compactação dos especialistas.
Os pesos ficam compactos na GPU. As escalas indicam como interpretar esses valores durante o cálculo.
O roteador escolhe quais especialistas trabalham neste pedaço da resposta.
O kernel próprio lê pesos compactos e escalas, usa as ativações FP16 e devolve o resultado ao restante do modelo. Não mantém um especialista inteiro expandido na GPU.
Quando os pesos e o espaço de execução cabem na GPU, todos os especialistas compactos podem ficar residentes. O kernel trabalha sem buscar especialistas durante a resposta.
No fluxo de residência parcial apresentado, a origem dos especialistas na RAM permanece completa e imutável. Uma cópia passa por uma área limitada de memória fixada (pinned staging) no computador, antes da transferência para a GPU. A remoção descarta a cópia na GPU, sem transferência de volta ou regravação na origem.
Residência não é ativação: o cache pode manter especialistas que não estão sendo usados nesta etapa. O diagrama explica a organização; a campanha abaixo mede residência parcial e completa, preservando as diferenças entre executores.
Contrato do cache opcional · resident-qpacked-cache-v1 · ADR 0009. Escopo original: P0 Qwen experimental, desativado por padrão. Os executores medidos abaixo são descritos em seus contratos específicos.
O conjunto qpacked completo permanece na RAM do processo, com identidade e layout validados.
Uma área pinned temporária prepara a transferência. Ela só pode ser reutilizada após a conclusão.
A linha qpacked chega a uma posição temporária da GPU; os leitores continuam vendo a geração anterior.
Após a conclusão do grupo roteado, uma transição publica a nova geração completa do cache.
Leitores usam uma geração válida. A cópia removida só é reutilizada após a aposentadoria de seus consumidores; a origem não é reescrita.
Capacidade é fixada antes das requisições. Se staging ou spares forem insuficientes, a inicialização rejeita o perfil; falhas anteriores à publicação preservam a geração anterior.
Perfis anteriores têm outro contrato: offload-qpacked materializa slots de execução FP16/BF16 a partir de uma fonte quantizada. No cache qpacked descrito aqui, os experts permanecem compactos. O kernel converte os valores necessários durante o cálculo, sem manter o expert inteiro expandido em um slot. Essa conversão não recupera informação perdida na quantização.
Ler decisões, fontes e limites (inglês) ↓04 / Resultados
Os números de execução, memória e velocidade abaixo vêm de uma campanha publicada em uma RTX 5070, com configurações de OLMoE e Qwen. Cada resultado identifica o modelo, o executor e as condições da medição.
O mesmo princípio foi medido com todas as cópias especializadas na placa e com apenas parte delas na placa.
Os cartões mostram modelos e caminhos de cálculo distintos. Leia cada taxa com seu próprio modelo, memória e configuração; elas não são uma comparação direta entre os modelos.Residência completa
As partes compactas permaneceram na placa de vídeo durante a geração.
Caminho de cálculo: especialistas compactos calculados em grupos
64/64 especialistas por camada · Grouped T3
61,26 tokens/s
Decode após o primeiro token
Pico de memória da placa inteira · 5,99 GiB
Inspecionar este resultadoResidência completa
As partes compactas permaneceram na placa de vídeo durante a geração.
Caminho de cálculo: especialistas compactos calculados em grupos
64/64 especialistas por camada · Grouped T3
62,07 tokens/s
Decode após o primeiro token
Pico de memória da placa inteira · 6,01 GiB
Inspecionar este resultadoResidência parcial
Parte das cópias ficou na placa de vídeo, com outras partes trazidas quando necessárias.
Caminho de cálculo: especialistas compactos calculados em conjunto
39/60 especialistas por camada · top4-fused-v1
19,95 tokens/s
Decode após o primeiro token
Pico de memória da placa inteira · 8,99 GiB
Inspecionar este resultadoMaior residência medida em cada modelo · RTX 5070 · 36 respostas de 128 tokens por configuração. OLMoE e Qwen usam executores distintos; cada cartão descreve sua própria execução.
468
respostas medidas · volume da campanha
Medição pública sob contrato · Reprodução independente não realizada
36 respostas de 128 tokens por configuração · 12 entradas × 3 blocos · 39 warmups excluídos das taxas.
Decode divide a soma dos tokens após o primeiro pela soma dos tempos internos de geração. É uma taxa agregada, ponderada pelo tempo. A espera pelo primeiro token e a duração da resposta são médias por requisição, com limites internos específicos de cada executor.
Amplitude relativa observada entre os blocos: 0,27%–4,78%. É variação observada, não intervalo de confiança. Temperatura máxima registrada: 58 °C.
A consolidação registrou sequências de tokens iguais entre repetições da mesma configuração. Essa observação descreve consistência dentro de cada configuração; a avaliação de qualidade e a comparação de saídas entre configurações têm escopos próprios. O tempo das demais etapas é calculado por diferença na duração do controlador.
Tokens são pequenos pedaços de texto; nem sempre palavras inteiras.
05 / Memória e movimento
Manter mais partes na placa de vídeo ocupa memória e pode reduzir transferências. As configurações registradas mostram como memória, movimentação e tempos de resposta mudaram juntos. Cada resultado identifica seu caminho de cálculo.
36 respostas por configuração · 128 tokens por resposta · 3 blocos
Hardware · NVIDIA GeForce RTX 5070, conforme o registro da campanha; computador Windows compartilhado.
Decode após o primeiro token · tokens/s
Taxa agregada: Σ(tokens − 1) / Σ(tempo interno de decode). Exclui a espera pelo primeiro token; não é média das taxas individuais.
Medições após aquecimento, com entradas fixas. Escopo da pesquisa
Especialistas residentes por camada · medições discretas, sem interpolação ou comparação entre modelos.
A tabela contém todas as configurações. Em telas estreitas, role a tabela para os lados.
| Modelo / executor | Experts residentes por camada | Decode agregado após o primeiro token (tokens/s) | TTFT interno — média (s) | Resposta interna, 128 tokens — média (s) | Pico VRAM¹ (GiB) | Fonte |
|---|---|---|---|---|---|---|
| OLMoE 0924PRODUCT-core scalar | 30/64 | 23,00 | 6,17 | 11,69 | 4,11 | JSON |
| OLMoE 0924PRODUCT-core scalar | 40/64 | 27,69 | 4,49 | 9,07 | 4,62 | JSON |
| OLMoE 0924PRODUCT-core scalar | 50/64 | 31,50 | 3,62 | 7,65 | 5,15 | JSON |
| OLMoE 0924PRODUCT-core scalar | 60/64 | 35,01 | 3,00 | 6,63 | 5,67 | JSON |
| OLMoE 0924Grouped T3 | 64/64 | 61,26 | 0,75 | 2,82 | 5,99 | JSON |
| OLMoE 0125PRODUCT-core scalar | 30/64 | 23,04 | 6,07 | 11,58 | 4,15 | JSON |
| OLMoE 0125PRODUCT-core scalar | 40/64 | 27,12 | 4,53 | 9,21 | 4,62 | JSON |
| OLMoE 0125PRODUCT-core scalar | 50/64 | 31,22 | 3,59 | 7,66 | 5,15 | JSON |
| OLMoE 0125PRODUCT-core scalar | 60/64 | 35,44 | 2,97 | 6,55 | 5,67 | JSON |
| OLMoE 0125Grouped T3 | 64/64 | 62,07 | 0,70 | 2,74 | 6,01 | JSON |
| Qwentop4-fused-v1 | 20/60 | 15,22 | 9,42 | 17,76 | 7,11 | JSON |
| Qwentop4-fused-v1 | 30/60 | 17,17 | 7,51 | 14,90 | 8,08 | JSON |
| Qwentop4-fused-v1 | 39/60 | 19,95 | 5,80 | 12,17 | 8,99 | JSON |
¹ VRAM observada pelo driver durante o worker inteiro, incluindo preparação, warmup e uso compartilhado pelo desktop. Não é VRAM exclusiva do processo ou apenas do decode.
allenai/OLMoE-1B-7B-0924-Instruct7f1c97f440f06ce36705e4f2b843edb5925f4498artifacts/residency-executors-39-20260911-01/consolidation-01/summary.jsonExtrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria.
allenai/OLMoE-1B-7B-0924-Instruct7f1c97f440f06ce36705e4f2b843edb5925f4498artifacts/residency-executors-39-20260911-01/consolidation-01/summary.jsonExtrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria.
allenai/OLMoE-1B-7B-0924-Instruct7f1c97f440f06ce36705e4f2b843edb5925f4498artifacts/residency-executors-39-20260911-01/consolidation-01/summary.jsonExtrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria.
allenai/OLMoE-1B-7B-0924-Instruct7f1c97f440f06ce36705e4f2b843edb5925f4498artifacts/residency-executors-39-20260911-01/consolidation-01/summary.jsonExtrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria.
allenai/OLMoE-1B-7B-0924-Instruct7f1c97f440f06ce36705e4f2b843edb5925f4498artifacts/residency-executors-39-20260911-01/consolidation-01/summary.jsonExtrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria.
allenai/OLMoE-1B-7B-0125-Instructb89a7c4bc24fb9e55ce2543c9458ce0ca5c4650eartifacts/residency-executors-39-20260911-01/consolidation-01/summary.jsonExtrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria.
allenai/OLMoE-1B-7B-0125-Instructb89a7c4bc24fb9e55ce2543c9458ce0ca5c4650eartifacts/residency-executors-39-20260911-01/consolidation-01/summary.jsonExtrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria.
allenai/OLMoE-1B-7B-0125-Instructb89a7c4bc24fb9e55ce2543c9458ce0ca5c4650eartifacts/residency-executors-39-20260911-01/consolidation-01/summary.jsonExtrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria.
allenai/OLMoE-1B-7B-0125-Instructb89a7c4bc24fb9e55ce2543c9458ce0ca5c4650eartifacts/residency-executors-39-20260911-01/consolidation-01/summary.jsonExtrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria.
allenai/OLMoE-1B-7B-0125-Instructb89a7c4bc24fb9e55ce2543c9458ce0ca5c4650eartifacts/residency-executors-39-20260911-01/consolidation-01/summary.jsonExtrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria.
Qwen/Qwen1.5-MoE-A2.7B-Chatec052fda178e241c7c443468d2fa1db6618996beartifacts/residency-executors-39-20260911-01/consolidation-01/summary.jsonExtrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria.
Qwen/Qwen1.5-MoE-A2.7B-Chatec052fda178e241c7c443468d2fa1db6618996beartifacts/residency-executors-39-20260911-01/consolidation-01/summary.jsonExtrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria.
Qwen/Qwen1.5-MoE-A2.7B-Chatec052fda178e241c7c443468d2fa1db6618996beartifacts/residency-executors-39-20260911-01/consolidation-01/summary.jsonExtrato da campanha com identificadores e textos originais em inglês. O pacote completo e as observações brutas têm disponibilidade própria.
06 / Acompanhe uma resposta
Uma resposta é construída em pequenos pedaços de texto. O modelo escolhe partes a cada etapa, e o Horizon coordena onde elas ficam e como são usadas.
Da entrada à resposta: acompanhe como o trabalho se organiza. O diagrama seguinte mostra o que acontece com as cópias dos especialistas. Ver acerto, falta e descarte
O texto é dividido em tokens e processado pelo modelo.
O roteamento escolhe especialistas em cada camada roteada.
Se a cópia está na GPU, ela pode ser usada. Se falta, vem da RAM pela área de transferência.
Os cálculos das camadas contribuem para a próxima saída. O processo se repete.
07 / De volta à oficina
Agora a oficina ajuda a visualizar o mecanismo: a GPU é a bancada, a RAM é o armazém e os especialistas são ferramentas. Uma cópia pode estar pronta, precisar ser trazida ou abrir espaço para outra; a origem continua intacta.
A GPU faz os cálculos. A VRAM é o espaço de memória que ela usa.
A RAM guarda a cópia completa e imutável dos especialistas.
Especialistas são partes do modelo. Cada etapa usa alguns deles.
Imagine uma oficina: a bancada tem espaço limitado e as ferramentas ficam no armazém. Aqui, cada ferramenta representa um conjunto de cálculos do modelo.
Em todas as situações, os especialistas compactos continuam guardados na RAM. Essa é a origem imutável.
Acerto
RAMOrigem intactaGPUCópia disponívelO especialista solicitado já tem uma cópia pronta na bancada. O cálculo usa essa cópia.
A origem fica intacta; essa consulta dispensa uma nova transferência do especialista.
Falta
RAMOrigem intactaGPUCópia recebidaA cópia solicitada vem da RAM pela área de transferência. Ela fica disponível para uso quando a transferência termina e o novo estado completo do cache é publicado.
A origem permanece pronta na RAM, inclusive depois da transferência.
Descarte
RAMOrigem intactaGPUCópia liberadaQuando pode ser liberada com segurança, a cópia sai da bancada. A posição só é reutilizada depois que os cálculos que usam essa cópia terminam.
A origem segue pronta para uma próxima cópia; os pesos não precisam voltar à CPU.
08 / Comportamento do modelo
Para ocupar menos memória de vídeo, o Horizon mantém os pesos dos especialistas compactos e usa rotinas próprias para calcular com eles. As outras partes do modelo seguem um caminho de maior precisão. Essa mudança pode afetar as respostas; por isso, testamos se o modelo continua seguindo instruções.
Na arquitetura qpacked medida, os pesos dos especialistas roteados ficam compactos em INT4 na RAM e na GPU. Os kernels usam ativações FP16. Os demais componentes ficam fora dessa quantização INT4.
O formato guardado, o formato usado no cálculo e a precisão da soma são decisões diferentes. Os pesos compactos são convertidos dentro do kernel quando necessários; o especialista inteiro não ocupa um slot permanente expandido.
01 / Guardar
INT4
Os pesos dos especialistas escolhidos pelo roteamento ficam compactos na RAM e na GPU. Atenção, embeddings e os demais componentes ficam fora dessa quantização.
Pesos dos experts: INT4 · escalas: FP16
Entender os formatos →02 / Calcular
W4A16
Kernels são as rotinas de cálculo na GPU. Os do Horizon usam os pesos compactos e convertem os valores necessários durante a operação, sem manter um especialista inteiro expandido.
Pesos compactos → kernel próprio + ativações FP16 → saída
Conhecer o caminho do cálculo →03 / Organizar
RAM → GPU
A RAM conserva a origem completa. A GPU usa cópias de todos os especialistas ou de uma parte, conforme o espaço reservado. A origem segue pronta depois do descarte.
Origem imutável · cópias descartáveis na GPU
Ver acerto, falta e descarte →W4: pesos dos experts roteados em INT4, com escalas FP16. O cache da GPU conserva esse formato compacto.
A16: ativações FP16. Os kernels convertem pesos durante o cálculo e têm etapas de acumulação FP32 e arredondamentos explícitos. W4A16 não descreve sozinho toda a aritmética.
Atenção, embeddings, roteamento e demais componentes ficam fora do INT4. Na campanha, os pesos não roteados são materializados em FP16 a partir do checkpoint BF16.
O IFEval apresenta pedidos escritos à IA, como incluir uma palavra obrigatória ou usar determinado formato, e confere cada resposta. Essa execução publicada concluiu os 541 pedidos; assim podemos ver com que frequência o modelo cumpriu todas as instruções de cada pedido.
247 das 541 respostas cumpriram todas as instruções na avaliação loose.
Nota da execução publicada com OLMoE, distinta daquela no outro computador com RTX 4060.
Os 541 pedidos foram concluídos, e cada resposta pode ser consultada. A pontuação mostra com que frequência esta configuração cumpriu os requisitos escritos neste teste.
| Avaliação | Aprovados / avaliados | Acerto |
|---|---|---|
| Prompts · strict | 217/541 | 40,11% |
| Prompts · loose | 247/541 | 45,66% |
| Instruções · strict | 433/834 | 51,92% |
| Instruções · loose | 474/834 | 56,83% |
O IFEval verifica requisitos como palavras obrigatórias, quantidade de seções e formatação. Um prompt passa quando todas as suas instruções passam. As notas por instrução contam cada requisito separadamente. Strict verifica a resposta diretamente; loose aplica ajustes de apresentação predefinidos.
Os 45,66% do Horizon ficam numericamente entre dois valores IFEval publicados para o OLMoE 0924: 45,29 e 48,1. É uma referência encorajadora para a configuração com experts compactados.
Referências externas, avaliadas sob contratos distintos. A tabela posterior não especifica a variante do IFEval; esses valores contextualizam o resultado, sem constituir uma comparação pareada com BF16.
OLMoE-1B-7B-0924-Instruct · 64/64 experts por camada · Grouped T3 · fontes INT4 dos experts / ativações FP16. Geração determinística, sem truncar a entrada, com até 1.280 novos tokens por prompt. Todos os 541 prompts entram nas notas.
467/541 respostas encerraram naturalmente por EOS; 74/541 atingiram o limite de tokens. Os 11 blocos de execução foram concluídos, com zero fallback, faltas/preenchimentos de cache ou transferências H2D de experts registrados por requisição.
O benchmark mede seguimento de instruções. A correção factual e a equivalência de qualidade a uma execução BF16 pareada são perguntas de avaliação próprias.
E1 · benchmark independente · verificado e publicado sob seu contrato. Reprodução independente da geração: não realizada.
Revision · 7f1c97f440f06ce36705e4f2b843edb5925f4498
O pacote reúne as respostas originais, os prompts, as notas por instrução, as fontes congeladas do avaliador, as licenças e um verificador em CPU. Com as dependências Python fixadas já instaladas, o verificador recalcula as quatro notas offline, sem modelo ou GPU.
SHA-256 · 9dcdb178a5469ca57c74c1e72ed2956cc94539b16607fdee7771b3b5442c8ed2Um estudo anterior apresentou os mesmos 120 pedidos ao Horizon e ao modelo original BF16. Ele verificou se cada resposta respeitou a estrutura solicitada e terminou normalmente.
Conformidade aqui significa uma resposta concluída, não vazia, contendo um único objeto JSON estrito e encerrada naturalmente por EOS. A medida avalia o formato solicitado e o encerramento; a correção do conteúdo não recebeu nota.
Este estudo é separado do IFEval e da campanha de desempenho.
As 8 perdas representam 8/29 dos casos em que o BF16 foi conforme (8/120 do total). As oito respostas do Horizon falham na leitura como JSON estrito; três também atingiram o limite de tokens. São regressões de formato ou encerramento, sem julgamento da correção do conteúdo.
Uma falha compartilhada não é uma regressão atribuída ao Horizon. Das 86 divergências sem direção de qualidade determinada, 82 falham na conformidade nos dois lados e 4 são conformes nos dois, com valores JSON diferentes. Uma diferença de texto ou conteúdo, sozinha, não estabelece pior qualidade.
| Classificação | Pares / 120 |
|---|---|
| Tokens de saída idênticos | 16 |
| Ganho de conformidade no Horizon | 7 |
| Perda de conformidade no Horizon | 8 |
| Saídas diferentes; nenhum conforme | 82 |
| Valores JSON diferentes; ambos conformes | 4 |
| Valores JSON equivalentes | 3 |
19/120 pares têm paridade observável: 16 sequências de tokens idênticas e 3 com valores JSON equivalentes pela tolerância numérica congelada. A paridade, sozinha, não estabelece correção.
120/120 solicitações concluídas em cada execução. Os 120 registros do Horizon mostram zero fallback, faltas/preenchimentos de cache e transferências de experts para a GPU.
| Observação | BF16 | Horizon |
|---|---|---|
| EOS natural | 59 | 54 |
| Limite de 128 tokens atingido | 61 | 66 |
| Respostas vazias | 0 | 0 |
OLMoE-1B-7B-0924-Instruct, mesma ordem de prompts e hashes de entrada do tokenizer, decodificação greedy e até 128 tokens novos. Horizon: c64, todos os experts residentes, Grouped T3, fontes de experts INT4 e ativações FP16. Referência: valores originais do checkpoint BF16 via Transformers/Accelerate, com a distribuição CPU/GPU registrada.
Esta comparação E3 descreve este modelo, conjunto de prompts e configuração. A campanha de desempenho acima é um experimento separado. Correção do conteúdo, respostas mais longas e preservação geral de qualidade exigem avaliação própria.
Revision · 7f1c97f440f06ce36705e4f2b843edb5925f4498
Conferir os 120 pares e o material de auditoria →
Extraia o ZIP, confira os arquivos Python e execute: python -B verify-bundle.py . — Python 3.10+, sem pacotes, GPU ou modelo. O verificador confere os hashes das respostas originais e recalcula as 120 classificações pareadas e o resumo.
A publicação original falhou porque o sanitizer interpretou incorretamente caracteres de escape do JSON. Esta edição sucessora corrige o pós-processamento em CPU, com a classificação inalterada e as 240 gerações originais preservadas. A validação das gerações e a verificação deste bundle passaram. Nenhuma geração foi repetida; ainda não houve reprodução independente.
Origem e hashes dos artefatos ↓olmoe-0924-fidelity-v2 · E3 · SHA-256
8105c554260e54974990560cfeca65b9302e9c7480663dad2a0bf1d8c8a939b209 / Aplicações
Para organizações e pessoas, o potencial é executar modelos de IA localmente, no próprio computador ou infraestrutura. Perguntas, documentos e respostas podem permanecer no ambiente de quem usa o sistema, sem passar por um serviço externo de inferência.
Ao reduzir a memória exigida pelos especialistas, o Horizon pode viabilizar uma configuração menor para a mesma aplicação. Se ela atender às necessidades de velocidade e qualidade, compra, aluguel e custo total de infraestrutura podem diminuir. Esse ganho precisa ser avaliado para cada modelo e carga de trabalho.
Dados sob controle
Uma organização pode trabalhar com documentos internos em infraestrutura própria; uma pessoa, com arquivos no próprio computador. A inferência local permite manter pedidos e respostas nesse ambiente, com acesso e armazenamento definidos por quem o opera.
Conversar sobre aplicações locais →Infraestrutura sob medida
Especialistas compactos podem permitir usar placas já disponíveis ou alugar uma configuração menor. Memória, velocidade, RAM e operação entram na comparação para saber se a infraestrutura realmente custa menos para aquele modelo e aquela carga.
Ver memória e velocidade medidas →Para examinar uma execução completa, o aplicativo público oferece o IFEval nas configurações validadas. Conhecer o aplicativo →
10 / Próximas perguntas
O Horizon demonstrou sua arquitetura em configurações medidas e numa avaliação completa de seguir instruções. Próximos testes úteis incluem mais hardware e modelos, solicitações longas, uso simultâneo e o custo total de operação.
Os resultados conservam seus contratos exatos de modelo, precisão, executor, hardware e carga de trabalho. O estudo anterior com BF16 mede formato e término separadamente; correção factual, equivalência de qualidade pareada e operação em produção exigem avaliações próprias.
A correção do conteúdo não recebeu nota. O teste de instruções verifica se os requisitos escritos foram cumpridos, sem avaliar se cada resposta estava factualmente correta.
As taxas registram como o Horizon operou nas configurações publicadas. Uma comparação de desempenho com outro runtime é uma pergunta de pesquisa própria: exige checkpoint, precisão, hardware, entradas e geração comparáveis.
H2D é o volume transferido do computador para a GPU. O explorador apresenta o total registrado nas respostas medidas. Acertos, faltas e custo por falta exigem contadores e tempos próprios; esse volume sozinho não determina essas medidas.
Os extratos de desempenho permitem conferir integridade e consistência dos agregados. O pacote IFEval permite recalcular as quatro métricas a partir das 541 respostas originais. O bundle comportamental anterior permite recalcular as classificações dos 120 pares. Reproduzir o experimento completo exige também código, ambiente e observações brutas suficientes. O bloco de auditoria descreve o material compartilhado e a disponibilidade do código.
Como coordenar a precisão de armazenamento, a precisão de execução, a residência e a movimentação de dados sem exigir que todos os parâmetros do modelo MoE ocupem a memória da GPU em formato expandido?
Residência completa e offloading são regimes dessa arquitetura. As medições descrevem como o sistema opera em cada configuração registrada.
Compressão seletiva, kernels próprios W4A16 e residência controlada de especialistas integrados em um runtime.
Memória, transferências e tempos registrados nas configurações publicadas de OLMoE e Qwen.
Configurações de operação registradas, com o executor de cada uma identificado.
Seguimento de instruções do OLMoE 0924 no IFEval e conformidade das saídas em uma comparação separada com BF16.
Cada medição pertence ao modelo, à precisão, ao executor, ao hardware e à carga de trabalho informados. A contribuição é a arquitetura implementada e a evidência registrada para ela.
A campanha de desempenho reúne OLMoE 0924, OLMoE 0125 e Qwen. Cada configuração usa 12 entradas em três blocos, com respostas de 128 tokens.
Verificações curtas e séries históricas usam condições diferentes e ficam separadas desta campanha. Cada conjunto de arquivos identifica suas condições de execução.
Desconhecido (UNKNOWN) significa informação ausente ou não medida. Não suportado (UNSUPPORTED) significa que a plataforma ou dependência não oferece a observação.
Baixar guia de auditoria desta ediçãoGuia desta edição em inglês.
11 / Engenharia
Lucas Ribeiro concebeu e desenvolveu o Horizon de forma independente, sem investimento externo e com hardware limitado. O trabalho vai da pergunta de pesquisa à arquitetura, execução própria, runtime, testes, experimentos registrados, documentação e aplicativo público de avaliação.
A trajetória começou na pesquisa do NeuronMap e evoluiu para um runtime próprio. O código reutilizado tem procedência registrada; os relatórios técnicos mostram as decisões de engenharia e as condições de cada medição.
Problema · Uma etapa ativa poucos especialistas, mas o conjunto de pesos precisa continuar acessível.
Decisão de engenharia · Distinguir armazenamento, residência e execução; declarar a capacidade por camada e por perfil.
Como interpretar · Essa decisão torna explícito quanto espaço cada configuração reserva para os especialistas.
Notas técnicas · contratos de backend ↓Problema · Substituir uma cópia em uso exige preservar a autoridade dos pesos e dos leitores do cache.
Decisão de engenharia · Manter a origem em RAM imutável, preparar as novas cópias em posições temporárias da GPU e tornar o novo estado do cache visível de uma só vez, após a transferência.
Como interpretar · Os cálculos recebem um conjunto completo de cópias prontas para uso, enquanto a origem em RAM permanece intacta.
Notas técnicas · ADR 0009 ↓Problema · No OLMoE, c60 e c64 mudam residência e executor ao mesmo tempo.
Decisão de engenharia · Manter os resultados disponíveis, separar o ponto Grouped T3 e explicitar o contrato ao lado da medição.
Como interpretar · A leitura considera as duas mudanças em conjunto. As taxas dos três blocos mostram a variação registrada; isolar o efeito causal da residência requer outro desenho experimental.
Relatório da campanha selecionada ↓Esta é a apresentação da pesquisa: arquitetura, decisões técnicas e registros de execução do Horizon.
Revisão técnica
O resumo de revisão reúne arquitetura, medições, limites e trabalhos relacionados. O prompt orienta a reconstruir o sistema completo antes de avaliá-lo e a indicar quais fontes foram acessadas.
Para agentes: llms.txt · claims.json · architecture.json
12 / Contato
Estou aberto a conversas sobre aplicações, pesquisa, parcerias e oportunidades profissionais. O LinkedIn é o contato direto; o GitHub complementa com um perfil técnico.
A edição de desempenho reúne extratos curados da campanha já realizada. Você pode conferir a integridade dos arquivos e a consistência entre cada extrato e o conjunto de agregados.
Edição · technical-preview-residency39-v3
node verify-evidence-edition.mjs --directory .PASS confirma os hashes de 19 arquivos e a concordância das 13 cópias de agregados. O verificador usa apenas arquivos locais, sem instalar dependências ou executar modelos.
A verificação cobre a integridade dos arquivos e a consistência dos agregados desta edição. A reprodução do experimento e o recálculo a partir de observações brutas exigem o material completo e um procedimento próprio. Os hashes conferem os arquivos contra o manifesto fornecido; a autenticação do publicador é uma verificação distinta.
O código do runtime permanece privado por decisão do autor. Esta apresentação compartilha a arquitetura, as decisões de engenharia e os resultados documentados. Os downloads incluem extratos, relatório, notas técnicas e verificador.
Consultar a edição atual e os dois extratos históricos ↓As 541 respostas originais, as notas por instrução e o avaliador congelado estão disponíveis em um pacote próprio. O verificador recalcula as quatro métricas em CPU.
Explorar o benchmark e a auditoria →As 240 respostas originais e a classificação dos 120 pares estão em um bundle próprio, com manifesto, relatório e verificador Python que recalcula a análise.
Abrir respostas e auditoria da comparação →