Arquivo de uma empresa real
Em maio de 2026, a empresa de software Onyx publicou no arXiv um conjunto de dados incomum: pouco mais de meio milhão de documentos de uma empresa que não existe. Mensagens internas, e-mails, registros de CRM, transcrições de reunião, chamados de suporte, páginas de wiki. Junto vieram 500 perguntas que um funcionário faria num dia normal de trabalho e um programa que confere, resposta por resposta, se o sistema avaliado acertou.
O nome é EnterpriseRAG-Bench. Dois detalhes me fizeram olhar duas vezes. O primeiro: a Onyx vende um produto do mesmo tipo e escreve, no próprio repositório, que se exclui do placar para evitar conflito de interesse. O segundo: quem quiser entrar precisa provar que o resultado é reproduzível — quem tem código aberto entrega o passo a passo, quem é fechado entrega acesso ao sistema no ar para que a Onyx refaça as perguntas por conta própria.
Em agosto submetemos nossa busca em documentos ao EnterpriseRAG-Bench. O resultado foi 71,93 pontos, acima das configurações avaliadas de OpenAI File Search (61,03), Amazon Q (48,96), Azure AI Search (48,42), Vertex AI Search (41,87) e NVIDIA AI Blueprints (37,73). A Skyller entrou em 2º lugar em 12 de agosto de 2026 e aparecia em 4º entre 22 sistemas na consulta de 6 de setembro, com a mesma nota. A comparação vale para as configurações e o acervo do teste; não classifica todos os produtos do mercado.
O que um teste desses realmente faz
A tentação, quando alguém fala em avaliar inteligência artificial, é imaginar prova de vestibular: matemática, lógica, redação. Não é nada disso. O acervo é montado para parecer uma empresa de verdade, com todos os defeitos: arquivos guardados no lugar errado, versões antigas convivendo com as novas, quase-duplicatas espalhadas por sistemas diferentes e documentos que se contradizem abertamente.
As 500 perguntas estão separadas em dez tipos. Tem a pergunta fácil, com resposta num único documento. Tem a pergunta que ninguém escreveria com as mesmas palavras do arquivo. Tem a que exige juntar pedaços distantes de um documento longo. Tem a que só se responde reunindo tudo o que existe sobre um projeto. E tem um grupo de vinte perguntas cuja resposta simplesmente não está no acervo — a assistente precisa dizer que não encontrou, em vez de inventar algo plausível.
Esse último grupo é o que eu mais valorizo, e é o mais raro de ver medido. Toda empresa que já colocou IA para responder sobre documento interno conhece o problema: a resposta bonita, bem escrita, confiante — e errada. Um teste que pontua o "não está aqui" está medindo confiabilidade, não eloquência.
O programa que corrige não é do fornecedor avaliado. Ele compara a resposta com uma resposta esperada e com uma lista de fatos que precisam aparecer. Depois olha os documentos que o sistema trouxe e decide, por votação entre três avaliações independentes, quais eram realmente necessários.
Por que quase todo número de qualidade não serve
Reunião conferindo um número
No mercado de software corporativo, número de qualidade costuma nascer dentro da casa de quem vende. O fornecedor escolhe o conjunto de perguntas, escolhe o critério de acerto, roda no próprio ambiente e publica o resultado num material comercial. Não há como o cliente verificar nada — e, sendo honesto, não há como o fornecedor provar que não escolheu o teste em que ia bem.
Já vi comparativos em que o concorrente foi configurado por quem estava comparando. Já vi percentual de precisão sem denominador: precisão em quantas perguntas, feitas por quem, sobre qual acervo. E vi muito número sem data, o que é uma forma elegante de nunca ficar desatualizado.
O teste da Onyx resolve isso de um jeito simples: publica tudo. O acervo, as perguntas, as respostas esperadas, o programa de correção e o placar com o histórico. Quem duvida do nosso resultado pode baixar o material e refazer a conta. Quem duvida do resultado de um concorrente, também.
O que precisa existir na prática
Se você está avaliando ferramentas de IA para a sua empresa, esses são os mecanismos que separam evidência de propaganda. Nenhum deles depende de vocabulário técnico.
Um conjunto de dados público. Se o teste roda sobre documentos que só o fornecedor tem, o resultado não é verificável. Pergunte onde estão os dados e quem mais pode usá-los.
Um corretor que não pertence a quem está sendo avaliado. O programa que decide se a resposta está certa precisa ser o mesmo para todos os participantes, e de preferência escrito por um terceiro.
Reprodutibilidade exigida na entrada. Um placar sério não aceita um arquivo de respostas e confia. Ele pede o caminho para refazer o teste — no código, se for aberto; no sistema no ar, se for fechado.
Data ao lado do número. Placar é um retrato de um dia. A posição de agosto não vale em dezembro, e quem repete a posição antiga sem a data está, na prática, informando algo falso.
A nota inteira, não o recorte bom. Média geral esconde o que importa. O resultado por tipo de pergunta mostra onde a ferramenta é forte e onde ela vai deixar o seu time na mão.
O teste rodando no produto que você vai usar. Existe uma distância enorme entre um resultado de laboratório e o comportamento do produto no ar. Nossa submissão passou pelos mesmos endereços públicos que os clientes usam todo dia. A Onyx não se contentou com o arquivo: mandou 80 perguntas que nunca tínhamos visto e conferiu as respostas antes de publicar.
O que o resultado mostrou
Procurando o arquivo certo
Nos vinte casos em que a informação não existia no acervo, acertamos os vinte: a resposta esperada era dizer que não encontramos. Esse resultado é restrito à categoria avaliada e não garante ausência de erros em outras perguntas. Nas perguntas que exigem juntar trechos distantes de um documento longo, a nota foi 83,33; em documentos informais e mal organizados, 85,00.
Há dois tipos em que ainda temos espaço para crescer: reunir todos os documentos relevantes sobre um assunto sem deixar nenhum de fora (32,08) e agregar documentos de um projeto inteiro (50,89). São as frentes em que a equipe está trabalhando desde a publicação.
Esses dois números estão publicados no mesmo arquivo que os demais resultados. O registro permite conferir os pontos fortes e as limitações da configuração avaliada. Novas versões e outros ambientes precisam de nova medição; o resultado desta submissão permanece como evidência datada.
Uma última observação sobre leitura de placar. Nossa nota não mudou um décimo entre agosto e setembro; a posição mudou porque três sistemas novos foram publicados, dois deles acima. Isso é o funcionamento normal de um placar aberto, e é a razão pela qual eu desconfio de qualquer material comercial que exiba uma colocação sem dizer de quando ela é.
Três perguntas para levar à próxima reunião
- Quem calculou esse número e onde está o dado? Se a resposta for "nosso laboratório interno", trate como estimativa do fornecedor, não como medição. Peça o endereço público.
- Qual é a data e quantos sistemas estavam na lista? Posição isolada não informa nada. Quarto entre 22 e quarto entre 5 são resultados completamente diferentes.
- Onde a ferramenta foi mal? Fornecedor que só mostra as notas boas escolheu o recorte. Peça o resultado por tipo de pergunta e leia primeiro a linha de baixo.
Um teste público não substitui a experiência com os seus arquivos, no seu idioma, com as perguntas da sua equipe — e essa parte é gratuita, dá para fazer numa tarde. O que o placar faz é outra coisa: separa quem aceita ser medido por um terceiro de quem prefere ser medido por si mesmo.
