# Medir sem se enganar

> Fonte: Vitor Pereira — vitorpereira.ia.br · Licença CC BY 4.0 · cite: https://cursos.vitorpereira.ia.br/primeiro-funcionario-de-ia/medir-sem-se-enganar

Sem linha de base medida antes, qualquer resultado depois parece bom.

- Curso: Seu primeiro funcionário de IA
- Tema: Agentes de IA, Prompting
- Tempo: ~9 min
- Canônico: https://cursos.vitorpereira.ia.br/primeiro-funcionario-de-ia/medir-sem-se-enganar
- Atualizado em: 2026-09-18

---

A pergunta que desarma a maioria das apresentações de resultado é simples: **comparado com o quê?**

Se ninguém mediu quanto tempo a tarefa levava antes, quantos erros ela tinha e quanto custava, então o número de depois não significa nada.

> **Princípio** — A linha de base se mede **antes** de ligar qualquer coisa. Depois de ligar, ela não existe mais — e não dá para reconstruir de memória.

**As três medidas que sustentam a decisão**

- **Tempo por tarefa**, medido em cronômetro e não em estimativa.
- **Taxa de erro**, contra um conjunto de casos julgados por gente.
- **Custo total por tarefa**, somando as quatro linhas do módulo anterior.

> **Armadilha** — Cuidado com métrica de atividade: número de mensagens processadas, horas de uso, quantidade de gerações. Elas sobem sempre, e não dizem se o trabalho ficou melhor.

> **Decisão** — Defina o critério de desligar antes de ligar. Se em 90 dias a taxa de erro não cair de X para Y, o piloto encerra. Sem isso, projeto ruim sobrevive por inércia.

> **Checkpoint** — Você sabe exigir linha de base antes do piloto e reconhece métrica de atividade quando ela aparece disfarçada de resultado.

## Quiz

**1.** Quando a linha de base precisa ser medida?

- A) Antes de ligar qualquer coisa
- B) Depois de 90 dias de piloto
- C) Quando o fornecedor entregar o relatório
- D) A qualquer momento, reconstruindo de memória

**2.** O relatório do piloto diz: "o agente processou 12 mil mensagens no mês". Que tipo de métrica é essa?

- A) Taxa de erro
- B) Custo total por tarefa
- C) Métrica de atividade: não diz se o trabalho melhorou
- D) Tempo por tarefa

**3.** Para que serve definir o critério de desligar antes de ligar o piloto?

- A) Para garantir que o fornecedor dê desconto
- B) Para impedir que um projeto ruim sobreviva por inércia
- C) Para dispensar a medição da taxa de erro
- D) Para decidir quando trocar de modelo

### Gabarito

1. A — Exato. Depois de ligar, o "antes" deixa de existir e não dá para reconstruir de memória. Se errou: A linha de base se mede antes de ligar. Depois, o "antes" já não existe — e estimativa de memória não serve de comparação para nada.
2. C — Mensagens processadas sobem sempre e não dizem nada sobre qualidade nem custo. Se errou: Quantidade de mensagens, horas de uso e número de gerações são métricas de atividade: sobem sempre. As três medidas que sustentam a decisão são tempo por tarefa, taxa de erro e custo total por tarefa.
3. B — Com o critério escrito antes, encerrar um piloto ruim não depende de vontade de ninguém. Se errou: Sem um critério combinado antes — por exemplo, "se em 90 dias a taxa de erro não cair de X para Y, o piloto encerra" — projeto ruim continua rodando por inércia.

---

## Como citar

"Medir sem se enganar" — Vitor Pereira, vitorpereira.ia.br (https://cursos.vitorpereira.ia.br/primeiro-funcionario-de-ia/medir-sem-se-enganar). Licença CC BY 4.0.

Licença: [CC BY 4.0](https://creativecommons.org/licenses/by/4.0/deed.pt-br) — pode copiar, adaptar e usar, inclusive comercialmente, desde que cite a fonte com o link acima.