Uma IA pode descrever uma tabela de forma convincente e ainda errar totais, porcentagens, médias ou variações. Este guia usa uma pequena tabela sintética de vendas para recalcular e conferir cada afirmação numérica antes de reutilizá-la.
A tradução foi feita com IA. Confira o código, as unidades e os valores junto com o original. A revisão por falantes nativos de cada idioma ainda não foi concluída. English
Para quem éPessoas que usam um assistente de chat com IA para resumir tabelas, gráficos, relatórios ou resultados de planilhas e precisam verificar as afirmações numéricas.
A descrição de um gráfico pode parecer razoável mesmo quando algum número está errado. O risco aumenta quando a resposta mistura vários cálculos: totais, médias, participação no total, diferenças absolutas, variações percentuais e afirmações como "maior aumento". Um método prático é tratar cada número apresentado pela IA como uma afirmação separada e calculá-lo novamente a partir dos dados originais.
Não verifique apenas a conclusão final. Uma frase como "Q4 foi o trimestre mais forte, representando 32.6% das vendas anuais depois de crescer 50% em relação a Q1" contém várias afirmações independentes. A classificação, a participação e a taxa de crescimento devem ser verificadas separadamente.
Este exemplo é sintético. Suponha que uma tabela de vendas trimestrais tenha quatro valores. Manter o exemplo pequeno permite verificar todos os resultados manualmente antes de depender do código.
| Trimestre | Vendas |
|---|---|
| Q1 | 100 |
| Q2 | 120 |
| Q3 | 120 |
| Q4 | 150 |
Com esses quatro valores, o total anual é 100 + 120 + 120 + 150 = 490. A média é 490 / 4 = 122.5. Q4 representa 150 / 490 × 100 = aproximadamente 30.61% do total. A diferença entre Q1 e Q4 é 150 - 100 = 50, equivalente a um aumento de 50 / 100 × 100 = 50%.
Forneça a tabela à IA e peça que apresente os cálculos explicitamente, em vez de solicitar apenas uma interpretação genérica. Por exemplo: "Resuma esta tabela de vendas trimestrais. Informe o total, a média, a participação de Q4 no total anual, a variação percentual de Q1 para Q4 e o maior aumento entre trimestres consecutivos. Mostre os números usados em cada afirmação."
Uma resposta típica da IA poderia dizer: "As vendas anuais foram 490, com média de 120 por trimestre. Q4 representou 32.6% das vendas anuais. As vendas aumentaram 50% de Q1 para Q4. O maior aumento entre trimestres ocorreu de Q3 para Q4, com alta de 30 ou 25%."
Essa resposta mistura intencionalmente afirmações corretas e incorretas. O total de 490 está correto. A média informada de 120 está errada porque a média correta é 122.5. A participação de Q4 de 32.6% também está errada; o valor é aproximadamente 30.61%. O aumento de 50% de Q1 para Q4 está correto, assim como o aumento de 30 entre Q3 e Q4 e sua variação relativa de 25%.
O script a seguir armazena os mesmos valores sintéticos, recalcula as métricas relevantes e as compara com as afirmações numéricas da resposta de exemplo da IA. Ele usa somente a biblioteca padrão do Python. O script grava um relatório na pasta outputs e interrompe a execução se o arquivo já existir, sem sobrescrevê-lo.
from pathlib import Path
sales = {
"Q1": 100,
"Q2": 120,
"Q3": 120,
"Q4": 150,
}
ai_claims = {
"annual_total": 490,
"quarterly_average": 120,
"q4_share_percent": 32.6,
"q1_to_q4_change_percent": 50.0,
"largest_qoq_absolute_change": 30,
"largest_qoq_percent_change": 25.0,
}
values = list(sales.values())
quarters = list(sales.keys())
total = sum(values)
average = total / len(values)
q4_share = sales["Q4"] / total * 100
q1_to_q4_change = (sales["Q4"] - sales["Q1"]) / sales["Q1"] * 100
qoq_changes = []
for previous, current in zip(quarters, quarters[1:]):
old_value = sales[previous]
new_value = sales[current]
absolute_change = new_value - old_value
percent_change = absolute_change / old_value * 100
qoq_changes.append(
(previous, current, absolute_change, percent_change)
)
largest_qoq = max(qoq_changes, key=lambda item: item[2])
recomputed = {
"annual_total": total,
"quarterly_average": average,
"q4_share_percent": q4_share,
"q1_to_q4_change_percent": q1_to_q4_change,
"largest_qoq_absolute_change": largest_qoq[2],
"largest_qoq_percent_change": largest_qoq[3],
}
def close_enough(claim, actual, tolerance=0.05):
return abs(claim - actual) <= tolerance
lines = []
for name, claim in ai_claims.items():
actual = recomputed[name]
status = "PASS" if close_enough(claim, actual) else "FAIL"
lines.append(
f"{status}: {name}: AI={claim}, recomputed={actual:.2f}"
)
lines.append(
"Largest QoQ interval: "
f"{largest_qoq[0]} to {largest_qoq[1]}"
)
output_dir = Path("outputs")
output_dir.mkdir(exist_ok=True)
output_file = output_dir / "claims_check.txt"
if output_file.exists():
raise SystemExit(f"Stop: {output_file} already exists.")
output_file.write_text("\n".join(lines) + "\n", encoding="utf-8")
print(f"Wrote {output_file}")
Neste exemplo, o total, a variação percentual de Q1 para Q4, o maior aumento absoluto entre trimestres e o maior aumento relativo entre trimestres devem resultar em PASS. A média e a participação de Q4 devem resultar em FAIL. Uma tolerância é usada porque uma porcentagem exibida pode ter sido arredondada, mas ela não deve servir para justificar uma diferença relevante.
| Afirmação | Valor da IA | Valor recalculado | Resultado |
|---|---|---|---|
| Total anual | 490 | 490 | PASS |
| Média trimestral | 120 | 122.5 | FAIL |
| Participação de Q4 | 32.6% | 30.61% | FAIL |
| Variação de Q1 para Q4 | 50% | 50% | PASS |
| Maior aumento absoluto entre trimestres | 30 | 30 | PASS |
| Maior aumento percentual entre trimestres | 25% | 25% | PASS |
Verifique também a forma como o número é descrito. "Aumentou 25%" é diferente de "aumentou para 25%", e variação percentual é diferente de variação em pontos percentuais. Mesmo um resultado aritmético correto pode sustentar uma frase incorreta se o denominador, o período de comparação ou a unidade estiverem errados.
Um erro comum é verificar se a resposta da IA parece plausível em vez de reconstruir sua aritmética. Outro é conferir apenas um número principal e deixar as porcentagens relacionadas sem verificação. Métricas derivadas também podem depender de escolhas implícitas, como usar ou não uma média ponderada, excluir períodos com dados ausentes ou medir uma variação em relação ao período anterior ou ao primeiro período.
O script Python verifica os cálculos definidos explicitamente, não o significado dos dados de negócio originais. Ele não consegue determinar se a tabela está correta, se o gráfico omitiu registros ou se a métrica escolhida é adequada. Essas questões exigem a verificação da fonte original e do contexto.
Para tabelas maiores, o princípio é o mesmo: transforme cada afirmação da IA em um cálculo verificável, recalcule-o a partir dos dados originais, compare o resultado dentro de uma tolerância de arredondamento apropriada e investigue qualquer divergência antes de publicar ou encaminhar o resumo.
ChatGPT Python tool · Python 3.x · standard library pathlib
As explicações e os exemplos são de elaboração própria. Os comportamentos e conceitos relacionados podem ser consultados nas fontes oficiais abaixo.