Limitação 1: ranking x nota

Os críticos calcularam uma nota média para cada hamburgueria, mas não temos acesso a ela. Sabemos apenas a posição de cada estabelecimento no ranking. Isso não é o ideal para uma análise de custo-benefício, porque o ranking padroniza artificialmente as distâncias entre as avaliações.

Para essa limitação fazer mais sentido, imagine que temos apenas cinco hamburguerias, que receberam as seguintes avaliações:

Se ordenarmos as notas e atribuirmos um ranking a elas, obteremos:

Perceba que, ao termos acesso apenas ao ranking, somos obrigados a assumir que a diferença de avaliação entre a primeira e a segunda colocadas é a mesma que entre a segunda e a terceira. No entanto, ao observarmos as notas, entendemos que o cenário é completamente diferente: a primeira colocada tem uma avaliação muito superior às demais. A diferença entre a primeira e a segunda colocadas é de 4,6 pontos, enquanto entre a segunda e a terceira é de apenas 0,2 pontos.

Limitação 2: o preço absoluto

O segundo detalhe a considerar é que não sabemos o tamanho dos lanches. Um hambúrguer mais barato pode ser simplesmente menor, o que torna o preço absoluto uma medida inadequada de custo-benefício. Sem padronizar por quantidade (por exemplo, por grama), a comparação entre estabelecimentos fica enviesada.

Eu mesma como com bastante frequência no Patties – que, alerta de spoiler, aparece como um dos melhores custo-benefícios dessa base de dados. Ainda assim, o hambúrguer do Patties é relativamente pequeno: enquanto um hambúrguer do BK é mais do que suficiente para mim, no Patties eu sempre acabo comendo um hambúrguer e meio.
Só deixando claro: isso não é uma crítica ao estabelecimento, mas uma forma de ilustrar como a avaliação baseada apenas no preço absoluto tem as suas limitações.

Vale destacar que essa limitação não é “culpa” dos críticos: o ranking foi criado sem qualquer pretensão de servir como base para uma análise de custo-benefício.

Limitação 3: o delineamento do estudo

Antes de tudo, vale deixar isso muito claro: o que segue aqui não é uma crítica aos avaliadores. Os próprios autores do ranking deixam explícito que têm ciência das limitações do delineamento adotado. E, neste blog, eu sempre reforço: 100% dos estudos têm limitações. O papel delas não é desqualificar um trabalho, mas nos ajudar a interpretar os resultados de forma crítica e honesta.

Dito isso, eis algumas limitações associadas à forma como a avaliação foi executada:

• A avaliação de um alimento – ainda que baseada em critérios bem definidos – é inevitavelmente subjetiva. Pessoas diferentes podem chegar a conclusões bastante distintas. Basta ver as discussões inflamadas nos comentários.

• Essa variabilidade poderia ser minimizada com um número maior de avaliações independentes. No entanto, aqui temos, na prática, um n = 1. Embora três pessoas tenham participado da avaliação, elas foram juntas aos estabelecimentos, trocaram impressões entre si e divulgaram um ranking único – ou seja, suas opiniões não são independentes.

• O delineamento assume que a qualidade de um hambúrguer é estável ao longo do tempo. Na prática, sabemos que isso raramente é verdade: um mesmo lanche pode estar excelente em um dia e decepcionar em outro. O ranking poderia, portanto, ser diferente se a avaliação fosse realizada em outro momento.

• Como vários hambúrgueres foram experimentados em um mesmo dia, a avaliação pode ter sido influenciada pela ordem do consumo. Hambúrgueres provados mais cedo podem ter sido mais bem avaliados por terem sido consumidos “de estômago vazio”. Avaliar cada hamburgueria em dias distintos reduziria esse problema, mas tornaria o estudo excessivamente longo e introduziria outros vieses, como alterações no preço pela inflação.

• As avaliações não foram cegas: os avaliadores sabiam qual estabelecimento estavam avaliando, o que pode influenciar, ainda que inconscientemente, a percepção do produto.

Leitura da base de dados

O primeiro passo foi extrair manualmente, dos posts no Instagram, o ranking e os preços dos hambúrgueres. Salvei em Excel e ficou com a seguinte estrutura (abaixo uma amostra da listagem):

Perceba que não há um padrão perfeito. Às vezes a posição no ranking é seguida por um ponto, às vezes por dois pontos. Para algumas hamburguerias há o preço de dois lanches, para outras, de apenas um. Nem sempre os preços são precedidos por “R$”. Apliquei algumas funções para extrair esses dados em três colunas: Ranking, Preço do cheeseburguer, Preço do cheese-salada.

dados <- readxl::read_excel("Base_hamburgueres.xlsx")

dados <- dados |> 
  mutate(Ranking = stringr::str_extract(Listagem, "^\\d+"),
         Nome = stringr::str_trim(stringr::str_replace_all(stringr::str_extract(stringr::str_replace(Listagem, "^\\d+[.:]\\s*", ""), "^[^\\(]+"), "[\\p{C}]", "")),
         Valores = stringr::str_extract_all(Listagem, "R\\$\\s*\\d+"),
         Valores = lapply(Valores, \(x) as.numeric(gsub("\\D", "", x))),
         Cheeseburguer = sapply(Valores, \(x) if (length(x) > 1) x[1] else x[1]),
         `Cheese-salada` = sapply(Valores, \(x) if (length(x) > 1) x[2] else x[1])) |> 
  select(-c("Valores"))

dados[,c(2,4:5)] <- lapply(dados[,c(2,4:5)], as.numeric)

Agora passamos a ter a seguinte base de dados (foram sorteadas apenas algumas linhas):

Ótimo! Podemos agora criar um gráfico que relacione o preço do hambúrguer – e aqui vou usar o do cheeseburguer, porque me parece que é o que foi utilizado no gráfico original – à avaliação, mais especificamente ao ranking.

Talvez você tenha olhado para esse gráfico e estranhado: ok, não há um padrão muito claro, mas os pontos parecem “descer”, e não “subir”, como havíamos hipotetizado.

Por que isso acontece? Hambúrgueres mais caros seriam, então, piores?

Essa não é a interpretação correta desse gráfico. Repare que não estamos representando uma nota, mas sim um ranking. Para notas, valores maiores indicam melhor desempenho; já em rankings é o oposto: quanto menor a posição, mais bem avaliado foi o hambúrguer.

É justamente essa inversão que exige um esforço extra de interpretação quando visualizamos um gráfico construído dessa forma.

Qual a alternativa, então?

O autor do gráfico original decidiu inverter o eixo x. Assim, avaliações melhores ficam à direita e as piores à esquerda – reproduzindo a leitura intuitiva que teríamos caso o eixo x trouxesse uma nota, e não um ranking.

E essa foi a decisão estética que mais gerou polêmica. Muitas pessoas, nos comentários, acusaram o autor do gráfico de ter invertido o eixo x para induzir o leitor ao erro.

Eu, como você já deve ter percebido, discordo dessa acusação. Na minha avaliação, manter o gráfico sem a inversão tem uma probabilidade ainda maior de levar a uma interpretação equivocada.

“Mas, Fernanda, inverter o eixo é um absurdo!”

Olha, pode não ser a melhor estratégia para esse público específico – afinal, um gráfico só pode ser considerado bem construído se for corretamente interpretado pelo público ao qual se destina. E, nesse caso, claramente houve ruído na comunicação.

Isso não significa, no entanto, que inverter um eixo seja, por definição, um erro. Em determinados contextos, essa pode ser uma escolha legítima de visualização. Essa é, inclusive, a estratégia adotada em boa parte dos gráficos de curva ROC: o eixo y traz a sensibilidade e o eixo x traz a especificidade, mas com o eixo invertido.

Outra estratégia, bastante comum, utilizada para evitar a inversão do eixo x é construí-lo diretamente com 1 − especificidade. Nesse caso, o gráfico fica visualmente idêntico ao anterior, mas sem a necessidade de inverter a orientação do eixo:

Podemos aplicar essa lógica ao nosso gráfico dos hambúrgueres e construí-lo com 101 - Ranking no eixo x. Assim, não precisamos inverter o eixo. A hamburgueria que ficou em primeiro lugar no ranking passará a ter o valor 100, enquanto a que ficou em último lugar (posição 100) passará a ter o valor 1. Dessa forma, valores “melhores” continuam aparecendo mais à direita do gráfico, o que torna a leitura mais intuitiva.

Mas aposto que você está pensando: “continua muito confuso para o leitor!”. Concordo com você. E, aqui, para mim, a solução é renomear o eixo. Em vez de chamá-lo de “101 - Ranking”, podemos chamá-lo simplesmente de “Nota”.

Claro, já sabemos que esse ranking reescalado não é, de fato, uma nota. Mas, como não temos acesso às avaliações originais, essa é a melhor aproximação disponível para representar visualmente a ideia de quão bem avaliado cada estabelecimento foi.

Adicionei também os nomes das hamburguerias aos pontos. Fica um pouco poluído, mas conversaremos sobre isso mais para frente, ok?

Mas como criar uma faixa de equivalência, então?

Antes de mais nada, precisamos avaliar criticamente quais informações temos à nossa disposição. No nosso caso, temos acesso ao preço do cheeseburguer, em reais, e a uma nota, expressa em uma escala de 1 a 100.

O ponto central é que essas duas variáveis estão em unidades de medida diferentes: uma está em reais, a outra em pontuação. Por esse motivo, não faz sentido considerar que a equivalência entre custo e benefício será descrita por uma reta de 45°.

Para entender isso melhor, vamos imaginar um cenário alternativo:
Suponha que, em vez de atribuírem notas ou posições em um ranking, os avaliadores estimassem quanto consideram justo pagar por cada cheeseburguer, também em reais.

Imagine, por exemplo, duas hamburguerias:

• A Hamburgueria “Lanche Feliz” cobra R$ 30 por um cheeseburguer, e os avaliadores consideram que ele “vale” exatamente R$ 30.
• A Hamburgueria “Pão com ovo” cobra R$ 40, mas os avaliadores consideram que o lanche vale apenas R$ 32.

Nesse cenário, tanto o preço quanto o benefício estão na mesma unidade de medida: reais. Um gráfico de dispersão com essas duas variáveis permitiria traçar uma reta de 45°, correspondente à situação em que preço = valor percebido. Pontos acima da reta indicariam um preço maior do que o valor percebido; pontos abaixo, um benefício superior ao custo.

O problema é que esse não é o cenário que temos. No gráfico dos hambúrgueres, custo e benefício estão em unidades de medida diferentes. Para que seja possível traçar uma reta de equivalência, precisamos primeiro tornar essas variáveis comparáveis. Uma estratégia estatística que faz sentido aqui é o cálculo do escore-z, que vai padronizar essas variáveis, tornando-as adimensionais – isto é, sem unidade de medida.

Como calculamos um escore-z?

Para calcular um escore-z, subtraímos de cada valor a média da amostra e dividimos esse resultado pelo desvio-padrão. Esse procedimento faz com que a variável passe a ter média igual a zero e desvio-padrão igual a 1.

Além disso, como a média e o desvio-padrão estão na mesma unidade de medida da variável original, ao realizarmos essa divisão obtemos um valor adimensional, isto é, sem unidade de medida.

Vamos a um exemplo concreto. Para o preço do cheeseburguer, a média da amostra é R$ 35,99 e o desvio-padrão é R$ 12,49. Um lanche cujo preço seja igual à média – aproximadamente R$ 36 – terá, portanto, um escore-z igual a zero.

Já um hambúrguer que custe cerca de R$ 49,50, ou seja, aproximadamente um desvio-padrão acima da média, terá um escore-z igual a 1. Da mesma forma, um cheeseburguer com preço em torno de R$ 24,50, um desvio-padrão abaixo da média, terá escore-z igual a -1.

A tabela abaixo apresenta alguns dos escores-z calculados para os preços. Note que o cheeseburguer mais barato da amostra, o do McDonald’s, possui escore-z igual a -2, indicando que seu preço está dois desvios-padrão abaixo da média. Já o cheeseburguer mais caro apresenta escore-z igual a 4, o que significa que seu preço está quatro desvios-padrão acima da média.

Para criar uma faixa de equivalência, vamos padronizar – isto é, calcular o escore-z – tanto para o preço quanto para a nota. Após essa transformação, poderemos traçar uma reta de 45º.

Essa reta representa situações em que custo e benefício ocupam a mesma posição relativa dentro de suas respectivas distribuições. Como assim?

Em termos práticos, essa reta funciona como uma régua de comparação. Ela passa pelo ponto em que o preço está exatamente na média e a nota também está exatamente na média. A partir daí, ela sobe ligando situações equivalentes: um lanche que está um desvio-padrão acima da média em preço com um lanche que está um desvio-padrão acima da média em nota; dois desvios-padrão acima em preço com dois desvios-padrão acima em nota, e assim sucessivamente.

Repare como essa nova reta difere bastante daquela obtida ao ligar os pontos mais extremos do gráfico. Isso acontece porque, agora, ela não é fortemente influenciada por valores outliers.

Também podemos usar os escores-z para identificar os pontos com maior diferença relativa entre custo (preço) e benefício (nota). Para isso, basta subtrair o escore-z da nota do escore-z do preço. Essa diferença é apresentada na tabela abaixo como “Relação Custo–Benefício”.

Essa relação pode ser utilizada para destacar as 10 hamburguerias com melhor custo-benefício e as 10 com pior custo-benefício:

Claro, esse não é o único critério possível. Mas, diante das informações disponíveis, ele é um dos que fazem mais sentido do ponto de vista estatístico.
E vale reforçar: essa análise tem limitações – como qualquer análise de dados –, as quais já discutimos ao longo do texto. O objetivo aqui não é dar uma resposta definitiva, mas olhar para esses dados de uma forma mais criteriosa e transparente.