Novos artigos sobre hidroxicloroquina e Covid-19 levantam debate estatístico
Trabalhos apontam eficácia, mas qualidade e viés de seleção são alvos de questionamentos
Até o momento, estudos clínicos realizados em todo o mundo não demonstraram eficácia do uso da hidroxicloroquina para impedir a infecção pelo novo coronavírus Sars-CoV-2 ou melhorar a evolução dos sintomas da Covid-19.
Dois artigos publicados recentemente concluíram que há, sim, eficácia da hidroxicloroquina (composto menos tóxico da cloroquina) no uso precoce por pacientes não hospitalizados, e um terceiro artigo diz que, no mínimo, não é possível descartar seu uso.
A qualidade desses trabalhos, porém, é questionada.
Os trabalhos são duas meta-análises (análise dos dados de pesquisas já publicadas) e uma revisão sistemática (descrição qualitativa da bibliografia disponível) e, portanto, não avaliaram novos pacientes.
A aparente contradição entre a falta de estudos clínicos que apontem a eficácia da droga para a infecção pelo novo coronavírus e as análises com indício forte de seu benefício é explicada pela matemática.
Para Daniel Tausk, professor associado do Instituto de Matemática e Estatística da USP, é importante separar o resultado que os dados apontam e a força da evidência. No caso dos estudos publicados até agora, não há força de evidência suficiente para dizer que a hidroxicloroquina funciona.
Segundo o matemático, é aí que entram as meta-análises. “Se antes não havia bons motivos para acreditar que a droga funciona, o conjunto de evidências favoráveis fracas pode produzir uma evidência favorável forte.”
Em ambas as meta-análises, assim como nos estudos individuais, não foi encontrada uma ação antiviral da droga para a prevenção da infecção. O efeito positivo encontrado foi para o desenvolvimento dos sintomas.
“Todos os estudos randomizados sobre profilaxia ou tratamento precoce mostram resultados favoráveis nos quadros clínicos dos sintomas, mas nenhum deles sozinho tinha poder suficiente para estabelecer uma conclusão de eficácia com um valor estatístico significativo”, diz Tausk.
Na visão de outros especialistas, no entanto, as metaanálises são tecnicamente ruins e não servem para esse re
sultado.
Márcio Bittencourt, mestre em saúde publica pela Universidade de Harvard e médico do Hospital Universitário da USP, explica que meta-análises reúnem dados de outros estudos, cuja primeira premissa básica é que os estudos sejam homogêneos entre si, ou seja, usem as mesmas variáveis.
Além disso, os estudos incluídos devem ter desfechos comparáveis, ou seja, para avaliar hospitalização devem ser incluídos todos os estudos que avaliam taxa de hospitalização; caso o interesse fosse em profilaxia, todos os estudos randomizados controlados que medem essa variável devem ser incluídos. Bittencourt diz que as duas meta-análises não cumprem essas premissas básicas.
“Não foram incluídos alguns estudos importantes com resultados na direção contrária, o que chamamos de viés de seleção. Não há nenhum valor científico nessas análises para ser apresentado.”
Nesse sentido, um erro que pode ocorrer em meta-análises ruins é o chamado falso positivo, quando, devido ao acaso, um resultado positivo é encontrado, mesmo não sendo verdadeiro —em uma amostra maior da população, esse resultado não apareceria.
“Isso é preocupante porque
qualquer análise estatística tem uma chance de gerar falsos positivos. O fato de ficar selecionando subgrupos dentro de uma amostra aumenta essa chance”, explica Natália Pasternak, doutora em microbiologia pela USP e presidente do Instituto Questão de Ciência.
Outro erro é o chamado falso negativo. “Ele ocorre quando existe uma correlação de benefício, mas o estudo não a encontra. Ambos os erros são passíveis de acontecer em uma meta-análise quando são misturados estudos com tamanho amostral alto e outros com amostras menores”, explica Luís Correia, cardiologista, professor da Universidade Federal da Bahia e autor do blog Medicina Baseada em Evidência.
O pesquisador pede cuidado com meta-análises. “Revisões sistemáticas e meta-análises servem para descrever o universo de conhecimento a respeito de um assunto e podem evidenciar a incerteza, dizendo o que ainda não sabemos, ou elevar a precisão do que já sabemos. Meta-análises não servem para gerar conhecimento antes inexistente.”
Uma das meta-análises, assinada por um professor da Universidade de Yale, mistura variáveis ao incluir cinco estudos clínicos randomizados para avaliar o uso da hidroxicloroquina
como prevenção antes e depois da exposição ao vírus.
Separados, os estudos não apontaram eficácia da droga, mas, ao fazer a análise em conjunto, a meta-análise favoreceu o uso da droga, com redução no risco de efeitos adversos nos pacientes com Covid-19 e no risco de contrair a doença (risco de 0,76, com intervalo de confiança de 95%).
Um risco abaixo de 1 nesse caso significa que o grupo que recebeu a hidroxicloroquina teve menos casos de infecção versus o placebo. Um intervalo de confiança de 95% significa que, em 95 de 100 amostras hipotéticas, o resultado estará dentro deste intervalo.
Na outra análise, de pesquisadores de Harvard, os estudos incluídos individualmente apontavam risco relativo de contrair o vírus abaixo de 1 (intervalo de confiança de 95%), mas com margem de erro muito ampla, indicando que os dados analisados podem estar se comportando de maneira aleatória.
Os próprios autores concluem que, com base nas evidências dos estudos incluídos, não é possível afirmar ausência de eficácia da hidroxicloroquina por não serem “estatisticamente significativos”.
Para um estudo ser estatisticamente significativo, é preciso que o chamado valor de p seja igual ou menor a 0,05 (5%), ou seja, no conjunto de dados analisados, é baixa a chance de a correlação encontrada ser devido ao acaso.
Um dos trabalhos incluídos nas meta-análises obteve um valor de p igual a 35%, refutando a hipótese de eficácia da hidroxicloroquina. Mas, na meta-análise, foi possível baixar esse valor para 5%, embora a margem de erro para o risco relativo de pegar a doença fosse ligeiramente acima de 1.
Autor principal desse estudo, David Boulware, infectologista e professor da Universidade de Minnesota, disse à Folha que houve um viés na seleção das meta-análises tanto de estudos quanto de variáveis. Em seu artigo, Boulware e colaboradores observaram melhora clínica mais alta no grupo que não tomou a hidroxicloroquina corretamente porque interrompeu o tratamento.
“Nosso estudo tinha um protocolo inicial de verificar a redução pela metade dos casos no grupo com hidroxicloroquina em comparação ao placebo, mas mudamos o protocolo para redução na severidade dos sintomas. Observamos maior redução da doença naqueles indivíduos do grupo de intervenção que não tomaram a hidroxicloroquina, ou seja, há forte indício de a melhora ser ao acaso.”
Para ele, a inclusão do seu ensaio nas meta-análises foi “cherry picking”, que ao pé da letra significa “escolher cerejas”, mas no jargão científico equivale a selecionar apenas os estudos que sabidamente darão um resultado favorável ou, após o início da pesquisa, eliminar os estudos que trariam ruído à análise final —ou seja, colher só as cerejas boas.
Tausk concorda que “cherry picking” pode ser um problema sério em uma meta-análise, mas não acredita que os estudos em questão fizeram “cherry picking”, uma vez que todos partiram do mesmo critério de seleção: estudos randomizados controlados em pacientes não hospitalizados.
Boulware discorda do ponto acima, e afirma que a inclusão de seu estudo clínico, além da exclusão de um artigo publicado no último dia 30 que também não mostrou eficácia para uso profilático de hidroxicloroquina, pendeu a balança para um lado.
“Há escolhas que os autores fazem que influenciam os resultados. Alguns podem ser exageradamente enviesados, gerando conclusões erradas. Até agora, não há muitos estudos randomizados controlados para tratamento ou prevenção de pacientes não hospitalizados com hidroxicloroquina, por isso os resultados não são robustos. O que significa que um ou mais estudos podem mudar radicalmente isso”, conclui.