quarta-feira, 6 de setembro de 2017

Carboidrato versus Gordura: Estudo PURE, glamour e impureza



É garantido o glamour de um estudo apresentado como destaque no Congresso Europeu de Cardiologia, com autores de renome internacional, envolvendo 135.000 indivíduos, publicado no Lancet. É a mesma garantia de sucesso que tem um blockbuster de Hollywood com autores famosos e orçamento estratosférico. Mas como sabemos, filmes de Hollywood nem sempre são os melhores, assim como estudos glamourosos nem sempre são os que trazem as melhores evidências.  

Este foi um estudo de coorte prospectiva, observacional, de amostra gigantesca, recrutada em 18 países, a maioria deles de baixo-médio nível sócio-econômico. A grande repercussão deste estudo reside no fato de que seu resultado contradiz o que se tem recomendado como dieta preventiva de eventos cardiovasculares (American Heart Association - AHA). Em resumo, houve associação entre dieta rica em carboidrato e maior mortalidade, enquanto dieta rica em gordura foi associada a menor mortalidade.

Há décadas, o AHA recomenda que a base da pirâmide alimentar seja constituída por carboidratos, enquanto o percentual de gordura deve ser < 10% das calorias totais. De fato, deve-se reconhecer que a recomendação do American Heart Association, copiada pela maioria das sociedades de cardiologia do ocidente, nunca foi embasada em evidências científicas de qualidade. Essa recomendação se baseia principalmente na plausibilidade biológica: colesterol é fator de risco para doença cardiovascular, dieta rica em gordura saturada aumenta colesterol, portanto a dieta pobre em gordura prevenirá eventos cardiovasculares. No entanto, não existem dados empíricos comprovando que a plausibilidade da dieta pobre em gordura se confirma como estratégia preventiva. Do ponto de vista epidemiológico, há apenas questionáveis estudos ecológicos e observacionais.

Portanto, é correto levantar a dúvida em relação à recomendação dietética preventiva de eventos cardiovasculares. Por outro lado, não é correto considerar que o estudo PURE tem poder de promover uma mudança de paradigma, como os autores tentam sugerir na frase conclusiva do artigo:

“Global dietary guidelines should be reconsidered in light of the consistency of findings from the present study …”

Na verdade, o estudo PURE não oferece um nível de evidência proporcional ao seu sucesso quanto à  prova de conceito de qual a melhor dieta preventiva de eventos cardiovasculares. E há duas razões para esta minha afirmação: (1) uma teórica, relacionada ao desenho observacional do estudo e (2) outra empírica, relacionada a uma interessante peculiaridade do próprio resultado do estudo que não foi discutida pelos autores.  

Considerações Teóricas quanto ao Caráter do Estudo


Não se trata apenas do PURE ser um estudo observacional, sujeito a viés de confusão. Estamos diante do maior risco de viés de confusão, que ocorre quando estudos observacionais avaliam o impacto de comportamento (behavioral studies). Isto porque comportamento tem forte associação com características de influência prognóstica, tornando impuras inferências causas a partir de associações entre exposição e desfecho. Neste sentido, o nome do estudo (PURE) soa paradoxal. Fico a imaginar como foi o processo de escolha deste nome pelos autores. Bastidores ...

Aproveitarei esse assunto para aprofundar a história do risco de viés de confusão em estudos observacionais. Na verdade, há dados mostrando uma razoável acurácia de estudos observacionais em predizer eficácia. Portanto, nem todo estudo observacional é tão impuro. Isso pode soar estranho ou diferente do que venho falando, mas explicarei.

Quando se compara de forma observacional tratamento A versus tratamento B, e a escolha destes tratamentos não tem muita associação com fatores prognósticos, estes estudos ganham mais acurácia para causalidade. Por exemplo, se comparo dois tipos de cirurgia, onde a escolha se dá pela conduta do serviço (serviço A prefere cirurgia A, serviço B prefere cirurgia B) e não pela gravidade do paciente, estes estudos tendem a ter resultados confirmados por ensaios clínicos. Mas se a cirurgia A for menos invasiva do que a cirurgia B, e a escolha se der pela gravidade do paciente, claro que haverá um imenso viés de confusão.

Portanto, há situações e situações … e aqui estamos na pior das situações em que um estudo observacional tenta inferir sobre causalidade: hábitos de vida. 

Esta é a situação responsável por equívocos históricos (vitaminas, exercício, fio dental, terapia de reposição hormonal por opção da mulher). E como sabemos, todos estes estudos observacionais apresentaram sofisticadas análises multivariadas que ajustavam para conhecidos efeitos de confusão. Se o ajuste para os “conhecidos” é imperfeito, imaginem o ajuste para variáveis de confusão desconhecidas. Tudo isso gera efeito de confusão residual. E residual não significa pequeno.

Epidemiologicamente, dieta rica em carboidratos é sinônimo de condição sócio-econômica desfavorável, tal como reforçado pelos próprios resultados do PURE: regiões mais pobres tiveram maior ingestão de carboidrato. Um indivíduo do Zimbábue que caia do cavalo ou desenvolva um câncer poderá ter um atendimento de pior qualidade no seu hospital comunitário, se comparado ao sueco que precise de assistência médica. Em paralelo, a dieta do Zimbábue é mais rica em carboidrato do que a dieta da Suécia. Isso me faz lembrar do estudo caricatural publicado no NEJM que mostrou associação do consumo de chocolate e sucesso da conquista de prêmios Nobel. Nível sócio-econômico pode explicar aquela associação representada na figura abaixo.



Mas devemos lembrar, a teorização acima é apenas um exemplo de potencial fator de confusão. No fundo, não sabemos que fatores poderiam estar agindo, há fatores previsíveis e imprevisíveis.

Confusão entre “veracidade” e “precisão”


Percebo nesta discussão que parte do glamour está na confusão entre tamanho do estudo e  sua assertividade. Um grande tamanho amostral é responsável por maior precisão do estudo, menor risco de erro aleatório, intervalos de confiança mais estreitos, associações estatísticas mais significantes. Tudo isso reduz o efeito do acaso como causador de ilusões. Mas isso não garante veracidade dos resultados.

Podemos estar com um estudo muito preciso para uma informação muito errada.

Assim, precisamos então relembrar o que é precisão. 

Se fizéssemos o mesmo estudo, com a mesma metodologia, em outras 100 amostras de 135.000 pacientes, os resultados das medidas de associação (hazard ratio) seria quase o mesmo nestas 100 amostras. A isso chamamos de precisão, o mesmo que reprodutibilidade. 

Porém a informação que sempre será a mesma pode estar errada devido a erros sistemáticos. E aqui estamos em potencial com o maior causador de ilusões epidemiológicas: o viés de confusão.

Viés é um erro sistemático, que tende a se repetir da mesma forma. Se temos um grande tamanho amostral, o erro sistemático tende a se repetir mais vezes e o achado influenciado pelo viés terá maior significância estatística. O imenso tamanho amostral amplifica estatisticamente um erro sistemático.

Será que o estudo PURE precisava mesmo de 135.000 pacientes? Fico a questionar como se chegou a este número, até porque não está descrito nos métodos o cálculo do gigante tamanho amostral. Sem dúvida esse tamanho amostral tem um impacto: glamour.

Fica a mensagem: precisão não é exatamente a mesma coisa que veracidade. 


Considerações quanto ao Resultado do Estudo


Até aqui argumentei com base em princípios da medicina baseada em evidências. Agora vem o argumento mais importante, o qual sugere que no caso específico do estudo PURE estamos tratando de um resultado decorrente de efeito de confusão.

Os autores se isentaram de comentar sobre o mais importante resultado do estudo: embora dieta rica em carboidrato se associe a maior mortalidade geral e dieta rica em gordura a menor mortalidade geral, nenhuma delas se associa a mortalidade cardiovascular, nem eventos cardiovasculares! Ou seja, a discussão a respeito de prevenção cardiovascular perde todo o sentido. Se alguém morreu ou viveu, não foi pela influência da dieta no sistema cardiovascular. Foi por outra coisa. 

Que coisa?

Quando vemos efeitos de intervenções em mortalidade geral que não são explicados por redução nos eventos específicos que explicariam o benefício na mortalidade, estamos diante de uma forte sugestão de que os resultados decorrem de efeito de confusão.

Se a prevenção (dieta rica em gordura) ou causa (dieta rica em carbo) não ocorreu por intermédio de eventos cardiovasculares, ocorreu por quê? Os estudos mostram associações com morte não cardiovascular, que podem estar representando o conjunto de condições que terão uma maior mortalidade quando a assistência médica é deficitária. Ou seja, a causa do resultado são efeitos de confusão. 

Não quero deixar este post mais longo... Desta forma, prometo que em postagem futura discutirei quando é melhor escolher o desfecho mortalidade geral ou mortalidade específica.

Mas então não seria de se esperar que a dieta rica em carboidrato tivesse maior mortalidade cardiovascular, pelos mesmos efeitos de confusão que estariam causando as outras mortes? Sim, pode ser que haja esse efeito, mas ele estaria apenas anulando uma menor mortalidade cardiovascular na dieta rica em carboidrato. O efeito de confusão poderia neutralizar um resultado que seria a favor da dieta rica em carboidrato.  

Reconheço que acabo de especular. Mas como já disse, quanto ao mecanismo de confusão exato, podemos apenas especular. Confusão é um sistema complexo, imprevisível. Embora não tenhamos como prever que os mecanismos de confusão, temos como prevenir qualquer um deles quando desejamos inferir causalidade: a randomização.


O que dizem os ensaios clínicos randomizados?


Em 2015 foi publicada pela Cochrane uma revisão sistemática dos ensaios clínicos randomizados que avaliaram a eficácia da redução de gordura saturada na dieta, tal como recomenda o American Heart Association. São 15 ensaios clínicos, com alto nível de heterogeneidade em seus resultados (I = 65% - vide post sobre meta-análise), sendo que a qualidade média das evidências foi considerada apenas moderada. É sempre bom lembrar que meta-análise de estudos de moderada qualidade não resulta em evidência de alta qualidade. Pelo contrário, fica mais incerto combinar estudos problemáticos e heterogêneos.

Portanto, devemos considerar a incerteza em relação a estes assuntos, que precisam ser explorados por melhores ensaios clínicos. Ao reconhecer esta incerteza devemos concluir que a totalidade das evidências intervencionistas nos traz mais insights exploratórios do que confirmatórios.

Mas o que dizem esses insights exploratórios? Sugerem que há um pequeno efeito benéfico na restrição de gordura saturada na prevenção de eventos cardiovasculares:

The findings of this updated review are suggestive of a small but potentially important reduction in cardiovascular risk on reduction of saturated fat intake.

Ou seja, aqui temos um grande estudo observacional, com alto risco de viés de confusão sendo comparado ao conjunto de ensaios clínicos randomizados de qualidade moderada.  Fica a critério de cada um decidir qual a tendência, mas torna-se bastante duvidoso se apostar nos resultados do PURE.

É frequente se utilizar o argumento da dificuldade de realizar estudos randomizados sobre dieta: como garantir que as pessoas randomizadas para dieta A de fato façam dieta A, e as pessoas alocadas para dieta B de fato comam B? Isso não é o mesmo que usar um comprimido. No entanto, essa colocação não leva em conta um conceito científico importante: contraste. 

O que testa conceitos é o contraste entre os grupos, e não a perfeição na execução da recomendação, que não existe em nenhum experimento. Claro que pessoas randomizadas para dieta rica em gordura vão transgredir com carboidrato em alguns momentos, porém o efeito desejado da randomização é garantir um contraste de exposição entre os grupos. Mesmo transgredindo, o grupo gordura vai comer mais gordura do que o grupo carboidrato e vice-versa. É o contraste que testa a hipótese. 

Portanto, realizar estudos intervencionistas com dieta é factível, pois estes são capazes de gerar contraste dietético e testar hipóteses. Nestes estudos estarão as respostas para nossas perguntas, não em gigantescos estudos observacionais que amplificam efeitos de confusão.


Epílogo


A antítese da medicina baseada em evidências é a medicina baseada em autoridade. A autoridade dos autores, do tamanho do estudo, do destaque no Congresso Europeu. Autoridade sob a forma de glamour. 

O glamour do estudo PURE nada tem a ver com a qualidade ou relevância da evidência. O problema é que nossa mente é mais seduzida por glamour do que pela rigidez do pensamento científico. Precisamos de novidades, mesmo que estas sejam falsas.

Esse estudo não faz evoluir o conhecimento científico a respeito de dieta preventiva de eventos cardiovasculares. Apenas confunde uma questão já carente de evidências. Este estudo, serve mais para nos lembrar que (1) precisão não é o mesmo que veracidade e (2) precisão pode ser uma forma de amplificar erros aleatórios, aumentando sua significância estatística. 

Devemos reconhecer a incerteza quanto ao impacto de carboidratos e gorduras no risco cardiovascular. Incerteza das recomendações do AHA e incertezas do impuro estudo PURE.   Por enquanto recomendações não devem ser baseadas em qualidade do alimento, mas sim quantidade, pois esta última é plausibilidade extrema. Seja carboidrato, seja gordura, o pior é quando um alimento é muito gostoso, nos fazendo passar dos limites da necessidade biológica. Comer demais reduz qualidade de vida no longo prazo.

Que sempre diferenciemos medicina baseada em evidências de medicina baseada em glamour.  Diferenciar pureza e impureza.


_______________________________________________________________________



Conheça nosso curso de medicina baseada em evidências, clicando aqui.

segunda-feira, 21 de agosto de 2017

Espiritualidade Baseada em Evidências


Potenciais benefícios clínicos da espiritualidade têm sido tema crescente de discussão. Recentemente foi publicado no JAMA um ponto de vista entitulado Health and Spirituality, escrito por autores da Universidade de Harvard. Este artigo tem sido compartilhado amplamente nas redes sociais, de forma entusiasmada, o que nos motivou a discutir este assunto.

Pessoalmente, acredito nos benefícios da espiritualidade, principalmente do ponto de vista de qualidade de vida e talvez em termos prognósticos.

Cientificamente, devo evitar o verbo “acreditar”.

Acreditar é a antítese da ciência moderna, cujo método se baseia na tentativa de refutar hipóteses plausíveis. O incômodo é que ao eliminar o verbo “acreditar” a vida parece perder parte de sua poesia. Portanto, do ponto de vista pessoal, pode ser uma boa ideia manter a prática do acreditar. Mas uma linha tênue separa o pessoal do profissional e devemos estar atentos a isso. 

Podemos também perceber a poesia do método científico, principalmente quando este se propõe a estudar coisas tão misteriosas como a espiritualidade. Ao meu modo de ver, espiritualidade e ciência se entrelaçam, e ciência pode ser vista como um modo espiritual de ser.

Sendo assim, proponho discutir ceticamente duas perguntas que não foram adequadamente abordadas pelo tão citado artigo do JAMA. Afinal, ceticismo é a base da ciência.

Qual o nível de evidência a respeito dos benefício da espiritualidade?
Qual o tamanho do efeito do benefício da espiritualidade?

Estamos Preparados?


Antes de começar a análise, trago a questão de se estamos preparados para colocar nossa espiritualidade no crivo científico?

Este é um desafio especial. Se pensar cientificamente é pouco natural e (muito) difícil e , quanto mais pensar cientificamente sobre espiritualidade. Digo isso pois muitos ritos espirituais têm aspecto religioso, no sentido do “acreditar” em uma ideologia.

Mas temos que separar duas coisas que se confundem. A fé é intrínseca de certos ritos espirituais. Por outro lado, a fé deve estar ausente das investigações de eficácia, efetividade ou eficiência destes mesmos ritos espirituais. Praticar espiritualidade e testar espiritualidade são coisas diferentes. 

Que pratiquemos agora o rito científico, de forma espiritual, científica e profissional.


O Nível de Evidência


O artigo do JAMA traz uma clara conotação de alto nível de evidência para benefícios  clínicos da espiritualidade:

“Recent studies suggest a broad protective relationship between religious participation and population heath.”

Traz também uma crítica à comunidade médica por não adotar espiritualidade de uma forma mais ampla:

“responde to these calls have been limited.”
“formal systems of collaboration between spiritual leaders and clinicians remain limited.”

De fato, caso o nível de evidência fosse alto para um relevante tamanho de efeito, a implementação de cultos religiosos ou espirituais nos hospitais e ambulatórios deveria ser obrigatório. Seria omissão não implementar.” 

Mas estamos cientificamente neste ponto?  

O mundo é repleto de ruído e a função da ciência é diferenciar sinal de ruído. Como já comentamos tantas vezes, um dos piores tipos de ruído na avaliação de causalidade é o viés de confusão. E viés de confusão está especialmente presente quando testamos o modo de ser de uma pessoa (behavioral studies) como determinante de desfechos clínicos prognósticos.

Se compararmos um grupo de pessoas espiritualizados versus outro grupo de não espiritualizados, a diferença entre esses grupos não será apenas o grau de espiritualização. Talvez o grupo espiritualizado beba menos álcool, use menos droga, se alimente melhor, coma de forma mais moderada, cuide melhor da saúde. 

Desta forma, ao observar que espiritualização se associa a melhores desfechos em saúde, devemos ter dúvida se esta é uma relação diretamente causal ou se é mediada por variáveis de confusão. Uma pessoa que mantém os mesmos bons hábitos pode ter os mesmos desfechos favoráveis mesmo não sendo espiritualizada? 

A avaliação do impacto de comportamentos é sempre acompanhada de alto risco de viés de confusão em estudos observacionais. Historicamente muitos destes estudos observacionais tiveram seus resultados positivos negados por ensaios clínicos (exercício, uso de vitaminas, uso de terapia de reposição hormonal). 

Portanto, não é surpresa que chegamos à conclusão que o modelo ideal para testar a eficácia de intervenções espirituais seja o ensaio clínico randomizado. 

Mas que sacrilégio, falar em ensaio clínico para espiritualidade … sei que alguns pensaram assim.  Por isso que questiono, estamos mesmo preparados para falar cientificamente de espiritualidade?

Neste momento volto ao artigo do JAMA. Este cita entusiasticamente o Nurses’ Health Study que seguiu 74.000 mulheres (!), mostrando que aquelas que frequentavam cultos religiosos tiveram 26% menor mortalidade! 

Em seguida reforça a possível associação causal, dizendo que a análise multivariada não atenuou a força de associação. Como se essa observação resolvesse o conhecido problema de confusão residual típica desses estudos observacionais. 

Muito elucidativo é notar que no mesmo Nurses’ Health Study (publicação de 1997) a análise multivariada também não atenuou a redução de mortalidade nas mulheres que usavam terapia de reposição hormonal (37% de redução de morte geral e 53% de redução de morte cardiovascular, mesmo depois do ajuste), mas hoje se sabe que este efeito protetor é falso, tendo o ensaio clínico WHI demonstrado aumento de eventos cardiovasculares. Será que não aprendemos ainda?

Portanto esta e outras soluções dadas pelos autores do artigo para que aceitemos as evidências observacionais como robustas não passam de sofismas anti-científicos. 

Mas será que é factível realizar ensaios clínicos com intervenções espirituais? Em uma rápida revisão no PubMed, pesquisei a palavra espiritualidade no título e 9.000 artigos foram detectados. Quando restringi a pesquisa a ensaios clínicos randomizados com paravra espiritualidade no título, ficaram 28 trabalhos que avaliam diferentes formas de intervenções espirituais, em diferentes tipos de condições clínicas. 

Portanto, a realização de ensaios clínicos é factível em várias circunstâncias, tem sido feito e precisa ser um modelo de estudo melhor explorado. 

O que dizem os ensaios clínicos?

Avaliando minha rápida pesquisa o PubMed, testemunhei ensaios clínicos positivos (mindfulness em enxaqueca) e outros negativos (religiosidade e depressão), não me parecendo uma clara predominância numérica de nenhum dos tipos. Mas o principal achado é que este corpo de evidência ainda é insuficiente, visto que a maioria dos estudos são ensaios clínicos pequenos, que quando positivos devem ser melhor interpretados como geradores de hipótese e quando negativos não afastam um real benefício. 

Os autores do artigo do JAMA também cita ensaios clínicos, mas nitidamente apresenta um viés de citação, visto que só relata trabalhos positivos. Isso pode estar sendo mediado pelo viés de confirmação de suas prováveis crenças.

Em paralelo, procurei na Cochrane revisões sistemáticas sobre o tema e estas concluem por um baixo nível de evidência a respeito do assunto. Pore exemplo, uma revisão sobre o efeito de intervenções espirituais e religiosas para pacientes terminais conclui:


"We found inconclusive evidence that interventions with spiritual or religious components for adults in the terminal phase of a disease may or may not enhance well-being. Such interventions are under-evaluated."

Há várias formas de intervenções espirituais para serem testadas, assim como diferentes desfechos, variando desde aqueles relacionados à esfera de bem estar como desfechos prognósticos. A maioria destes ensaios clínicos se refere a desfecho de bem estar, como qualidade de vida, aceitação da finitude, etc. Estes são desfechos importantes, mas devemos notar que sabemos menos ainda sobre os desfechos prognósticos. 

Naturalmente, se temos um baixo nível de evidência para a prova do conceito do benefício da espiritualidade, maior ainda é a incerteza quanto ao tamanho do efeito. 

Epílogo


Segundo Carl Sagan “ciência é não só compatível com espiritualidade, é uma profunda fonte de espiritualidade.” Louis Pauster falou “um pouco de ciência nos afasta de Deus, muito nos aproxima.”

Praticar espiritualidade é algo pessoal e não precisa de demonstração científica. Recomendar uma prática espiritual como parte de um tratamento ou definir que o sistema de saúde deve investir nesta causa é um ato profissional e necessita de comprovação científica. Que as duas coisas não se confundam, como me parece ter ocorrido no tão festejado artigo do JAMA.

Dada a importância do tema espiritualidade para a humanidade, este deve ser tratado com imensa reverência científica. Muito temos que aprender e para isso precisamos reconhecer a incerteza de nosso conhecimento. Penetrar cientificamente em seus mistérios será mais fascinante do que adotar uma crença precipitada. 


_______________________________________________________________________


Conheça nosso curso de medicina baseada em evidências, clicando aqui.

quarta-feira, 19 de julho de 2017

SUS deve oferecer medicamentos cuja eficácia é incerta?



No domingo passado, a jornalista Cláudia Collucci publicou em sua coluna na Folha de São Paulo um artigo sobre a dramática dificuldade de portadores de Mucopolissadaridose tipo 2 em receber do SUS o tratamento enzimático cujo custo supera 1,2 milhão de reais ao ano, por paciente. Naquele artigo, que passa por aspectos de judicialização, advogados argumentavam que a falta do tratamento equivalia a uma "pena de morte" para os pacientes.

Fiquei curioso, pesquisei o nível de evidência deste tratamento, resultando nesta carta (e-mail) que enviei para Cláudia, publicada por ela no dia seguinte em sua coluna no mesmo Jornal. Compartilho aqui minha reflexão.

--------------------------------------------------------------------------------------------------------------------------

Prezada Cláudia, 

em seu provocante artigo publicado na Folha de hoje, você termina com a frase “… decisões com base em evidências científicas”. E é desse ponto que partirá minha reflexão. 

Medicina baseada em evidências poderia (ou deveria) ser chamada de medicina baseada em VALOR. No verdadeiro valor das coisas. O valor de um tratamento está na veracidade de sua eficácia e no tamanho do efeito de sua eficácia. 

Terminando de ler seu artigo me motivei a ir no UpToDate e pesquisar a respeito da eficácia do tratamento enzimático para mucopolissacaridose 2 em crianças. 

Devemos nos perguntar: há benefício? Que tipo de benefício? E principalmente, qual a magnitude do benefício?

A magnitude do benefício é sempre muito importante, pois tudo tem um custo. Custo para o paciente ao ser submetido a um tratamento e custo monetário ao sistema de saúde.

O UpToDate cita uma revisão sistemática da Cochrane, muito elucidativa, pois mostra que há apenas 1 ensaio clínico randomizado, pequeno (96 pacientes). Este tipo de trabalho tem o valor “exploratório”, mas não “confirmatório” (nível de evidência baixo). 

Minha primeira conclusão, há incerteza quando a eficácia.  

Segunda conclusão, não há dados sobre mortalidade. Portanto, o advogado não tinha respaldo para usar o termo “pena de morte”, nem “dependem para sobreviver”. Há incerteza.

E o trabalho, se for verdadeiro, mostra que tamanho de efeito do tratamento (comparado a placebo)?

Houve melhora da capacidade da criança caminhar. Mas agora vem a pergunta mais importante: de quanto foi essa melhora (tamanho do efeito)? No teste de caminhada de 6 minutos, antes do tratamento a criança caminhava 400 metros em média. Após o tratamento, a criança aumentou sua capacidade de caminhar em 40 metros. 

Qual a magnitude do benefício desse tratamento? 40 metros em quem anda 400 metros muda a vida da pessoa? Deixo a questão em aberto.

Quanto a outros benefícios, não foram testados. Portanto, fica a incerteza.

Na difícil questão que você aborda, prevalecem há 3 vieses típicos da mente humana: 

(1) aversão pela incerteza (subestimamos nossa incerteza ou nem mesmo a reconhecemos); 
(2) Superestimativa do efeito dos tratamentos: o que tem alguma eficácia passa a ser uma panacéia. Porém, em geral, a magnitude dos tratamentos voltados para melhoria de prognóstico é modesta; 
(3) Pensamento anti-econômico: como demonstra o psicólogo Dan Ariely (recomendo o livro Predictable Irrationality), a mente humana não tem uma natural racionalidade econômica. Friso que quando falo economia não me refiro apenas ao monetário, embora no caso desta doença o custo monetário seja considerável. 

Nada do que coloco aqui tem VALOR frente ao sofrimento dos pais e à sensação de alívio em saber que algo está sendo feito (isso também é valor). Ou seja, o problema não é simples, porém o que coloco aqui (medicina baseada em valor) deve ser considerado como um importante componente nesta excelente discussão que você levanta.

Abraço,

Luis.

--------------------------------------------------------------------------------------------------------------------------

Para complementar, pedi opinião ao professor titular em saúde pública Jairnilson Paim. 

Vejam suas considerações.



Caro Luís,

Depois das absurdas decisões do Congresso Nacional e dos presidentes da República Dilma Rousseff e Rodrigo Maia (em exercício), respectivamente, sobre a fosfoetanolamina e os anorexígenos, lamento lhe dizer que esses fatos já não me surpreendem, ainda que reforcem a minha indignação. 

O SUS dispõe da Anvisa, uma agência reconhecida internacionalmente pela forma de atuação apoiada na produção científica e de uma instância para avaliação tecnológica em saúde vinculada ao Decit (Ministério da Saúde), que tem a responsabilidade de averiguar evidências para a incorporação de tecnologias (medicamentos, vacinas e procedimentos) no sistema de saúde.


Ignorar esses esforços racionalizadores e a preocupação com a segurança dos pacientes e usuários do SUS, assim como com a eficácia e efetividade de medicamentos, representa um retrocesso que, entre todos os males previsíveis, coloca o Brasil numa posição indefensável juntos aos países desenvolvidos e nações civilizadas.

Abs.
Jairnilson

quinta-feira, 13 de julho de 2017

Conversa com Janet Martin sobre Medical Reversal, P-haking, Data Mining

No mês passado participamos do evento Evidence Live, em Oxford, onde se discutiu o problema da baixa qualidade de publicações científicas, sendo lançado o Evidence Based Manifesto for Better Health Care. 

Este vídeo mostra nossa conversa com Janet Martin, meta-cientista canadense que estuda razões da maioria dos estudos serem falsos.  É um conteúdo relacionado a nossa recente postagem sobre o Manifesto.




Conheça nosso curso online de medicina baseada em evidências, clicando aqui

Conversa com Fionna Godlee sobre qualidade de publicações científicas

No mês passado participamos do evento Evidence Live, em Oxford, onde se discutiu o problema da baixa qualidade de publicações científicas, sendo lançado o Evidence Based Manifesto for Better Health Care. 

Este vídeo mostra nossa conversa com Fionna Godlee, editora do British Medical Journal sobre o Manifesto que foi tema de nossa postagem anterior.



“It is not to say that all evidence is bad, but we should be aware of the large amount of inadequate research”

“Benefits are usually overstated”

Fionna Godlee


“As a medical oncologist I had the impression that what was described in randomized trials did not reflect reality”

Franz Porzsolt



"We absolutely need a new generation of highly skilled evidence geniuses.”

Fionna Godlee 



“When I come back to Brazil in November I want to ask students what should we do to improve EBM”

“We should have strong scientific discussion, not emotional discussion”

Franz Porzsolt



“Publication is not the end of a story, it is the beginning of the story.”

“The opposite of evidence based medicine is eminence based medicine”.


Fionna Godlee


Conheça nosso curso online de medicina baseada em evidências, clicando aqui

quarta-feira, 12 de julho de 2017

O Manifesto da Medicina Baseada em Evidências: Oxford 2017





No mês passado estive no evento Evidence Live 2017, em Oxford, onde foi lançado o  Evidence Based Medicine Manifesto for Better Health Care”. Esta foi uma iniciativa do Centre of Evidence Based Medicine (Oxford University) e do British Medical Journal. 
Em postagem recente neste Blog aprofundamos a discussão sobre a baixa confiabilidade das evidências científicas. O Manifesto é uma iniciativa para a melhoria da qualidade das evidências em saúde, onde se discute causas da pouca confiabilidade científica e objetivos voltados para a correção deste cenário. 
Afinal, como fazer medicina baseada em evidências se a maioria das evidências não são confiáveis? Na realidade, este não é um problema da proposta do uso de evidência para nortear nossas decisões (paradigma da medicina baseada em evidências), mas sim um problema do mundo científico que gera estas evidências. 

As causas do problema estão presentes nas diferentes fases da atividade de pesquisa, como descrevo abaixo:


Fase de Definição do Objetivo do Estudo
  • O investimento de trabalho, tempo e dinheiro em perguntas científicas inúteis. A inutilidade destes estudos decorre da irrelevância do que está sendo avaliado, cujo resultado não terá impacto científico, nem clínico. Isto ocorre pois autores estão mais interessados em gerar artigos do que gerar conhecimento. Por exemplo, demonstrar um efeito benéfico em um desfecho substituto que já se sabe que não prediz benefício clínico, nem é uma condição intermediária para eficácia. O problema desses estudos é que são publicados como dados positivos e naturalmente os leitores se deixam influenciar por estes resultados no desenvolvimento de suas “crenças internas”.
  • Testes de hipóteses claramente improváveis, relacionadas a uma baixa probabilidade pré-teste, levando a baixo valor preditivo positivo de estudos. Isto está bem detalhado em uma recente postagem.
  • Você sabia que 85% do financiamento de pesquisa global é desperdiçado por estudos inúteis?

Fase de Definição do Método do Estudo

  • Desenhos de estudos com amostras subdimensionadas para seus objetivos, levando a uma baixa veracidade de eventual significância estatística, que pode surgir ao acaso. 
  • A construção de protocolos desprotegidos quanto a vieses de amostragem, seleção, confusão, mensuração do desfecho, acompanhamento de pacientes.
  • O uso comum de interrupção pré-definida de estudos positivos em análises interinas (estudos truncados). 
  • Você sabia que 35% dos pesquisadores assumem práticas inadequadas de pesquisa, dentre estas a construção de protocolos enviesados?

Fase de Análise de Dados

  • O problema do p-hacking ou mineração de dados. Utiliza-se em demasia análises de desfechos secundários ou de subgrupos, muitos destes testes nem são pré-determinados. Primeiro se faz várias destas análises e as que dão certo (significantes) serão transformadas nas perguntas dos estudos. É o fenômeno do texas sharp shooter, quando primeiro se atira, depois se desenha o alvo nos locais mais atingidos. 
  • Você sabia que 35% dos pesquisadores assumem práticas inadequadas de pesquisa, dentre estas, mineração de dados, troca de desfechos, descrição seletiva de desfechos (escondendo os negativos)?


Fase de Publicação


  • Viés de publicação quando estudos que vão ao encontro do desejo do pesquisador são publicados e estudos de encontro ao desejo do pesquisador (ou da comunidade científica) não são publicados. Evidências negativas são silenciadas.

  • Você sabia que metade de todos os trials nunca foram publicados e que trials positivos são duas vezes mais prováveis de serem publicados do que trials negativos? Quando se fala de estudos pequenos, este viés de publicação ocorre em muito maior escala. 
  • Você sabia que 35% dos pesquisadores assumem práticas inadequadas de pesquisa, dentre estas esconder conflitos de interesses?


Fase de Leitura do Artigo


  • Os consumidores dos trabalhos não são devidamente treinados para reconhecer o potencial de vieses e erros aleatórios, compram gato por lebre. Profissionais de saúde não praticam ceticismo científico, tendendo a acreditar em demasia no que leem ou ouvem falar. 



O Conteúdo Inicial do Manifesto


No dia da abertura do Evidence Live, o Manifesto foi publicado no British Medical Journal, tendo como autores principais Carl Hannegan, diretor do Centre of Evidence Based Medicine, e Fionna Godlee (vide vídeo abaixo), editora chefe do British Medical Journal. Este Manifesto é considerando um “living document”, no sentido de que esta é a primeira versão, que será aprimorada ao longo do tempo. O primeiro passo para aprimoramento foi este workshop, onde nos reunimos em pequenos grupos para aprimorar as medidas sugeridas. 

Nesta primeira versão, 9 objetivos foram apontados:


  • Tornar evidências científicas mais relevantes, aplicáveis e acessíveis a pacientes. 
  • Expandir o papel de pacientes no processo de geração do conhecimento científico. Você sabia que o BMJ empregou no processo de avaliação de artigos os revisores-pacientes. Sim, pacientes não pesquisadores contribuem com o processo de revisão de trabalhos que versam sobre as condições das quais eles sofrem. Isto tende a estreitar a lacuna entre o que é pesquisado e o que mais interessa aos pacientes.
  • Aumentar a utilização sistemática de evidências no processo de decisão médica.
  • Reduzir práticas de pesquisa questionáveis, vieses e conflitos de interesse.
  • Garantir que o processo de aprovação de drogas e devices seja mais robusto, transparente e independente.
  • Produzir guidelines de melhor qualidade.
  • Promover melhora de qualidade e segurança a partir do uso de dados do mundo real (estudos de efetividade).
  • Educar profissionais e o público sobre prática clínica baseada em evidências. 
  • Encorajar uma nova geração de líderes em medicina baseada em evidências.

Onde Estamos?


Durante as discussões em Oxford, falou-se em pessimismo e otimismo. Minha visão pessoal é otimista, pois não considero que estamos em uma “crise”. Crise conota algo que está piorado em relação a um momento prévio. Não é o caso. Ao invés de falar em crise, prefiro falar em evolução. Até o ano 1.500 não existia ciência e foi apenas no século passado que o método científico contemporâneo foi proposto para a prevenção de erros aleatórios e sistemáticos (Ronald Fisher), aprofundado filosoficamente por Karl Popper. 

Nos últimos anos, a discussão sobre conceitos de qualidade em pesquisa, transparência, reprodutibilidade tem se tornado mais prevalente no mundo científico e acadêmico. É o início de um processo, cujo primeiro passo é o reconhecimento de problemas que ainda se encontram em grande parte debaixo do tapete. De fato, não é prevalente a consciência de que “evidências” nem sempre são confiáveis. Há evidências para tudo e há todo tipo de interesse em utilizar evidências de má qualidade, deste que seu resultado seja interessante, em detrimento de uma análise isenta da qualidade dessas informações.

No momento em que estes problemas passam a ser profundamente discutidos, pode-se ter a impressão de que estamos em crise. Talvez não … Talvez estejamos apenas percebendo melhor a realidade. 

Veja a realidade do Brasil. Parece que estamos no pior momento político. Nem tanto, recentemente o (ex-) Ministro do Supremo Aires Brito se manifestou com um agradável e leve otimismo, quando retratou este como um momento evolutivo de nossa democracia. 

Seria uma “lava-jato científica”?


Se pensamos que a lava-jato está aí para lavar toda a sujeira, de forma efetiva, definitivamente o Manifesto não será uma lava-jato. Mas se pensamos de forma mais realista, talvez a gente não deva esperar que a lava-jato resolva plenamente os problemas políticos ou de corrupção.

Não é assim que acontece, uma lava-jato ou um Manifesto não são sozinhos suficientes para ajuste pleno dos problemas. Mas podem ser passos iniciais em um processo que requer transformação cultural. Sim, transformação na cultura da corrupção e na cultura científica. 

O Manifesto não será uma lavagem plena, nem muito menos a jato. Na verdade, uma limpeza-lenta (e não uma lava-jato), assim deveria ser o nome dessa operação da PF, assim como da nossa evolução cultura. 

Seria um “choosing wisely científico”?


Uma melhor analogia é com a campanha Choosing Wisely: o Manifesto está para a ciência como Choosing Wisely está para a decisão clínica. Choosing Wisely se define como uma “conversa”, algo que não coloca como objetivo uma redução imediata do overuse, mas a intenção é a reflexão como forma de promover uma mudança cultural. 

Manifesto, quais as estratégias para melhoria?


Nesta publicação seminal do Manifesto estão claros os objetivos, porém não há referência aos métodos pelos quais estes objetivos serão alcançados, que provavelmente devem passar por ações políticas, evolução do processo de revisão e editoração de publicações, ações educativas para pesquisadores, consumidores de pesquisas (leitores) e população leiga. 

A ausência de métodos e estratégias demonstra a função do Manifesto como uma provocação à nossa reflexão. Não será este Manifesto a causa única ou principal da evolução científica. Na verdade, existirão muitos manifestos, muitas iniciativas, e tudo junto contribuirá para uma evolução. Esta evolução depende de uma mudança cultural. 

Mas desde já podemos começar uma espécie de brainstorm de estratégias para melhorias. Foi o que ocorreu em Oxford, quando participantes foram convidados a apresentar ideias estratégicas, que contribuiriam para a evolução do “living Manifesto”, podendo estar presente em futuros artigos sobre o tema. 

Compartilho aqui algumas ideias que apresentamos na discussão:

  • Editores de revistas devem categoricamente classificar os artigos originais em exploratórios (a maioria) ou confirmatórios (a minoria). Esta categorização, baseada no valor preditivo do trabalho, evitará crença demasiada em estudos geradores de hipóteses. Esta atitude promoverá a cultura de que trabalhos científicos isolados não necessariamente servem para confirmar hipóteses. Ciência é uma construção de pequenos tijolinhos, representados por cada trabalho.
  • Editores devem estimar e publicar o valor preditivo positivo ou negativo de cada estudo, gerando valorização da comunidade quanto a este tipo de estimativa, que considera a plausibilidade da ideia, a dimensão do estudo, a qualidade metodológica e não só o "famigerado" valor de P (injustiçado pois P não foi originalmente criado por Fisher para ser assim mal utilizado). 
  • O Manifesto deve promover não só evidência de mais qualidade, mas também pensamento clínico de maior qualidade científica: ênfase em estimativas adequadas do tamanho de efeito (evitando superestimativas), na utilização do pensamento probabilístico, no reconhecimento das incertezas em cada caso individual e na percepção e prevenção dos mais comuns vieses cognitivos do pensamento médico.
  • Educação básica da população, desde a escola secundária, quanto à forma científica de pensar, promovendo no profissional futuro um pensamento mais naturalmente baseado em evidências. 

Convite!!


A discussão está aberta, agora é hora de discutir e apresentar estratégias. Convido os colegas que acompanham nosso Blog a escrever comentários nesta postagem, como forma de sugestões a serem encaminhadas aos líderes do Manifesto. Será a voz de nossa comunidade virtual influenciando esta importante iniciativa. 

Vídeos


Complementando esta postagem, publicarei nos próximos dias dois vídeos de conversas que Franz Porzsolt e eu tivemos em Oxford com colegas da área. 

Vídeo 1: Fionna Godlee, editora-chefe do British Medical Journal, onde conversamos sobre o paradigma da medicina baseada em evidências e o papel de revistas científicas na melhoria da qualidade de evidências. 

Vídeo 2: Janet Martin, meta-cientista canadense que trouxe para o evento dados impressionantes de suas pesquisas retratando inadequações do universo científico, como fenômenos de medical reversal e data mining.

Fiquem atentos para nos próximos dias. 

_______________________________________________________________________

Conheça nosso curso de medicina baseada em evidências, clicando aqui.