Durant els anys que vaig treballar com a editor associat (per a Revista americana d'epidemiologia), He vist tot l'espectre de les "revisions per parells", des de crítiques meticuloses i reflexives, els autors de les quals evidentment van invertir diverses hores en la tasca, fins a ressenyes incompletes que reflectien despreocupació i incompetència. He llegit ressenyes amistoses d'admiradors dels autors i ressenyes hostils dels seus enemics. (No és difícil de dir pel to.) En la pràctica de la ciència, els éssers humans encara es comporten com a éssers humans.
Les coses van empitjorar durant la pandèmia. Els estudis que lloaven les vacunes de la Covid van ser ràpidament certificats com a "revisats per parells", mentre que la revisió per parells crítica posterior a la publicació va ser suprimitCom a resultat, ara tenim una col·lecció històrica de ciència deficient publicada. No es pot esborrar, però és hora de començar a corregir el registre.
Les revistes biomèdiques no són la plataforma. En primer lloc, no hi ha cap secció formal per a revisions obertes per parells d'articles que es van publicar fa molt de temps. En segon lloc, els editors no tenen cap interès a exposar falsedats que es van publicar a les seves revistes. En tercer lloc, la censura la màquina encara és al seu lloc. Fins ara, només he pogut trencar-la un cop, i no va ser fàcil.
Aleshores, com podem intentar corregir el registre i on?
Permeteu-me fer un suggeriment als meus col·legues d'epidemiologia, bioestadística i camps metodològics relacionats que van preservar el seu pensament crític durant la pandèmia. Trieu un o més articles sobre les vacunes contra la Covid i envieu la vostra revisió per parells a Diari BrownstoneSi és interessant i ben escrit, hi ha moltes possibilitats que es publiqui. Us recomano que trieu amb cura: trobeu els articles revisats per experts que més us han irritat, ja sigui perquè eren purament... disbarats o perquè la inferència correcta era sorprenentment diferentI si vau publicar crítiques breus a Twitter (ara X) o ressenyes exhaustives en altres plataformes, amplieu-les, reviseu-les i envieu-les a Brownstone. Potser podrem crear lentament un inventari de ressenyes crítiques, restaurant una mica de confiança en el mètode científic i en la ciència biomèdica.
Aquí està un exemple.
Una revisió i una reanàlisi d'un estudi a Ontario, Canadà
Publicat a la British Medical Journal l'agost de 2021, el paper va informar de l'eficàcia de les vacunes d'ARNm a principis del 2021, poc després de la seva autorització.
Aquesta investigació va ser típica dels estudis de vacunes d'aquella època. L'efectivitat es va estimar en un entorn del "món real", és a dir, un estudi observacional durant una campanya de vacunació. El període d'estudi (des de mitjans de desembre de 2020 fins a mitjans d'abril de 2021) va incloure el pic d'una onada hivernal de Covid a principis de gener. Més endavant parlarem d'un fort biaix anomenat confusió pel risc d'infecció de fons.
El disseny era una variació de l'estudi de casos i controls, el disseny de prova negativa. Els subjectes elegibles es van sotmetre a una prova PCR a causa de símptomes similars als de la Covid. Els casos van donar positiu; els controls van donar negatiu. Com és habitual, es van calcular les ràtios de probabilitats i l'efectivitat es va calcular com 1 menys la ràtio de probabilitats (expressada en percentatge). La mida de la mostra va ser gran: 53,270 casos i 270,763 controls.
Els autors van informar dels següents resultats clau (la cursiva és meva):
"L'eficàcia de la vacuna contra la infecció simptomàtica observada ≥14 dies després d'una dosi va ser del 60% (interval de confiança del 95%: 57% a 64%), augmentant del 48% (41% a 54%) als 14-20 dies després d'una dosi al 71% (63% a 78%) als 35-41 dies. L'eficàcia de la vacuna observada ≥7 dies després de dues dosis va ser del 91% (89% a 93%)."
Com gairebé tots els estudis d'efectivitat, els autors van descartar els esdeveniments inicials. Tal com s'explica en una altra part, aquesta pràctica introdueix un biaix anomenat temps immortal, O biaix de la finestra de recompte de casosNo només oculta els possibles efectes nocius primerencs, sinó que també condueix a una sobreestimació de l'eficàcia. RFK, Jr. va al·ludir a aquest biaix en termes no tècnics (vegeu Clip de vídeo).
La enfocament correcte és simple. Hauríem d'estimar l'efectivitat des de l'administració de la primera dosi a moments posteriors (immunitat acumulada). La taula següent mostra les dades de l'estudi i els resultats de la nova anàlisi. Cada fila mostra el càlcul de l'efectivitat pel dia indicat.
L'efectivitat va ser negativa al final de les dues primeres setmanes després de la primera dosi i havia arribat a aproximadament el 30% abans d'una segona dosi, no al 70%. Només ha arribat a aproximadament el 50% en el moment de la immunitat completa, no al 90%. Tot i que les meves estimacions no estan ajustades, la taula electrònica 2 (material complementari) indica que l'ajustament gairebé no ha canviat les estimacions dels autors.
Tanmateix, els meus resultats encara estan esbiaixats pel que he anomenat abans "confusió pel risc d'infecció de fons".
La figura següent ha estat extreta del lloc web de Salut pública d'OntarioLa línia negra mostra la mitjana mòbil de 7 dies de casos nous. He afegit línies vermelles que mostren el període d'estudi, dividit en dos intervals. També he afegit estimacions del nombre de persones vacunades en cada interval.
El primer interval, que va contenir el pic de l'onada hivernal, va ser un període d'inici lent de la campanya de vacunació. En aquell moment, la distribució de l'estat de vacunació estava esbiaixada cap a la no vacunació, la qual cosa significa que l'estat de no vacunació va coincidir amb una alta probabilitat d'infectar-seEn canvi, la taxa d'infecció de fons va ser més baixa durant gran part del segon període, quan diversos milions de persones van rebre la primera dosi. Només a mitjans de març el nombre de casos nous va tornar a creuar la línia discontínua. En resum, l'associació inversa entre la vacunació i la infecció es va veure molt confosa per les tendències temporals del risc d'infecció. Fins i tot una injecció de placebo hauria semblat eficaç.
No puc eliminar el biaix, i és fort. La veritable efectivitat, si n'hi ha, és molt menor que les estimacions que vaig calcular després d'eliminar el biaix del temps immortal. Tant si és del 10% en sis setmanes com del 20%, no hi ha cap diferència. Això no és una vacuna.
Els autors van utilitzar un altre grup de casos: hospitalització o mort. Aquestes dades estan subjectes no només als biaixos anteriors, sinó també a biaix de vacunats sansNo puc oferir cap correcció, però. La majoria de les dades dels casos es van suprimir a causa del nombre reduït de casos, i el grup de control era incorrecte. Van utilitzar "el mateix grup de control que per a la primera anàlisi de resultats primaris (és a dir, individus amb símptomes que van donar negatiu per a la prova del SARS-CoV-2)". Això és una violació d'un principi bàsic del disseny de prova negativa. Els controls haurien d'haver estat hospitalitzats o persones mortes que van donar negatiu.
La frase següent reflecteix un malentès del model de regressió que ajusten. Escriuen: «Vam utilitzar models de regressió logística multivariable per estimar la ràtio de probabilitats, comparant les probabilitats de vacunació (cursiva meva) entre casos positius i controls negatius (amb persones no vacunades com a grup de referència)." La variable dependent era l'estat cas-control (logaritme de les probabilitats de ser un cas). Tècnicament, es comparen les probabilitats de ser un cas (versus ser un control), no les probabilitats de vacunació.
Curiosament, el publicat material suplementari encara porta l'encapçalament "CONFIDENCIAL — PROHIBIDA LA DISTRIBUCIÓ, 5 D'AGOST DE 2021". Només a l'era de la Covid es pot trobar tanta deixadesa. Aquí observem un maneig esbiaixat (descuidadós) d'un document que servia a la narrativa.
Acabaré la meva ressenya amb un tema que m'agrada molt: resultats absurds.
La figura següent mostra les estimacions d'efectivitat, tal com les han calculat els autors. La fletxa apunta a un resultat que no té sentit. No esperem cap benefici incremental de la segona dosi dins dels 6 dies posteriors a la injecció, tot i que l'efectivitat ha augmentat, gairebé assolint l'estimació per a l'interval següent (més de 7 dies). Si l'estimació de 0 a 6 dies està clarament esbiaixada, per què confiaríem en la següent?
Epíleg
Com vaig escriure al principi, hauríem d'intentar corregir el registre històric. Hi ha un llarg camí per davant, però com diu el proverbi, "Un viatge de mil milles comença amb un sol pas". Faig una crida particular als metodòlegs de primer nivell que solien desmuntar estudis deficients i criticar mètodes inestables. La majoria d'ells van guardar silenci durant tota la pandèmia, probablement per por de les conseqüències de qüestionar la narrativa "segura i eficaç".
Comencem a llegir ressenyes sense por d'estudis que van informar de la notable eficàcia de les vacunes contra la Covid, que van resultar ser falsos. No hi falten problemes per detectar, destacar i corregir, si és possible, amb dades reals o simulacions:
Si no fem aquesta feina, continuarem llegint estimacions falses basades en l'efectivitat de vides salvades. Va ser a prop de 2.5 milions, com alguns han afirmat, o indetectable en les estadístiques de mortalitat, o possiblement aproximadament zeroI obtindrem mai algunes respostes de assaigs rellevants?
Republica de mitjà
Uniu-vos a la conversa:
Publicat sota a Llicència Internacional de Creative Commons Reconeixement 4.0
Per a les reimpressions, torneu a establir l'enllaç canònic a l'original Institut Brownstone Article i Autor.
