Intro blog van Jan Willem

De eerste (van de hopelijk vele) artikelen die jullie van mij hier gaan lezen wil ik graag laten gaan over een onderwerp dat op het eerste gezicht wellicht helemaal niet zo interessant lijkt, of misschien zelfs saai, maar in mijn ogen wel erg belangrijk. Zeker voor het publiek dat Totalbodyshop aan zal trekken. Zoals jullie wellicht weten verkoopt Totalbodyshop voornamelijk de meer high-end supplementen. Deze supplementen zijn in verhouding tot je gebruikelijke creatine en eiwitshake een stuk duurder. Misschien vraag je je af waarom je ooit zoveel geld uit zou geven voor supplementen, helemaal als er weinig bewijs voor is dat ze werken. Creatine is namelijk het meest bewezen supplement, maar dat doet al niet superveel, dus wat kan je dan verwachten van supplementen waar minder bewijs voor is en minder onderzoek naar is gedaan? En wat betekent dat eigenlijk, ‘onderzoek’?

Waarom dit artikel?
Veel mensen denken dat wetenschappelijk onderzoek het ultieme bewijs is dat iets werkt; als een studie geen significant resultaat uitwijst, werkt een middel niet. Wijst onderzoek uit dat iets werkt, dan werkt het. Punt.

Los van het feit dat er enorm met statistieken gegoocheld kan worden om resultaten of uitkomsten te beïnvloeden (waar zat voorbeelden vanuit het verleden van te noemen zijn en waar ik verderop in dit artikel ook verder op in zal gaan) zijn er meer redenen waarom we voorzichtig moeten zijn met het interpreteren van wetenschappelijke literatuur. Er zijn verschillende soorten statistische testen die je op data los kan laten en elk van deze verschillende testen zal tot andere waardes als uitkomst komen. Dus zelfs als het onderzoek perfect is opgezet, kan gebruik van een verkeerde statistische methode het resultaat van het onderzoek alsnog verdraaien.

Ik wil met dit artikel, ondanks dat de toon wellicht negatief uit gaat vallen, absoluut niet zeggen dat literatuur nietszeggend is of niets waard is, integendeel. Ik wil jullie alleen uitleggen waarom literatuur niet alles zeggend is en waarom het gebruiken van je eigen gezonde verstand altijd aan te raden is.

Leren lezen
Het eerste ‘probleem’ is dat er op universiteiten lessen gewijd zijn aan het schrijven én het lezen van literatuur. in literatuur wordt erg veel gesmeten met waarschijnlijkheden en statistieken; om deze data te kunnen interpreteren moet je enige achtergrond kennis hebben.

Daarnaast wordt er in een volledig artikel ook altijd genoemd hoe men te werk is gegaan; hoe het onderzoek is opgezet, wat voor metingen er zijn gedaan. Zonder achtergrond kennis om meetmethodes of over controlegroepen zal je zelf nooit kunnen controleren of je het eens bent met de methode waarop het onderzoek is uitgevoerd, of dat er misschien wel wat informatie mist om de conclusie te kunnen trekken die jij graag wilt maken.

Alleen de samenvatting (het abstract) lezen van een artikel is niet professioneel en ‘gevaarlijk’ om bovengenoemde reden.

Problemen met onderzoek
Verder moet je je afvragen wat een onderzoek daadwerkelijk bewijst; veel onderzoeken leiden slechts tot het stellen van betere vragen en sturen het vakgebied iets meer in de goede richting, maar zijn absoluut geen ultiem antwoord op de gestelde onderzoeksvraag. Vaak lees je in de discussie dat verder onderzoek nodig is om tot een goede conclusie te komen. Een ander probleem is dat mensen in vrije leefomstandigheden hebben; dat wil zeggen dat wanneer een onderzoeksgroep een bepaald middel toegediend krijgt om te kijken of het spiergroei bevorderd en een andere groep een placebo toegediend krijgt als controle, er veel meer tussen deze groepen kan verschillen behalve het toedienen van het middel. Dit heten confounders. Natuurlijk proberen wetenschappers deze confounders zoveel mogelijk weg te werken en te achterhalen, maar omdat er zo ongelooflijk veel variabelen zijn in het leven is het vrijwel onmogelijk om overal op te controleren. Een voorbeeld: Mensen die onder elektriciteitsmasten wonen ontwikkelen vaker kanker dan mensen die niet onder elektriciteitsmasten wonen. Je zou kunnen denken dat het wonen onder elektriciteitsmasten om die reden kankerverwekkend is. Wanneer je verder kijkt, zie je echter dat woningen onder elektriciteitsmasten goedkoper zijn, dus dat daar waarschijnlijk armere mensen wonen, die ongezonder leven. De masten hebben niets te maken met het ontwikkelen van kanker. Het verschil tussen causatie (oorzaak) en correlatie (samenhang) is uiterst belangrijk om te begrijpen, maar in sommige gevallen bijzonder moeilijk om te achterhalen.

Daarnaast is er natuurlijk de discussie over hoe een onderzoek wordt gefinancierd; hoe betrouwbaar is onderzoek gefinancierd door bijvoorbeeld Melkunie dat beweert dat zuivel niet slecht is? Of gefinancierd door coca cola dat beweert dat light frisdrank niet kankerverwekkend is?

Deze resultaten meteen afschrijven als niets waard gaat te ver, maar het is goed om hier kritisch over na te denken.

Tegenwoordig zijn er diensten en websites die maandelijks een nieuwsbrief uitbrengen waarin zij literatuur samenvatten over onderwerpen rondom bepaalde vakgebieden. Denk bijvoorbeeld aan MASS; zij vatten onderzoek samen in een nieuwsbrief rondom voeding, supplementen en training. Vaak lees je aan het einde van een samenvatting dat er meer onderzoek nodig is, maar dat men neigt naar ‘… conclusie’. Wees hier voorzichtig mee. Als deze mensen, die veel meer ervaring hebben dan jij (of mij) met het lezen en interpreteren van literatuur al zeggen dat onderzoek niet eenduidig is, betekent dat dat het onderzoek niet eenduidig is en dat je dus geen harde conclusies kan verbinden aan desbetreffend onderzoek. Daarnaast zijn, hoe professioneel soms ook, deze mensen ook mensen. Ook zij hebben voorkeuren en maken fouten.

Statistische problemen op papier
De mensen die enige achtergrond in statistiek hebben, weten dat er vaak een P-waarde van 0.05 wordt gehanteerd in onderzoeken. De P-waarde zegt iets over de kans dat het gevonden antwoord veroorzaakt wordt door toeval in plaats van door het onderzochte. Wanneer de P-waarde 0.05 is, is de waarschijnlijkheid dat het onderzochte de oorzaak is van de uitkomst 95%. Zelfs bij een positieve uitkomst bestaat er dus nog een 5% kans dat toeval de oorzaak is.

Laten we een voorbeeld nemen van een vakgebied waar 1000 studies in worden gedaan, voor ons voorbeeld supplementen.

We nemen voor dit voorbeeld aannemen dat 10% (dus 100 studies) een werkend supplement onderzoeken. 900 supplementen die onderzocht worden hebben om de een of andere reden dus geen effect. We weten uiteraard (nog) niet welke van de 1000 supplementen bij welke groep horen, dat is het hele punt van onderzoek doen; achterhalen welke middelen werken en welke niet.

Wanneer van deze 100 wel-werkende supplementen 80 de 100 studies goed ontworpen zijn en een werkend effect vinden (statistical power, voor onze kenners) betekent dat dat 80 van de 100 studies die gedaan worden op wel-werekende supplementen een terecht positief effect vinden. Dit betekent dat 20 resultaten onterecht geen werking vinden van een supplement. Deze supplementen werken wel, maar door een verkeerde studie-opzet, een te korte looptijd of te kleine onderzoeksgroep lijken deze 20 supplementen geen effect te hebben, terwijl ze het wel hebben. Dit zijn de onterecht-negatieven.

Van de 900 studies die geen werking zouden moeten vinden, omdat de supplementen niet werken, zullen er met een P-waarde van 0.05 5% onterecht worden gezien als werkend, door toeval (zoals ik hierboven net heb uitgelegd). 45 van de 1000 supplementen zullen dus als werkend uit de onderzoeken komen, terwijl ze niks doen. Dit zijn de onterecht-positieven. De rest van de supplementen zal terecht als niet werkend worden bestempeld. Echter, onderzoeken die geen resultaat vinden worden vrijwel nooit gepubliceerd, omdat publiceren tijd en geld kost. Waarom zou je een artikel uitbrengen met ‘dit nieuwe supplement werkt niet’?

Gepubliceerde onderzoeken zijn vrijwel altijd de onderzoeken die een positieve uitkomst vinden; hetzij terecht (de terecht-positieven, in ons voorbeeld 80) hetzij onterecht (de onterecht-positieven, in ons voorbeeld 45). Van de 1000 onderzoeken zullen dus 80+45+ een klein aantal niet werkende supplementen gepubliceerd worden. Laten we voor dit ‘kleine aantal’ 2% van alle studies nemen, dus 20 in totaal. Dit zijn de terecht-negatieven.

Dit geeft dus een enorme vertekening van de werkelijke cijfers.

Van de 1000 supplementen / onderzoeken die we hebben gedaan, worden er 80+45+20 in totaal gepubliceerd; 80 supplementen die volgens onderzoek werken en ook echt werken, 45 die volgens onderzoek werken, maar niets doen (de uitkomst was toeval) en 20 die volgens onderzoek niet werken en ook niets doen.

Wat dit betekent is dat ongeveer 1/3e van al het gepubliceerde onderzoek fout is, zelfs als het systeem goed werkt.

De werkelijkheid is nóg erger
In ons voorbeeld namen we een statistical power van 80%; echter ligt deze in werkelijkheid vaak tussen de 20-40%. Daarnaast kunnen onderzoekers ook baat hebben bij een bepaalde uitkomst, of kunnen studies gefinancierd worden door afhankelijke partijen, zoals we al genoemd hebben.

Verder kan de studie-opzet zelf ook enorm veel doen voor de accuraatheid van een studie. Een voorbeeld uit het verleden hiervan is het onderzoek op het effect van chocola eten op gewichtsverlies. Volgens een onderzoek uit 2015 leek het eten van chocola positief effect te hebben op gewichtsverlies. De onderzoekers hebben dit onderzoek echter slecht opgezet; de testgroepen waren erg klein en er werd op heel veel verschillende factoren getest, zoals cholesterol, bloeddruk, gewicht, gevoel, etc etc.

Wanneer je maar op voldoende factoren test gaat er altijd wel een factor zijn die door het toeval (een beetje zoals het voorbeeld hierboven) beïnvloed lijkt, terwijl dat eigenlijk niet het geval is. In dit geval was dat gewicht. De uitkomst was dus nu (door toeval) dat het eten van chocola gewicht doet verliezen. Wanneer het toeval had gewild dat cholesterol beïnvloed was geweest in dit onderzoek, en niet gewicht, was het resultaat van dit onderzoek geweest dat het eten van chocola cholesterol verlaagt. Dit is een voorbeeld van P-value-hacking; achteraf bepalen welke informatie je uitbrengt en welke je weglaat.

Precies om deze reden is het erg belangrijk dat je niet alleen de samenvattingen van onderzoek leest, maar ook kijkt hoe de studie is uitgevoerd.

In de wetenschap is het gepubliceerd krijgen van onderzoeken erg belangrijk, soms rust een hele carrière hierop. Zoals we hebben gezien worden onderzoeken met een positieve uitkomst vaker gepubliceerd dan onderzoeken zonder uitkomst. Daarnaast wordt nieuw of onverwacht onderzoek vaker gepubliceerd dan onderzoek uit vakgebieden waar al veel onderzoek in gedaan is. Dit resulteert dus in meer en meer onwaarschijnlijke onderzoeken doen, in ons voorbeeld meer en meer onwaarschijnlijke supplementen testen. Dus niet 100 op de 1000 supplementen die echt werken, maar 100 op 2000. Waardoor het aandeel niet-gepubliceerd onderzoek dus groter zal worden, wat een nog verder vertekend beeld geeft.

Zoals je ziet zijn er ontzettend veel ‘problemen’ rondom onderzoek; zelfs wanneer onderzoek goed wordt uitgevoerd en wanneer resultaten terecht-positief zijn, spreekt data niet voor zichzelf. De data moet ook correct geïnterpreteerd worden.

Nog een ander probleem is dat je van onderzoek zou mogen verwachten dat het zichzelf corrigeert; wanneer een bepaald supplement een extreem goed effect lijkt te hebben en er worden meerdere onderzoeken naar dit supplement gedaan, die allen een veel minder extreme of zelfs geen uitkomst laten zien, zou je verwachten dat het extreme resultaat op die manier wordt ‘weg gefilterd’. Echter, het blijkt dat replicatie van onderzoeken (hetzelfde onderzoek herhalen om te controleren of het gevonden resultaat correct is) totaal niet wordt gestimuleerd en zelfs wanneer een replicatie wordt gedaan, publicaties hiervan alsnog wordt tegen gehouden.

Verbetering
Maar zelfs als dat lukt, zitten we nog steeds met het cijfer-verhaal dat ik in het begin beschreef.

En toch, ondanks deze hele rits aan fouten en onwaarheden die gemaakt worden, zelfs wanneer we alles goed doen, scherp zijn op details en het correct uitvoeren van onderzoek, is wetenschappelijk onderzoek en wetenschappelijke literatuur waardevol.

Waarom? Omdat dat het beste is wat we hebben en omdat onderzoek de enige manier is van vooruit komen. En als onderzoek er al zo vaak naast zit, hoe vaak denk je dan wel niet dat we er naast zitten als we geen onderzoek zouden hebben en doen?

Het nut van dit verhaal voor ons
Waarom dit verhaal belangrijk is voor ons, mensen die bezig zijn met het optimaliseren van hun fysiek of gezondheid?

Omdat heel veel keuzes van mensen of hun coaches worden gemaakt aan de hand van wetenschappelijke literatuur. Ik dit juich ik alleen maar toe; zonder literatuur en onderzoek hadden we nog in de steentijd geleefd. Echter, literatuur moet een beginpunt zijn van het trekken van een conclusie en niet zwart op wit worden overgenomen.

Daarnaast wordt er in dit vakgebied enorm veel kleinschalig onderzoek gedaan en juist weinig onderzoek met grote onderzoeksgroepen. Grotere onderzoeksgroepen zijn duurder, maar bewijzen wel meer.

Tot slot wordt onderzoek naar het effect op spiergroei van een bepaald supplement vrijwel altijd gedaan in een onderzoeksgroep die ook traint en vaak zelfs zijn eigen voeding bepaalt. Hier zitten natuurlijk enorme confounders.

Dit artikel wordt erg lang, dus ik ga afsluiten. Het punt dat ik wil maken is dat wanneer een onderzoek zegt dat, om iets te noemen, fosfatidylzuur, maar een klein effect heeft op spiergroei, terwijl een pot MPA-PharmaGrade flink wat tientjes kost, dit niet meteen betekent dat dit je meest slecht bestede tientjes gaan zijn. Gebrek aan goed trainen kan het probleem zijn geweest. Voeding kan het probleem zijn geweest. Het hele onderzoek kan het probleem zijn geweest.

De supplementen die verkocht worden bij Totalbodyshop zijn de meer high end supplementen, die, wanneer je training en je dieet on point zijn, ab-so-luut meerwaarde kunnen bieden voor je progressie of je gezondheid. Supplementen vervangen echter nimmer nooit een goede basis in de vorm van leefstijl. Ook de duurdere supplementen niet.

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Translate »