Table des matières

Comme les lecteurs réguliers le savent, mon assistante de recherche compétente Laura Costello et moi-même avons compilé une base de données de plus de 460 méta-analyses écologiques. La base de données comprend toutes les tailles d’effet, leurs variances d’échantillonnage et divers autres éléments d’information.

J’ai partagé les fruits de mes explorations de cette base de données sur le blog. Voici ma dernière friandise – une caractéristique très frappante de nombreuses méta-analyses écologiques (bien que loin de toutes) dont je ne peux pas faire la tête ou la queue. Pourquoi diable de nombreuses méta-analyses écologiques auraient-elles des diagrammes en entonnoir inversés ? Pour qu’il y ait plus de variation parmi les tailles d’effet les plus précises que parmi les moins précises ?

Intrigué ? Continuer à lire!

Contexte des graphiques en entonnoir et exemples de graphiques en entonnoir « normaux »

Vous pouvez ignorer cette section si vous savez ce qu’est un graphique en entonnoir et à quoi il est normalement censé ressembler. Mais si vous ne savez pas ou si vous avez besoin d’un rappel, c’est parti. UNE tracé en entonnoir est un nuage de points avec les tailles d’effet (qui résument les résultats de l’étude) sur l’axe des x, et une certaine mesure de la précision de ces tailles d’effet sur l’axe des y. L’erreur type est probablement la mesure de précision la plus courante, mais parfois une autre mesure telle que la taille de l’échantillon ou la variance d’échantillonnage est tracée. C’est ce qu’on appelle un tracé en « entonnoir » parce que vous vous attendriez à ce que les points forment un entonnoir. Les tailles d’effet qui ont été estimées de manière très imprécise (par exemple, parce qu’elles provenaient d’études avec des échantillons de petite taille) devraient être très différentes les unes des autres – elles devraient être largement dispersées sur l’axe des x. Ces points constituent la “bouche” de “l’entonnoir”. Mais à mesure que vous vous déplacez le long de l’axe des y, la précision augmente, de sorte que les tailles d’effet devraient être beaucoup plus rapprochées le long de l’axe des x. L’entonnoir doit se rétrécir jusqu’à un “point”.

Voici un exemple, issu de la méta-analyse des gradients de sélection sur les traits floraux en Caruso et al. 2019. Les « résultats observés » sont les tailles d’effet ; ce sont des pentes de régression dans cet exemple.*

La ligne verticale est la taille moyenne de l’effet. L’entonnoir blanc est à +/- 1,96 SE autour de la moyenne ; c’est un pseudo intervalle de confiance à 95%. L’erreur standard zéro est en haut de l’axe des y ; l’axe des y va de haut en bas. Notez que, plus vous descendez sur l’axe des y, plus les tailles d’effet sont dispersées le long de l’axe des x. C’est comme vous vous en doutez. Si vous menez un tas d’études imprécises, leurs résultats devraient être très différents les uns des autres. C’est ce que veut dire « imprécis » !

Bien sûr, tous les tracés en entonnoir ne ressemblent pas à ça. En particulier, s’il existe un certain biais contre la publication de certaines études, en fonction des tailles d’effet qu’elles rapportent, vous pouvez vous attendre à un graphique en entonnoir qui ressemble à celui ci-dessous. Il s’agit de l’une des méta-analyses de Magris et Ban 2019 GEB (qui rapportent plusieurs méta-analyses de différentes variables de réponse) :

Un graphique en entonnoir avec ce type de forme asymétrique est cohérent avec un biais de publication par rapport aux études rapportant de grandes tailles d’effets positifs (que ce soit parce que les revues rejettent ces études ou parce que les chercheurs ne les soumettent pas pour publication en premier lieu). Cependant, notez que des graphiques en entonnoir asymétriques peuvent se produire pour d’autres raisons. Par exemple, il peut y avoir une variable « modératrice » qui varie selon les études et qui affecte à la fois la taille moyenne de l’effet et la précision de la taille de l’effet. (Attendez cette pensée, j’y reviendrai…)

Ok, alors maintenant que vous êtes au courant des graphiques en entonnoir, dites-moi ce que vous pensez du graphique en entonnoir ci-dessous. Parce que je suis perplexe !

Graphiques en entonnoir inversé (?!)

C’est le graphique en entonnoir pour Ferreira et al. 2015 Biol Rev, une méta-analyse des effets de l’enrichissement en nutriments sur la décomposition de la litière dans les cours d’eau :

WTF ?!

L’entonnoir est inversé. Tailles d’effet avec haute erreurs types, c’est-à-dire les plus imprécis tailles d’effet – sont relativement proches de la moyenne générale, et donc relativement proches les unes des autres le long de l’axe des x. Tandis que le précis les tailles d’effet sont dispersées dans toute la création le long de l’axe des x. Qu’est-ce qu’au nom de Dieu Hedge est peut-être en train de se passer ici ?

Et ne répondez pas « Oh, c’est juste un coup de chance statistique, vous allez finir par voir des trucs étranges si vous regardez plus de 460 tracés en entonnoir. » Parce que, tout d’abord, il y a un parcelle des tailles d’effet dans ce graphique. Je doute donc fortement que l’intrigue ait l’air bizarre juste à cause d’une erreur d’échantillonnage. Et deuxièmement, comme vous le verrez dans un instant, il y a beaucoup trop de méta-analyses avec des graphiques en entonnoir qui ressemblent à ceci pour que ce soit un coup de chance.

Et ne répondez pas « Oh, soit vous, soit Ferreira et al. doit avoir foiré d’une manière ou d’une autre ». Parce que, encore une fois, Ferreira et al. est loin de la seule méta-analyse écologique avec un graphique en entonnoir inversé. Maintenant, les entonnoirs inversés ne sont pas la majorité. Mais dans ma compilation, ils sont à peu près aussi courants que les entonnoirs « normaux », d’après mes évaluations oculaires de tous les 460+ tracés en entonnoir.

Voici quelques autres exemples d’entonnoirs inversés (il y en a beaucoup d’autres que je ne vous montre pas). Vidal et Murphy 2018 Ecoletts:

Møller et Mousseau 2015 Sci Rep:

Eyck et al. Rév Biol 2019:

Maintenant, évidemment, une chose que je vais faire est de vérifier pour m’assurer que je n’ai pas fait d’erreur répétée dans la saisie des données. Mais en supposant que je n’ai pas totalement foiré la saisie des données, avez-vous une idée de ce qui pourrait se passer ici ?

Ma première pensée était une sorte de biais de publication. Il y a peut-être des sujets pour lesquels il est difficile de publier des tailles d’effet imprécises, à moins que ces tailles d’effet imprécises sont proches de zéro ? J’ai un peu honte de taper cette dernière phrase, car c’est une idée tellement bizarre. Cela me semble totalement invraisemblable. C’est le Slip Gnome théorie des diagrammes en entonnoir inversé.

Ma deuxième pensée était que c’est quelque chose à voir avec l’hétérogénéité. « Hétérogénéité » dans ce contexte est un terme technique ; il fait référence à la variation au sein et entre les études de la véritable taille moyenne de l’effet. Dans les méta-analyses écologiques, l’hétérogénéité est généralement assez élevée – une source de variation beaucoup plus importante que l’erreur d’échantillonnage aléatoire (Senior et al. 2016). Différentes estimations du « même » effet écologique ne rapportent pas des tailles d’effet différentes juste à cause d’une erreur d’échantillonnage. Au contraire, les tailles d’effet différeront également parce que les tailles d’effet ont été estimées (disons) sur différentes espèces, à différents endroits, en utilisant différentes méthodes, etc. L’hétérogénéité est l’une des principales raisons pour lesquelles les tailles d’effet dans les méta-analyses écologiques tombent souvent en dehors de la pseudo-cônes d’intervalle de confiance à 95 % dans les graphiques ci-dessus. Ces cônes sont dessinés en supposant qu’il n’y a pas d’hétérogénéité. Mais le simple fait de dire « il y a de l’hétérogénéité » n’explique pas pourquoi tant de diagrammes en entonnoir auraient un inversé forme large en haut, étroite en bas. Après tout, les études imprécises présentent vraisemblablement aussi une hétérogénéité au sein et entre les études ! Pour que l’hétérogénéité produise un graphique en entonnoir inversé, je pense il faudrait qu’il y ait beaucoup d’hétérogénéité entre des tailles d’effet précises, mais pas beaucoup d’hétérogénéité entre des tailles d’effet imprécises. (N’est-ce pas ?) Je peux imaginer des scénarios pas totalement invraisemblables dans lesquels cela pourrait être le cas. Vous auriez besoin d’une sorte de variable modératrice, probablement méthodologique, qui affecte à la fois l’hétérogénéité et la précision entre les études de la bonne manière. ** Mais pour déterminer si l’un de ces scénarios hypothétiques expliquait l’un des graphiques en entonnoir inversé que j’ai trouvé, je devrais plonger profondément dans chaque méta-analyse avec un graphique en entonnoir inversé. Et probablement dans les études que la méta-analyse a compilées. Avant de commencer à faire ces plongées profondes, j’aimerais avoir une idée de ce que je pourrais rechercher.

Ma troisième pensée était que cela pourrait avoir quelque chose à voir avec le fait que, pour certaines mesures de la taille de l’effet, il existe une relation mathématique entre la moyenne et l’erreur type. Mais je ne pense pas que cela explique les entonnoirs inversés, car ce n’est pas le cas que toutes les méta-analyses qui utilisent (disons) le rapport de réponse log comme taille de l’effet présentent des graphiques en entonnoir inversé.

Alors, des idées ? C’est maintenant votre chance d’avoir l’air intelligent en soulignant que j’ai oublié une explication évidente ! En toute honnêteté, je serai super heureux si vous faites cela, car j’aurai appris quelque chose. 🙂

* Tout au long de cet article, je suis celui qui a créé les graphiques en entonnoir que vous voyez. Pour chaque méta-analyse, j’ai d’abord ajusté un modèle hiérarchique à effets aléatoires estimant la variation de la taille de l’effet entre les documents de recherche primaires et entre les tailles d’effet rapportées dans les mêmes documents de recherche primaires (et l’erreur d’échantillonnage, évidemment). Je l’ai fait en utilisant le package metafor dans R. Ensuite, j’ai utilisé la commande funnel() dans metafor pour produire un tracé en entonnoir, en utilisant les paramètres par défaut.

**Par exemple, supposons qu’il existe de nombreuses études expérimentales sur un certain effet. Ils sont tous précis, car ils ont tous de grandes tailles d’échantillons, sont effectués dans des conditions contrôlées facilitant des mesures précises avec des équipements sensibles, etc. Mais ils sont menés par différents groupes de recherche sur différentes espèces dans différentes conditions (contrôlées) d’une expérience à l’autre, donc il y a beaucoup d’hétérogénéité. Il existe également des études observationnelles du même effet. Ils sont tous imprécis, car ils ont des échantillons de petite taille. Mais ils ne sont pas si hétérogènes, car ils sont tous menés par le même groupe de recherche sur la même espèce dans des endroits proches. J’invente cette histoire du haut de ma tête, je n’ai aucune idée si c’est réellement ce qui se passe dans une véritable méta-analyse. Mais c’est le gentil de chose qui devrait se passer. Je pense? À vous de me dire!


Source link