Efekt “hledej jinde” popisuje, že zjištění, která se zdají být významná, mohla ve skutečnosti vzniknout čistě náhodou.

Výzkumné pracovníky vedou k tomu, aby statisticky významný výsledek hledali jinde, kognitivní předsudky, jako je optimistické zkreslení a ospravedlnění úsilí, a také systémové problémy ve vědecké komunitě. Matematicky řečeno, takový postup nutně zvyšuje pravděpodobnost, že jakýkoli zjištěný významný vztah bude ve skutečnosti jen náhodnou shodou okolností.

V 90. letech 20. století se vědci domnívali, že v knize Genesis objevili úžasný vzorec: posloupnost tvořená každým pátým písmenem obsahovala jména, data narození a úmrtí 32 významných rabínů. Jakkoli se to zdá na první pohled zázračné, i to je jen výsledek efektu “look-elsewhere”, protože při tak velkém množství dat se statisticky významný výsledek nutně dostaví.

V roce 2011 se fyzikové domnívali, že našli důkaz o existenci (v té době) nepolapitelné částice Higgsova bosonu. Ve skutečnosti byly vzorce, které podle nich naznačovaly existenci Higgsova bosonu, pravděpodobně jen náhodnými fluktuacemi v jejich obrovském souboru dat.

Předběžná registrace vědeckých studií a směřování ke zveřejňování statisticky nevýznamných výsledků jsou dva důležité kroky, které může vědecká komunita podniknout v boji proti efektu “look-elsewhere”.

Překlad: https://www.deepl.com/translator

The look-elsewhere effect describes how findings that appear to be significant might actually have arisen purely through chance.

Why it happens
Researchers are driven to continue “looking elsewhere” for a statistically significant result by cognitive biases such as optimism bias and effort justification, as well as by systemic problems in the science community. Mathematically speaking, doing so is bound to increase the chances that any significant relationship that gets detected will actually just be a random coincidence.

Example 1 – The Bible code and the look-elsewhere effect
In the 1990s, researchers believed they had discovered an amazing pattern in the Book of Genesis: the sequence formed by every fifth letter contained the names, birthdays, and death dates of 32 notable Rabbis. As miraculous as this seems at first blush, this too is also just a result of the look-elsewhere effect, because a statistically significant result is bound to happen with such a large amount of data.

Example 2 – Looking elsewhere for the Higgs boson
In 2011, physicists believed that they had found evidence of the (at that point) elusive Higgs boson particle. In fact, the patterns that they believed indicated the Higgs boson were probably just random fluctuations in their huge dataset.

How to avoid it
Preregistering scientific studies and moving towards publication of statistically insignificant results are two important steps that the scientific community can take to combat the look-elsewhere effect.

Sources:

• Camerer, C. F., Dreber, A., Forsell, E., Ho, T. H., Huber, J., Johannesson, M., … & Heikensten, E. (2016). Evaluating replicability of laboratory experiments in economics. Science, 351(6280), 1433-1436.
• Engber, D. (2019, April 19). Think psychology’s replication crisis is bad? Welcome to the one in medicine. Slate Magazine. https://slate.com/technology/2016/04/biomedicine-facing-a-worse-replication-crisis-than-the-one-plaguing-psychology.html
• Goldman, M. (2008). Why is multiple testing a proble,? [PDF]. The University of California, Berkeley. https://www.stat.berkeley.edu/~mgoldman/Section0402.pdf
• Koehrsen, W. (2018, February 7). The misleading effect of noise: The multiple comparisons problem. Medium. https://towardsdatascience.com/the-multiple-comparisons-problem-e5573e8b9578
• Kahneman, D. (2011). Thinking, fast and slow. Macmillan.
• Ackerman, C. E. (2016, September 1). Pollyanna principle: The psychology of positivity bias. PositivePsychology.com. https://positivepsychology.com/pollyanna-principle/
• Lovallo, D., & Kahneman, D. (2003, July). Delusions of success: How optimism undermines executives’ decisions. Harvard Business Review. https://hbr.org/2003/07/delusions-of-success-how-optimism-undermines-executives-decisions
• Aronson, E., & Mills, J. (1959). The effect of severity of initiation on liking for a group. The Journal of Abnormal and Social Psychology, 59(2), 177-181. https://doi.org/10.1037/h0047195
• Larson, R. C., Ghaffarzadegan, N., & Xue, Y. (2014). Too many PhD graduates or too few academic job openings: the basic reproductive number R0 in academia. Systems research and behavioral science, 31(6), 745-750.
• Inzlicht, M. (2020, June 26). The replication crisis is not over. Michael Inzlicht. https://michaelinzlicht.com/getting-better/2020/6/26/the-replication-crisis-is-not-over
• Center for Open Science. (n.d.). Preregistration. https://www.cos.io/initiatives/prereg
• In praise of replication studies and null results, Nature 578, 489-490 (2019).
• Ioannidis, J. P. (2005). Why most published research findings are false. PLoS medicine, 2(8), e124.
• John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological science, 23(5), 524-532.
• Yong, E. (2018, November 19). Psychology’s replication crisis is running out of excuses. The Atlantic. https://www.theatlantic.com/science/archive/2018/11/psychologys-replication-crisis-real/576223/

Zdroj: https://thedecisionlab.com/biases/look-elsewhere-effect