Cómo ser un consumidor inteligente de la investigación en ciencias sociales

McHyburrs/Getty Images

Los estudios académicos de ciencias sociales suelen arrojar resultados muy diferentes. Incluso en disciplinas como la medicina, en las que cabría imaginar que existe una relación física y directa entre la intervención que se está probando y sus consecuencias, los resultados pueden variar, pero muchos piensan que la situación es peor en las ciencias sociales. Esto se debe a que la relación entre una intervención y sus efectos puede depender de varios factores, y las diferencias en el contexto o la implementación pueden tener un gran impacto en los resultados de los estudios.

Hay otros motivos por los que los estudios podrían informar efectos diferentes. Por un lado, los errores fortuitos podrían afectar a los resultados de un estudio. Los investigadores también pueden sesgar sus resultados de forma consciente o subconsciente. Todas estas fuentes de variabilidad han hecho temer una «crisis de replicación» en la psicología y otras ciencias sociales relacionadas con los negocios. Dada esta variabilidad, ¿cómo debemos consumir las pruebas?

La respuesta inmediata es no confiar demasiado en ningún estudio. Siempre que sea posible, busque metanálisis o revisiones sistemáticas que sinteticen los resultados de muchos estudios, ya que pueden proporcionar pruebas más creíbles y, a veces, sugerir las razones por las que los resultados son diferentes.

Al tener en cuenta el peso que se debe dar a un estudio y sus resultados, preste atención al tamaño de la muestra. Es particularmente probable que los estudios no se repliquen si se basan en una muestra pequeña. Los resultados más positivos y negativos suelen ser los que tienen las muestras más pequeñas o los intervalos de confianza más amplios. Los estudios más pequeños tienen más probabilidades de no replicarse en parte debido al azar, pero los efectos también pueden reducirse a medida que aumenta el tamaño de la muestra, por varias razones. Si el estudio consistía en probar una intervención, es posible que haya restricciones de capacidad que impidan una implementación de alta calidad a gran escala. Por ejemplo, si estuviera probando un programa de formación, puede que no necesite contratar personal a tiempo completo para ejecutarlo, pero si ampliara el programa, lo haría necesita contratar personal nuevo y puede que no lo dirijan tan bien.

Los estudios más pequeños también suelen centrarse en la muestra exacta que produciría los mayores efectos. Esto tiene una lógica: si tiene una intervención costosa que puede asignar solo a unas pocas personas, puede realizar una clasificación y asignarla a las que más podrían beneficiarse de ella. Pero eso significa que el efecto probablemente sería menor si implementara la intervención en un grupo más grande. De manera más general, puede resultar útil pensar en qué cosas podrían ser diferentes si la intervención se ampliara. Por ejemplo, es poco probable que las pequeñas intervenciones afecten al mercado en general, pero si se amplían, la competencia o los reguladores podrían cambiar su comportamiento en respuesta.

Del mismo modo, tenga en cuenta las peculiaridades de la muestra, el contexto y la implementación. ¿Cómo llegaron los investigadores a estudiar a las personas, las empresas o los productos que estudiaban? ¿Esperaría que esta muestra tuviera un mejor o peor rendimiento que la muestra que le interesa? La configuración también podría haber afectado a los resultados. ¿Había algo especial en la configuración que pudiera haber hecho que los resultados fueran más grandes?

Si el estudio consistía en evaluar una intervención, la forma en que se implementó esa intervención es muy importante. Por ejemplo, supongamos que escucha que los mensajes recordatorios pueden mejorar la asistencia a las citas. Si estuviera pensando en implementar un sistema de recordatorios, probablemente querría saber la frecuencia de los mensajes que envían los investigadores y su contenido para evaluar si puede obtener resultados diferentes.

También puede tener más confianza en los resultados de un estudio si hay algún mecanismo causal claro que explique los hallazgos y que sea constante en todos los entornos. Algunos resultados de la economía del comportamiento, por ejemplo, sugieren que ciertas reglas del comportamiento humano están programadas. Desafortunadamente, estos mecanismos pueden ser muy difíciles de descubrir, y muchos experimentos de economía del comportamiento que inicialmente parecían reflejar una regla programada no se han podido replicar, como la conclusión de que la felicidad aumenta la paciencia. Sin embargo, si hay una razón convincente por la que esperemos ver los resultados que ha obtenido un estudio, o si hay una razón teórica sólida por la que podemos esperar que un resultado en particular se generalice, eso debería llevarnos a confiar más en los resultados.

Por último, si suena demasiado bueno para ser verdad, probablemente lo sea. Puede que suene a tópico, pero se basa en un principio de las estadísticas bayesianas: las afirmaciones de extraños deberían requerir pruebas más sólidas para cambiar las creencias o «antecedentes». Si nos tomamos nuestros antecedentes en serio, y hay motivos para creer que, de media, a los humanos se les da muy bien hacer muchos tipos de predicciones — entonces resultados que en realidad parecen improbables son es menos probable que sea cierto. En otras palabras, manteniendo constante la importancia de un resultado o la potencia de un estudio, la probabilidad de que se dé un informe de «falso positivo» o «falso negativo» varía según la probabilidad de que pensemos que es cierto antes de escuchar las nuevas pruebas.

Este artículo hace hincapié en la importancia de basarse en muchos estudios, en lugar de basarse demasiado en un solo estudio. ¿Y si no se han realizado muchos estudios? Si ese es el caso, tal vez quiera tener en cuenta otras fuentes de pruebas, como consejos o predicciones de otras personas. Al igual que con la investigación en ciencias sociales, puede que reciba consejos contradictorios, pero las previsiones agregadas pueden ser bastante precisas. Sin embargo, asegúrese de que sus fuentes no se basen en la misma información; investigación ha descubierto que las personas son objeto de una «negligencia correlacional», de modo que cuando varios expertos o medios de comunicación basan sus informes en el mismo estudio, las personas tratan incorrectamente esas fuentes como independientes y terminan sobreponderando los resultados de ese estudio.

En general, confíe en una mezcla de su experiencia y las pruebas, pero tenga cuidado de no confiar demasiado en sus valoraciones. La mayoría de las personas podrían beneficiarse de sopesar más las pruebas, incluso cuando los resultados varíen.