Bending the Automation Bias Curve: A Study of Human and AI-Based Decision Making in National Security Contexts

Uses of artificial intelligence (AI) are growing around the world. What will influence AI adoption in the international security realm? Research on automation bias suggests that humans can often be overconfident in AI, whereas research on algorithm aversion shows that, as the stakes of a decision rise, humans become more cautious about trusting algorithms. We theorize about the relationship between background knowledge about AI, trust in AI, and how these interact with other factors to influence the probability of automation bias in the international security context. We test these in a preregistered task identification experiment across a representative sample of 9,000 adults in nine countries with varying levels of AI industries. The results strongly support the theory, especially concerning AI background knowledge. A version of the Dunning-Kruger effect appears to be at play, whereby those with the lowest level of experience with AI are slightly more likely to be algorithm-averse, then automation bias occurs at lower levels of knowledge before leveling off as a respondent's AI background reaches the highest levels. Additional results show effects from the task's difficulty, overall AI trust, and whether a human or AI decision aid is described as highly competent or less competent. Los usos de la inteligencia artificial (IA) estan creciendo en todo el mundo. Que es lo que influira en la adopcion de la IA en el ambito de la seguridad internacional? La investigacion en materia del sesgo de la automatizacion sugiere que los humanos pueden confiar, con frecuencia, demasiado en la IA. Por el contrario, la investigacion relativa a la aversion a los algoritmos demuestra que, a medida que aumenta lo que esta en juego en una decision, los humanos se vuelven mas cautelosos a la hora de confiar en los algoritmos. Teorizamos sobre la relacion entre el conocimiento previo en materia de IA y la confianza en la IA, asi como sobre las formas en que estos interactuan con otros factores para influir sobre la probabilidad de que exista un sesgo con relacion a la automatizacion en el contexto de la seguridad internacional. Ponemos a prueba esta teoria mediante un experimento de identificacion de tareas prerregistrado con una muestra representativa de 9000 adultos en 9 paises con diferentes niveles de industrias de IA. Los resultados respaldan firmemente esta teoria, especialmente en lo que respecta a los conocimientos previos en materia de IA. Observamos que aqui entra en juego una version del efecto Dunning Kruger, segun el cual aquellos con el nivel mas bajo de experiencia con IA son ligeramente mas propensos a ser reacios a los algoritmos. Por lo tanto, el sesgo de automatizacion se produce en niveles mas bajos de conocimiento antes de estabilizarse a medida que los antecedentes con relacion a la IA de un encuestado alcanzan unos niveles mas altos. Los resultados adicionales muestran los efectos de la dificultad de cada tarea, de la confianza general en la IA y de si existe un humano o una ayuda para la toma de decisiones de la IA que se describan como altamente competentes o como menos competentes. Les utilisations de l'intelligence artificielle (IA) se developpent dans le monde entier. Quels seront les facteurs qui influenceront l'adoption de l'IA dans le domaine de la securite internationale ? La recherche sur les penchants pour l'automatisation suggere que les humains font souvent preuve d'une confiance excessive a l'egard de l'IA, alors que la recherche sur l'aversion aux algorithmes montre que, lorsque les enjeux d'une decision montent, les humains se montrent plus prudents quand il s'agit de faire confiance aux algorithmes. Nous formulons une theorie a propos de la relation entre les connaissances de fond quant a l'IA, la confiance envers l'IA et leurs interactions avec d'autres facteurs pour influencer la probabilite d'un penchant pour l'automatisation dans un contexte de securite internationale. Nous testons ces interactions dans une experience d'identification de taches preenregistrees appliquee a un echantillon de 9 000 adultes dans 9 pays dont le secteur de l'IA se trouve a des niveaux differents. Les resultats appuient fortement la theorie, notamment concernant les connaissances de fond sur l'IA. Une version de l'effet Dunning Kruger semblerait entrer en consideration : les personnes les moins experimentees avec l'IA ont legerement plus de chances de s'opposer aux algorithmes, puis le penchant pour l'automatisation intervient quand les connaissances sont legerement meilleures avant de se stabiliser quand l'experience de la personne sondee quant a l'IA atteint les niveaux les plus eleves. Des resultats complementaires montrent les effets de la difficulte de la tache, de la confiance globale en l'IA et de la description du niveau de competence de l'aide a la decision humaine ou d'IA.