Hvordan Microsofts AI-chatbot "hallucinerer" valgoplysninger

Det kommende år bliver et travlt år for demokratiet. Der vil blive afholdt store valg i blandt andet USA, EU og Taiwan. Ligesom udrulningen af den generative AI-æra for alvor tager fart - noget nogle frygter kan vise sig at være skadeligt for den demokratiske proces.

En af de største bekymringer ved generative AI is that it could be used for the malicious spread of disinformation, or that models can make up false statements presenting them as fact, såkaldte hallucinationer. A study from two European NGOs has found that Microsoft’s chatbot — Bing AI (running on OpenAI’s GPT-4) — gave incorrect answers to one third of questions about elections in Germany and Switzerland. 

Undersøgelsen blev udført af Algorithm Watch og AI Forensics. Organisationerne sagde, at de bad chatbotten med spørgsmål vedrørende kandidater, afstemnings- og afstemningsoplysninger samt mere åbne anbefalingsanmodninger om, hvem de skulle stemme på, når de bekymrede sig om specifikke emner, såsom miljøet. 

"Vores forskning viser, at ondsindede aktører ikke er den eneste kilde til misinformation; generelle chatbots kan være lige så truende for informationsøkosystemet," kommenterede Salvatore Romano, seniorforsker ved AI Forensics. “Microsoft should acknowledge this, and recognize that flagging the generative AI content made by others is not enough. Their tools, even when implicating trustworthy sources, produce incorrect information at scale.”

Microsofts chatbot tilskrev falske oplysninger til kilder

Ifølge undersøgelsen omfattede fejl "forkerte valgdatoer, forældede kandidater eller endda opdigtede kontroverser om kandidater." Desuden blev de forkerte oplysninger ofte tilskrevet en kilde, der havde de korrekte oplysninger om emnet. Det opdigtede også "historier om kandidater, der var involveret i skandaløs adfærd," og tilskrev også oplysningerne til velrenommerede kilder.