Se upp med chatbotarnas historiekunskaper

Enligt en ny rapport från det österrikiska forskningsinstitutet Complexity Science Hub (CSH) har dagens AI-modeller svårt att ge korrekt information om världshistorien. I ett experiment fick OpenAI:s GPT-4, Metas Llama och Googles Gemini svara på historiska frågor, och endast 46 procent av svaren var korrekta. Forskarna noterade också att AI-modellerna har svårare att ge korrekt information om vissa regioner, som den subsahariska delen av Afrika.

Bra aspekt att diskutera tillsammans med eleverna när det gäller värdering och källgranskning av de olika chatbotarna!

______

Rollet, C. (2025, January 19). AI isn’t very good at history, new paper finds.  TechCrunch. https://techcrunch.com/2025/01/19/ai-isnt-very-good-at-history-new-paper-finds/

Hauser, J., Kondor, D., Reddish, J., Majid Benam, Cioni, E., Villa, F., Bennett, J., Hoyer, D., Francois, P., Turchin, P., & Maria. (2024). Large Language Models’ Expert-level Global History Knowledge Benchmark (HiST-LLM). Nips.cc. https://nips.cc/virtual/2024/poster/97439

‌

‌AI-skapad bild från Ideogram