Results

KTH - Kungliga Tekniska högskolan

04/25/2024 | News release | Distributed by Public on 04/25/2024 01:08

Textrobot höjer forskningen

- Det möjliggör ett helt nytt sätt att forska på - att studera och granska stora mängder texter vilket annars skulle vara ohanterligt, säger Erik Almlöf , doktorand som forskar om samhällseffekter av självkörande fordon.

Han stod inför uppgiften att analysera de 500 mest citerade artiklarna om självkörande fordon som publicerats i vetenskapliga tidskrifter.

Syftet var att bedöma om artiklarna hade en positiv, neutral eller negativ inställning till autonoma transportsystem. Detta för att få en bild av om det finns ett kritiskt förhållningssätt bland transportforskare till ett framtida samhälle med självkörande fordon.

- Att analysera 500 artiklar skulle vara väldigt svårt för människor. Jag och mina kollegor som validerade resultaten märkte att vi väldigt snabbt blev trötta av att kritiskt granska så många texter och att det var lätt att bli inkonsekvent i bedömningarna.

"Lita på resultaten"

Erik Almlöf är imponerad av tillförlitligheten i ChatGPT:s analys av artiklarna.

- Våra oberoende analyser visade stor grad av överensstämmelse, viket gjorde att vi kunde lita på resultaten.

Vad är största vinsten med ChatGPT?
- Det möjliggör analyser av texter på en helt annan skala än vad en människa kan göra. Många liknande studier har ofta ett väldigt litet underlag, vilket gör resultaten svåra att generalisera, men nu öppnar det upp sig helt andra möjligheter.

Samtidigt upptäckte han också begränsningarna. När han bad ChatGPT att specificera vilka vinster artikelförfattarna såg med införandet av självkörande fordon blev resultaten oanvändbara.

- Den bara hittade på saker och tog blandade citat ur texten. Så det gick inte alls, säger Erik Almlöf som dock tror att senare versioner av ChatGPT:s skulle kunna klarat uppgiften bättre.

- En viktig sak är att kritiskt granska resultaten så att ChatGPT:n inte "hallucinerar" eller missförstår uppgiften. ChatGPT sitter inte riktigt på kunskap, den bara gissar sig fram genom att se vad som vore mest troligt. I mitt fall funkade det bra.

Fordonstillverkare optimistiska

Erik Almlöf hoppas att fortsatt kunna använda ChatGPT.

- Kanske går det att använda för att analysera innehåll i längre intervjuer, vad människor skriver i frifält i enkätundersökningar och som ett sätt att söka i omfattande textmaterial.

När det gäller frågan huruvida de som studerar självkörande fordon har ett kritiskt perspektiv finns det en hel del i övrigt att önska, enligt Erik Almlöf. Både forskare och fordonstillverkare är lite väl optimistiska med tanke på att all ny teknik som införs i regel både har positiva och negativa sidor, menar han.

- Nästan ingen av de undersökta artiklarna hade ett kritiskt förhållningssätt, vilket troligtvis speglar att huvuddelen av forskarna är ingenjörer som försöker få tekniken att fungera, och inte samhällsforskare som undersöker vad det skulle kunna leda till.

Text: Christer Gummeson ([email protected])

ScienceDirect, Beyond the hype: A critical look at the motivations driving automated driving systems research doi.org/10.1016/j.trip.2024.101075