Det har föreslagits av ett antal akademiker och policyexperter att International Science Council – med sitt pluralistiska medlemskap från samhälls- och naturvetenskaperna – upprättar en process för att ta fram och underhålla en kommenterad ram/checklista över risker, fördelar, hot och möjligheter förknippas med digitala tekniker som rör sig snabbt, inklusive – men inte begränsat till – AI. Syftet med checklistan skulle vara att informera alla intressenter – inklusive regeringar, handelsförhandlare, tillsynsmyndigheter, civilsamhället och industri – om potentiella framtidsscenarier, och skulle rama in hur de kan överväga möjligheter, fördelar, risker och andra frågor.
ISC är glada att kunna presentera detta diskussionsunderlag om utvärdering av digital och relaterad teknik som utvecklas snabbt. Artificiell intelligens, syntetisk biologi och kvantteknologier är utmärkta exempel på innovation, informerad av vetenskapen, som växer fram i en aldrig tidigare skådad takt. Det kan vara utmanande att systematiskt förutse inte bara deras tillämpningar utan också deras implikationer.
Att utvärdera de samhälleliga aspekterna av generativ AI, såsom stora språkmodeller, som förutsägbart representerar huvuddelen av detta diskussionsunderlag, är en nödvändig bro inom den nuvarande diskursen – ibland panikdriven, andra gånger inte tillräckligt djupgående i tanken – och de nödvändiga kurserna för åtgärder vi kan vidta. ISC är övertygad om att det krävs en analytisk ram mellan den sociala acceptansen av sådan ny teknik och deras eventuella reglering för att underlätta de diskussioner med flera intressenter som behövs för att fatta välgrundade och ansvarsfulla beslut om hur man optimerar de sociala fördelarna med denna snabbt framväxande teknik.
ISC är öppen för reaktioner från vårt samhälle genom detta diskussionsunderlag för att bedöma hur man bäst kan fortsätta vara en del av och bidra till debatten kring teknik.
Salvatore Aricò, VD
Ett ISC-diskussionspapper
Ett ramverk för att utvärdera snabbt utvecklande digitala och relaterade teknologier: AI, stora språkmodeller och mer
Detta diskussionsunderlag ger en översikt över ett första ramverk för att informera om de många globala och nationella diskussioner som äger rum relaterade till AI.
Ladda ner rapportenNy! Läs 2024-versionen för beslutsfattare med ett nedladdningsbart ramverk för din organisation.
En guide för beslutsfattare: Utvärdera snabbt utvecklande teknik inklusive AI, stora språkmodeller och mer
Detta diskussionsunderlag ger en översikt över ett första ramverk för att informera om de många globala och nationella diskussioner som äger rum relaterade till AI.
Innehåll
Beskrivning
Snabbt framväxande tekniker innebär utmanande frågor när det gäller deras styrning och potentiella reglering. De politiska och offentliga debatterna om artificiell intelligens (AI) och dess användning har satt dessa frågor i akut fokus. Även om breda principer för AI har förkunnats av UNESCO, OECD och andra, och det finns begynnande diskussioner om global eller jurisdiktionell reglering av tekniken, finns det en ontologisk klyfta mellan utvecklingen av högnivåprinciper och deras införlivande i reglering, policy, tillvägagångssätt för styrning och förvaltning. Det är här det icke-statliga forskarsamhället skulle kunna ha en särskild roll.
Det har föreslagits av ett antal akademiker och policyexperter att International Science Council (ISC) – med sitt pluralistiska medlemskap från samhälls- och naturvetenskaperna – upprättar en process för att ta fram och underhålla en kommenterad ram/checklista över risker, fördelar, hot och möjligheter förknippade med digitala tekniker som rör sig snabbt, inklusive – men inte begränsat till – AI. Syftet med checklistan skulle vara att informera alla intressenter – inklusive regeringar, handelsförhandlare, tillsynsmyndigheter, civilsamhället och industri – om potentiella framtidsscenarier, och skulle rama in hur de kan överväga möjligheter, fördelar, risker och andra frågor.
Resultaten skulle inte fungera som ett bedömningsorgan, utan som en adaptiv och utvecklande analytisk ram som skulle kunna underbygga alla bedömnings- och regleringsprocesser som kan utvecklas av intressenter, inklusive regeringar och det multilaterala systemet. Alla analytiska ramar bör helst utvecklas oberoende av myndigheters och industrins påståenden, med tanke på deras förståeliga intressen. Det måste också vara maximalt pluralistiskt i sina perspektiv, och därmed omfatta alla aspekter av tekniken och dess implikationer.
Detta diskussionsunderlag ger en översikt över ett första ramverk för att informera om de många globala och nationella diskussioner som äger rum relaterade till AI.
Bakgrund: Varför ett analytiskt ramverk?
Den snabba framväxten av en teknik med komplexiteten och implikationerna av AI driver många påståenden om stora fördelar. Men det väcker också farhågor för betydande risker, från individ till geostrategisk nivå. Mycket av diskussionen tenderar att äga rum i de yttersta ändarna av spektrumet av åsikter, och ett mer pragmatiskt förhållningssätt behövs. AI-teknik kommer att fortsätta att utvecklas och historien visar att praktiskt taget varje teknik har både fördelaktiga och skadliga användningsområden. Frågan är därför: hur kan vi uppnå fördelaktiga resultat av denna teknik, samtidigt som vi minskar risken för skadliga konsekvenser, av vilka några kan vara existentiella i omfattning?
Framtiden är alltid osäker, men det finns tillräckligt med trovärdiga och expertröster när det gäller AI och generativ AI för att uppmuntra ett relativt försiktigt tillvägagångssätt. Dessutom behövs en systemansats, eftersom AI är en klass av teknologier med bred användning och tillämpning av flera typer av användare. Detta innebär att hela sammanhanget måste beaktas när man överväger implikationerna av AI för individer, socialt liv, samhällsliv, samhällsliv och i det globala sammanhanget.
Till skillnad från de flesta tidigare teknologier har digitala och relaterade teknologier en mycket kort tid från utveckling till release, till stor del driven av produktionsbolagens eller byråernas intressen. AI är snabbt genomgripande; vissa egenskaper kan bli uppenbara först efter release, och tekniken kan ha både illvilliga och välvilliga tillämpningar. Viktiga värdedimensioner kommer att påverka hur all användning uppfattas. Vidare kan det finnas geostrategiska intressen på spel.
Hittills har regleringen av en virtuell teknik till stor del setts genom linsen av "principer" och frivillig efterlevnad. På senare tid har diskussionen emellertid vänts till frågor om nationell och multilateral styrning, inklusive användningen av reglerande och andra politiska verktyg. Påståendena för eller emot AI är ofta hyperboliska och – med tanke på teknikens natur – svåra att bedöma. Att etablera ett effektivt globalt eller nationellt teknikregleringssystem kommer att vara utmanande, och flera lager av riskinformerat beslutsfattande kommer att behövas längs kedjan, från uppfinnare till producent, till användare, till myndigheter och till det multilaterala systemet.
Medan högnivåprinciper har promulgerats av bland annat UNESCO, OECD och Europeiska kommissionen, och olika högnivådiskussioner pågår angående frågor om potentiell reglering, finns det ett stort ontologiskt gap mellan sådana principer och en styrning eller regelverk. Vilken är taxonomin för överväganden som en tillsynsmyndighet kan behöva överväga? En snävt fokuserad inramning skulle vara oklokt med tanke på de breda implikationerna av dessa teknologier. Denna potential har varit föremål för många kommentarer, både positiva och negativa.
Utveckling av ett analytiskt ramverk
ISC är den primära globala NGO som integrerar natur- och samhällsvetenskap. Dess globala och disciplinära räckvidd innebär att den är väl lämpad att generera oberoende och globalt relevant rådgivning för att informera om de komplexa val som väntar, särskilt eftersom de nuvarande rösterna på denna arena till stor del kommer från industrin eller från de stora tekniska makterna. Efter omfattande diskussioner under de senaste månaderna, inklusive övervägande av en icke-statlig bedömningsprocess, drog ISC slutsatsen att dess mest användbara bidrag skulle vara att ta fram och upprätthålla en adaptiv analytisk ram som kan användas som grund för diskurs och beslutsfattande av alla intressenter, inklusive under alla formell bedömningsprocesser som dyker upp.
Detta ramverk skulle ha formen av en övergripande checklista som skulle kunna användas av både statliga och icke-statliga institutioner. Ramverket identifierar och utforskar potentialen hos en teknik som AI och dess derivat genom en vid lins som omfattar mänskligt och samhälleligt välbefinnande, såväl som externa faktorer, såsom ekonomi, politik, miljö och säkerhet. Vissa aspekter av checklistan kan vara mer relevanta än andra, beroende på sammanhanget, men bättre beslut är mer sannolikt om alla domäner beaktas. Detta är det inneboende värdet av en checklista-metod.
Det föreslagna ramverket är härlett från tidigare arbete och tänkande, inklusive International Network for Governmental Science Advice (INGSA) digitala välbefinnanderapport1 och OECD AI Classification Framework2 att presentera helheten av de potentiella möjligheterna, riskerna och effekterna av AI. Dessa tidigare produkter var mer begränsade i sin avsikt med tanke på deras tid och sammanhang, det finns ett behov av ett övergripande ramverk som presenterar hela skalan av frågor både på kort och lång sikt.
Även om detta analytiska ramverk utvecklats för att överväga AI, skulle det kunna tillämpas på vilken snabbt framväxande teknik som helst. Frågorna är i stort sett grupperade i följande kategorier för vidare granskning:
En lista med överväganden för var och en av ovanstående kategorier ingår tillsammans med deras respektive möjligheter och konsekvenser. Vissa är relevanta för specifika instanser eller tillämpningar av AI medan andra är generiska och agnostiska för plattform eller användning. Inget enskilt övervägande som ingår här bör behandlas som en prioritet och därför bör alla granskas.
Hur skulle detta ramverk kunna användas?
Detta ramverk kan användas på, men inte begränsat till, följande sätt:
Följande tabell är en tidig utformning av dimensionerna av ett analytiskt ramverk. Beroende på tekniken och dess användning kommer vissa komponenter att vara mer relevanta än andra. Exemplen tillhandahålls för att illustrera varför varje domän kan ha betydelse; i sammanhanget skulle ramverket kräva en kontextuellt relevant expansion. Det är också viktigt att skilja mellan plattformsutvecklingar och de generiska frågor som kan dyka upp under specifika applikationer.
Dimensioner att tänka på när man utvärderar en ny teknik
| Inledande utkast till de dimensioner som kan behöva beaktas vid utvärdering av en ny teknik | ||
| Dimensioner för påverkan | Kriterier | Exempel på hur detta kan återspeglas i analys |
| Individ/ själv | Användarnas AI-kompetens | Hur kompetenta och medvetna om systemets egenskaper är de troliga användarna som kommer att interagera med systemet? Hur kommer de att få relevant användarinformation och varningar? |
| Berörda intressenter | Vilka är de primära intressenterna som kommer att påverkas av systemet (dvs. individer, samhällen, utsatta, sektorsarbetare, barn, beslutsfattare, yrkesverksamma)? | |
| Alternativ | Har användare möjlighet att välja bort systemet; ska de ges möjligheter att utmana eller korrigera resultatet? | |
| Risker för mänskliga rättigheter och demokratiska värderingar | Kan systemet påverka (och i vilken riktning) mänskliga rättigheter, inklusive, men inte begränsat till, integritet, yttrandefrihet, rättvisa, risk för diskriminering, etc.? | |
| Potentiella effekter på människors välbefinnande | Kan systemet påverka (och i vilken riktning) den enskilda användarens välbefinnande (dvs. jobbkvalitet, utbildning, sociala interaktioner, psykisk hälsa, identitet, miljö)? | |
| Potential för mänsklig arbetskraftsförflyttning | Finns det en potential för systemet att automatisera uppgifter eller funktioner som utfördes av människor? Om så är fallet, vilka är konsekvenserna nedströms? | |
| Potential för identitets-, värderings- eller kunskapsmanipulation | Är systemet utformat för att eller potentiellt kunna manipulera användarens identitet eller värderingar, eller sprida desinformation? Finns det en potential för falska eller overifierbara påståenden om expertis? | |
| Mått på egenvärde | Finns det press att gestalta ett idealiserat jag? Kan automatisering ersätta en känsla av personlig uppfyllelse? Finns det press att konkurrera med systemet på arbetsplatsen? Görs individuellt rykte svårare att skydda mot desinformation? | |
| Integritetspolicy | Finns det spridit ansvar för att skydda integriteten och görs det några antaganden om hur personuppgifter används? | |
| Autonomi | Kan systemet påverka människans autonomi genom att skapa övertilltro till tekniken hos slutanvändare? | |
| Mänsklig utveckling | Finns det en inverkan på förvärvet av nyckelfärdigheter för mänsklig utveckling, såsom exekutiva funktioner, interpersonella färdigheter, förändringar i uppmärksamhetstid som påverkar inlärning, personlighetsutveckling, psykisk hälsa, etc.? | |
| Personlig hälsovård | Finns det påståenden om personliga hälsovårdslösningar? Om så är fallet, är de validerade enligt lagstadgade standarder? | |
| Mental hälsa | Finns det risk för ökad ångest, ensamhet eller andra psykiska problem, eller kan tekniken mildra sådana effekter? | |
| Mänsklig evolution | Kan tekniken leda till förändringar i mänsklig evolution? | |
| Dimensioner för påverkan | Kriterier | BESKRIVNING |
| Samhälle/socialt liv | Samhällsvärden | Förändrar systemet i grunden samhällets natur eller möjliggör normalisering av idéer som tidigare ansetts asociala, eller bryter det mot de samhälleliga värderingarna i den kultur där det tillämpas? |
| Social interaktion | Finns det en effekt på meningsfull mänsklig kontakt, inklusive känslomässiga relationer? | |
| Rättvisa | Är det sannolikt att applikationen/tekniken minskar eller ökar ojämlikheterna (dvs. ekonomiska, sociala, utbildningsmässiga, geografiska)? | |
| Befolkning hälsa | Finns det en potential för systemet att främja eller undergräva befolkningens hälsoavsikter? | |
| Kulturellt uttryck | Är en ökning av kulturell appropriering eller diskriminering sannolikt eller svårare att ta itu med? Utesluter eller marginaliserar beroendet av systemet för beslutsfattande potentiellt delar av samhället? | |
| Offentlig utbildning | Finns det en effekt på lärarroller eller utbildningsinstitutioner? Framhäver eller minskar systemet ojämlikhet mellan studenter och den digitala klyftan? Är det inneboende värdet av kunskap eller kritisk förståelse avancerat eller undergrävt? | |
| Förvrängda verkligheter | Är de metoder vi använder för att urskilja vad som är sant fortfarande tillämpliga? Äventyras verklighetsuppfattningen? | |
| Ekonomisk kontext (handel) | Industrisektorn | Vilken industrisektor används systemet inom (dvs finans, jordbruk, hälsovård, utbildning, försvar)? |
| Affärsmodell | I vilken affärsfunktion används systemet och i vilken egenskap? Var används systemet (privat, offentligt, ideellt)? | |
| Inverkan på kritiska aktiviteter | Skulle en störning av systemets funktion eller aktivitet påverka viktiga tjänster eller kritisk infrastruktur? | |
| Utplaceringens andetag | Hur distribueras systemet (snävt inom en organisation kontra utbrett nationellt/internationellt)? | |
| Teknisk mognad (TRL) | Hur tekniskt moget är systemet? | |
| Teknisk suveränitet | Driver tekniken större koncentration av teknisk suveränitet. | |
| Inkomstomfördelning och nationella finanspolitiska hävstänger | Kan den suveräna statens kärnroller äventyras (dvs reservbankerna)? Kommer statens förmåga att möta medborgarnas förväntningar och konsekvenser (dvs sociala, ekonomiska, politiska) att förbättras eller minska? | |
| Dimensioner för påverkan | Kriterier | BESKRIVNING |
| Medborgerligt liv | Styrning och public service | Kan styrningsmekanismer och globala styrsystem påverkas positivt eller negativt? |
| Nyhetsmedia | Kommer det offentliga samtalet sannolikt att bli mer eller mindre polariserat och förankrat på befolkningsnivå? Kommer det att påverka nivåerna av förtroende för media? Kommer den konventionella journalistikens etik och integritetsstandarder att påverkas ytterligare? | |
| Rättsregel | Kommer det att finnas en effekt på förmågan att identifiera individer eller organisationer att hålla ansvariga (dvs vilken typ av ansvar att tilldela en algoritm för negativa resultat)? Skapar detta en förlust av suveränitet (dvs. miljö, skattepolitik, socialpolitik, etik)? | |
| Politik och social sammanhållning | Finns det en möjlighet till mer förankrade politiska åsikter och mindre möjlighet till konsensusskapande? Finns det möjlighet att ytterligare marginalisera grupper? Görs motstridiga politiska stilar mer eller mindre sannolika? | |
| Geostrategisk/ geopolitisk kontext | Precisionsövervakning | Är systemen tränade på individuella beteendemässiga och biologiska data, och i så fall kan de användas för att utnyttja individer eller grupper? |
| Digital kolonisering | Kan statliga eller icke-statliga aktörer utnyttja system och data för att förstå och kontrollera andra länders befolkningar och ekosystem, eller för att undergräva jurisdiktionskontrollen? | |
| Geopolitisk konkurrens | Påverkar systemet konkurrensen mellan nationer och teknikplattformar för tillgång till individuell och kollektiv data för ekonomiska eller strategiska syften? | |
| Handel och handelsavtal | Har systemet konsekvenser för internationella handelsavtal? | |
| Skift i globala makter | Är nationalstaternas status som världens främsta geopolitiska aktörer hotad? Kommer teknikföretag att utöva makt en gång reserverad för nationalstater och håller de på att bli oberoende suveräna aktörer? | |
| desinformation | Är det lättare för statliga och icke-statliga aktörer att producera och sprida desinformation som påverkar social sammanhållning, tillit och demokrati? | |
| Miljö | Energi- och resursförbrukning (carbon footprint) | Ökar systemet och kraven upptaget av energi och resursförbrukning utöver de effektivitetsvinster som uppnås genom applikationen? |
| Dimensioner för påverkan | Kriterier | BESKRIVNING |
| Data och input | Detektering och insamling | Insamlas data och input av människor, automatiserade sensorer eller båda? |
| Uppgifternas härkomst | När det gäller data är dessa tillhandahållna, observerade, syntetiska eller härledda? Finns det vattenstämpelskydd för att bekräfta härkomst? | |
| Datans dynamiska karaktär | Är data dynamisk, statisk, uppdaterad då och då eller uppdaterad i realtid? | |
| Rättigheter | Är data proprietär, offentlig eller personlig (dvs relaterade till identifierbara individer)? | |
| Identifierbarhet av personuppgifter | Om personuppgifter, är de anonymiserade eller pseudonymiserade? | |
| Datastrukturen | Är data strukturerad, semi-strukturerad, komplex strukturerad eller ostrukturerad? | |
| Dataformat | Är formatet på data och metadata standardiserat eller icke-standardiserat? | |
| Datans skala | Vad är datauppsättningens skala? | |
| Lämpligheten och kvaliteten på uppgifterna | Är datasetet lämpligt för syftet? Är urvalsstorleken tillräcklig? Är det representativt och tillräckligt komplett? Hur bullriga är data? Är det felbenäget? | |
| Modell | Informations tillgänglighet | Finns information om systemets modell tillgänglig? |
| Typ av AI-modell | Är modellen symbolisk (mänskligt genererade regler), statistisk (använder data) eller hybrid? | |
| Rättigheter förknippade med modell | Är modellen öppen källkod, eller proprietär, egen- eller tredjepartshanterad? | |
| Enstaka eller flera modeller | Består systemet av en modell eller flera sammanlänkade modeller? | |
| Generativ eller diskriminerande | Är modellen generativ, diskriminerande eller både och? | |
| Modellbyggnad | Lär systemet sig baserat på mänskligt skrivna regler, från data, genom övervakat lärande eller genom förstärkningsinlärning? | |
| Modellutveckling (AI-drift) | Utvecklas och/eller förvärvar modellen förmågor genom att interagera med data på fältet? | |
| Federerat eller centralt lärande | Är modellen tränad centralt eller i flera lokala servrar eller "edge"-enheter? | |
| Utveckling och underhåll | Är modellen universell, anpassningsbar eller skräddarsydd för AI-aktörens data? | |
| Deterministisk eller probabilistisk | Används modellen på ett deterministiskt eller probabilistiskt sätt? | |
| Modelltransparens | Finns information tillgänglig för användarna så att de kan förstå modellutdata och begränsningar eller använda begränsningar? | |
| Beräkningsbegränsning | Finns det beräkningsbegränsningar för systemet? Kan vi förutsäga kapacitetshopp eller skalningslagar? | |
| Dimensioner för påverkan | Kriterier | BESKRIVNING |
| Uppgift och output | Uppgifter som utförs av systemet | Vilka uppgifter utför systemet (dvs. igenkänning, händelsedetektering, prognoser)? |
| Att kombinera uppgifter och handlingar | Kombinerar systemet flera uppgifter och åtgärder (dvs innehållsgenereringssystem, autonoma system, kontrollsystem)? | |
| Systemets nivå av autonomi | Hur autonoma är systemets handlingar och vilken roll spelar människan? | |
| Grad av mänskligt engagemang | Finns det något mänskligt engagemang för att övervaka den övergripande aktiviteten i AI-systemet och förmågan att bestämma när och hur systemet ska användas i alla situationer? | |
| Kärnapplikation | Tillhör systemet ett kärnapplikationsområde som mänskliga språkteknologier, datorseende, automatisering och/eller optimering eller robotik? | |
| Utvärdering | Finns standarder eller metoder tillgängliga för att utvärdera systemutdata eller hantera oförutsedda framväxande egenskaper? | |
Nyckel till källor till deskriptorerna
Oformatterad text:
Gluckman, P. och Allen, K. 2018. Förstå välbefinnande i samband med snabba digitala och associerade transformationer. INGSA. https://ingsa.org/wp-content/uploads/2023/01/INGSA-Digital-Wellbeing-Sept18.pdf
Fettext:
OECD. 2022. OECDs ramverk för klassificering av AI-system. OECD Digital Economy Papers, nr 323, OECD Publishing, Paris. https://oecd.ai/en/classification
Kursiv text:
Nya beskrivningar (från flera källor)
En väg framåt
Beroende på svaret på detta diskussionsunderlag, skulle en expertarbetsgrupp bildas av ISC för att vidareutveckla eller ändra ovanstående analytiska ram med hjälp av vilken intressenter heltäckande kan titta på alla betydande utvecklingar, antingen av plattformar eller användningsdimensioner. Arbetsgruppen skulle vara disciplinärt, geografiskt och demografiskt mångsidig, med expertis som spänner från teknikbedömning till offentlig politik, från mänsklig utveckling till sociologi och framtids- och teknikstudier.
För att engagera dig i detta diskussionsdokument, besök Council.science/publications/framework-digital-technologies
Tack
Många personer har konsulterats under utvecklingen av detta dokument, som utarbetades av Sir Peter Gluckman, ordförande, ISC och Hema Sridhar, tidigare chefsforskare, försvarsministeriet, och nu seniorforskare, University of Auckland, Nya Zeeland.
I synnerhet tackar vi Lord Martin Rees, tidigare president för Royal Society och medgrundare av Center for the Study of Existential Risks, University of Cambridge; Professor Shivaji Sondhi, professor i fysik, University of Oxford; Professor K Vijay Raghavan, tidigare främsta vetenskaplig rådgivare till Indiens regering; Amandeep Singh Gill, FN:s generalsekreterares sändebud för teknik; Dr Seán Óh Éigeartaigh, verkställande direktör, Center for the Study of Existential Risks, University of Cambridge; Amanda-June Brawner, Senior Policy Adviser och Ian Wiggins, Director of International Affairs, Royal Society UK; Dr Jerome Duberry, Dr Marie-Laure Salles, direktör, Geneva Graduate Institute; Mr Chor Pharn Lee, Center for Strategic Futures, premiärministerns kansli, Singapore; Barend Mons och Dr Simon Hodson, kommittén för data (CoDATA); Prof Yuko Harayama, Japan; Professor Rémi Quirion, president, INGSA; Dr Claire Craig, University of Oxford och tidigare chef för framsyn, Government Office of Science; och Prof Yoshua Bengio, FN:s generalsekreterares vetenskapliga rådgivande nämnd och vid Université de Montréal. Tillvägagångssättet med checklistor godkändes generellt och aktualiteten av alla åtgärder från ISC betonades.
Bild: adamichi på iStock