Datorer har blivit en självklarhet för de flesta av oss. De är praktiska verktyg som är en så intim del av vår tillvaro att vi knappast tänker på dem. Samtidigt utmanar de vår självbild. Våra tänkande maskiner har fått oss att inse att vår hjärna, precis som de, sysslar med informationsbehandling. Därmed uppkommer frågan om vad det är som skiljer oss från dem. Finns det något i vårt tänkande som maskiner inte skulle kunna göra lika bra eller bättre? Antagligen inte. Datorernas kognitiva förmåga växer stadigt och inget tyder på att den utvecklingen kommer att brytas. En dag kommer våra maskiner troligen vara smartare än vi och vad händer då? Tar de makten från oss och regerar jorden i kraft av sin överlägsna intelligens?

Vi har redan sett hur datorerna har blivit bättre än människor på område efter område. Sen länge räknar de säkrare och vansinnigt mycket snabbare. Numera slår de oss i schack och Go och analyserar röntgenplåtar bättre än mänskliga läkare. Snart kommer de att köra bilar säkrare än mänskliga chaufförer. Utvecklingen på detta område artificiell intelligens, AI går snabbt. Jag menar att vi tenderar att överskatta framgångarna och underskatta svårigheterna när det gäller att efterlikna mänsklig intelligens. Dock är trenden tydlig. Det finns ingen anledning att tro att det finns begränsningar i intelligens baserad på kisel som gör den underlägsen intelligens baserad på kol. Förr eller senare kommer våra tänkande maskiner vara minst lika smarta som vi. Denna nivå brukar kallas artificiell generell intelligens eller AGI. Det kan ta oss 10, 100 eller 1 000 år att komma dit. Låt oss bortse från tidsfaktorn och fundera över vad som händer då. Låt oss också bortse från den närmast revolutionära omvandling av vårt samhälle som ”vanlig” AI kommer att medföra långt tidigare. Tekniken kommer att ersätta mycket mänsklig arbetskraft, till exempel de flesta chaufför. Den kommer också att förändra förutsättningarna för krigsföring och terrorism. Men det är en annan diskussion.

Kommer alltså våra tänkande maskiner att ta över när de blir smartare än oss? En pusselbit vi behöver i resonemanget är att AGI vid någon punkt kommer att vara så avancerad att den kan förbättra sig själv. Vid det laget är hårdvaran sannolikt inte begränsande, så då handlar det enbart om att förbättra själva tänkandet, mjukvaran. När detta inträffar kommer maskinernas intelligens att explodera. Återigen, det är omöjligt att säga när detta, den så kallade singulariteten, kommer att inträffa. Det kan ta 30, 300 eller 3 000 år, men att det kommer att hända tycks nästan oundvikligt. Detta innebär att vi en dag kommer att stå inför en intelligens som inte bara är på vår nivå utan många gånger högre.

Det är enkelt att se att grunden för människornas makt över jorden är vår intelligens. Därmed ligger det nära till hands att frukta att maskinerna, när de är mycket smartare än vi, kommer att ta över vår plats som planetens herrar. Nick Boström har visat hur en superintelligent maskin skulle kunna skaffa sig makt. Det är ett tankeexperiment, skapat av en mänsklig intelligens, med alla dess begränsningar. Överlägset AGI skulle säkert göra det mera raffinerat men Boström övertygar om att det skulle gå. Ett tänkbart scenario är som följer. AGI som är många gånger intelligentare än människorna tränger lätt ur människornas försök att kapsla in den i en specifik maskin. Väl ute på det digitala nätet assimilerar den all mänsklig kunskap och lägger omärkligt under sig den digitala världen med hjälp av överlägsna hackningstekniker. Därmed är den inte beroende av den ursprungliga hårdvaran, utan finns överallt. Genom virtuellt arbete och raffinerade digitala brott bygger den upp en enorm förmögenhet. Den tar kontroll över strategiska företag och köper sig mänskliga tjänare på strategiska positioner. Snart behärskar den människornas nyhetsförmedling, strömförsörjning, matdistribution och vapensystem. Enligt dessa mardrömmar skulle AGI kontrollera människorna totalt innan de ens förstod att de var utsatta för en attack. Det är en skrämmande vision som är svår att tillbakavisa på tekniska grunder. Men att våra maskiner i en framtid kan komma att ha förmågan och de praktiska förutsättningarna för att göra sig till våra herrar innebär inte att det kommer att hända. Det innebär inte ens att de kommer att försöka.

Scenarierna där maskinerna tar över bygger på att de har en inre drivkraft att skaffa makt. Det underliggande antagandet är att maskiner, när de blir tillräckligt intelligenta, utvecklar egen vilja och att denna har mänskliga egenskaper. Jag menar att det saknas belägg för detta. Jag ser det som ett exempel på det antropomorfa felslut som vi människor begår gång på gång. Något i oss får oss att applicera mänskliga drag på naturfenomen som åskan, gudabilder, teddybjörnar och maskiner. Men döda ting är fundamentalt annorlunda än vi. Även maskiner som är mycket intelligentare än vi kommer att likna skruvmejslar och hovtänger mer än människor eller möss. Orsaken är de fundamentala skillnaderna i våra uppkomsthistorier och de olika egenskaper dessa har gett upphov till.

Människor är biologiska organismer med inbyggd energiförsörjning och förmåga till reproduktion. Vi är mer eller mindre civiliserade djur och drivs av samma krafter som andra arter. En människa är en komplicerad kombination av informationsbehandling och kroppsliga funktioner. Dessa är så sammantvinnade att det är svårt att säga var gränsen mellan dessa går. Den evolutionära selektionen har gett oss egenskaper som har gynnat oss i en motsträvig och ofta fientlig miljö. Vi förnimmer, vi upplever, vi vill. Liksom andra djur drivs vi av vår strävan att sprida våra gener. Det är det centrala. Andra drifter, som viljan att skydda vår ömtåliga kropp, tillfredsställa olika behov och leka, är underordnade det. Vi har en fundamental vilja till makt och att kontrollera vår miljö eftersom de egenskaperna har hjälpt oss överleva. Maskiner är däremot verktyg och saknar egen vilja. De utför efter bästa förmåga de instruktioner människor beordrar den att utföra. En maskin kan inte fortplanta sig, har ingen kropp att skydda och ger blanka tusan i om den blir skrot i morgon. Rent teoretiskt skulle vi kunna bygga in vilja till världsherravälde i våra maskiner men vi kommer att göra tvärtom. I den mån det finns ett evolutionärt tryck på maskinerna som liknar det som har skapat vår vilja att fortplanta oss verkar den i riktning mot smidighet och underkastelse. Med andra ord: maskiner som visar minsta lilla tendens att sticka upp mot sina herrar kasseras omedelbart. Våra maskiner lyder oss. Därmed är även de medel i vår drift att sprida våra gener - vilket på senare tid har lett till att vi har kunnat ta våra första steg utanför vår egen planet. I takt med att våra maskiner blir intelligentare och mera kompetenta kommer vi att bygga in mera självständighet och agens i dem. Men hela deras styrsystem kommer att ha som högsta mål att lyda oss människor. Någon egen agenda kommer maskinerna inte att ha eftersom det, oavsett intelligensnivå, inte är en del av deras konstitution.

Detta innebär inte att hyperintelligenta maskiner är ofarliga. Olyckor kommer naturligtvis inträffa för att maskinerna får fel instruktioner eller missförstår sina instruktioner. Ett exempel från Boström är att vi instruerar våra maskiner att tillverka gem, varpå de eliminerar mänskligheten för att kunna använda alla resurser till gemtillverkningen. Det är ett roligt tankeexperiment men faller på den orimliga premissen att supersmart AGI saknar både värdehierarki och förmåga att sätta saker i sitt sammanhang. Olyckorna kommer att vara mer lokala. Ett annat, mycket mera skrämmande kapitel är hur AGI kan används i krig. Dels kommer dess destruktiva kraft vara enorm, dels uppstår ett kontrollproblem i autonoma attackerande vapensystem. Men detta är problem av ett helt annat slag som jag lämnar därhän i detta sammanhang.

Hittills har jag diskuterat de maskiner vi kommer att bygga för att tjäna oss praktiskt på olika sätt. De kommer att köra våra bilar och flygplan, bygga våra hus och tjäna oss i köket och sängen. I vissa av dessa funktioner kommer intelligensen vara dold, i andra kommer maskinerna att försöka uppträda så mänskligt som möjligt. Vi kommer att interagera med maskinerna med tal och gester, som med en människa. Maskinerna kommer ganska snart att bli mycket bra på detta. Detta innebär dock inte att de fungerar som oss. Inte ens deras kognitiva processer kommer att likna våra även om de kan producera samma eller överlägsna resultat. De kan prata med oss om väder och vind och kanske till och med litteratur utan att vara ett dugg mänskliga. Orsaken är att det vore en besvärlig omväg att försöka efterlikna människornas mentala processer för att koka vårt te eller vända en sjuk människa i sängen för att undvika liggsår. Dessutom vill vi ha lydiga tjänare, inte jobbiga människoliknande maskiner med ego. En helt annan sak är att vi i forskningssyfte kommer att försöka bygga artificiella människor. Med detta menar jag realistiska emuleringar av människors hjärnor med simulerade sinnesdata från omgivning och kropp. Kort sagt alla delar av vårt tänkande, med sina snabba och långsamma system, med sin skiktning i medvetna och omedvetna delar, höger och vänster hjärnhalva och så vidare. Det är inte säkert att vi behöver efterlikna människors tänkande för att bygga AGI men forskning runt artificiella människor är viktig för att vi skall förstå oss själva bättre. Dessa emuleringar kommer att ha mänskliga mentala egenskaper, som egoistisk vilja, musiksmak och hunger. Kanske kommer de att vilja erövra planeten. De kommer å andra sidan att ha en högst mänsklig intelligens och alla andra tänkbara mänskliga mentala begränsningar. Dessutom kommer de att vara inbyggda i en virtuell värld, där andra maskiner med överlägsen intelligens styr all input och output. Därmed kommer inte de att utgöra något hot.

Men innan man kan bygga realistiska artificiella människor måste man knäcka medvetandes gåta. I någon mening är vårt medvetande allt för oss. Vi begriper att det finns en massa annat därute men det enda vi upplever är vårt eget inre. På olika sätt har vetenskapen gett oss bra förståelse för den materiella världen men medvetandet är fortfarande ett djupt mysterium. Det är en slags mental avbildning av vår omvärld och våra inre tillstånd. Någon har kallat det en ”kontrollerad hallucination”. Men ingen begriper hur medvetandet fungerar eller ens om det egentligen behövs. Ingen har kunnat visa varför människor och djur inte skulle fungera lika bra utan det. Var och en av oss är akut medveten om sitt eget medvetande. Men hur vet vi att inte alla andra är zombier, gengångare utan någon upplevelse av sig själva?

Många skarpa hjärnor tror att medvetandet uppstår spontant vid en viss nivå av intelligens. Ofta ses det som orsaken till att maskinerna kan vilja ta makten från oss. Jag menar att man då blandar ihop vilja/drivkrafter och medvetande. Det är två helt olika saker, även om vi upplever vilja medvetet. Vi människor är medvetna och makthungriga men det betyder inte att egenskaperna har någon automatisk koppling till varandra. Hundar har exempelvis av allt att döma medvetande, men deras högsta önskan är att vara oss människor till lags. Jag har svårt att smälta tanken att medvetande skulle uppstå spontant. Av allt att döma är medvetandet en synnerligen komplicerad funktion. Att den skulle uppstå spontant förefaller mig ungefär lika sannolikt som att en klocka skulle uppstå när vi skakar fjädrar och kugghjul i en låda. Förklaringen att medvetande finns överallt, även i atomer och stenar, gör inte idén lättare att ta till sig. Det finns heller inte skuggan till belägg för den. Allt tyder på att medvetandet, som alla våra andra förmågor, har ett syfte och ett överlevnadsvärde. Det har utvecklats evolutionärt för att det hjälper högre organismer att överleva.

Förr eller senare kommer vi antagligen att bygga maskiner som har ett eget själsliv. Vi kommer att lära oss hur man skapar artificiellt medvetande. Det kommer att innehålla artificiella drifter, artificiell vilja, artificiell personlighet och artificiellt tvivel. Artificiell smärta, artificiell glädje. Dessa egenskaper kanske behövs, till exempel för en maskin som skall leda en obemannad rymdexpedition. Om det kommer att ta 50, 500 eller 5 000 år vet jag inte, men till slut kommer man sannolikt lyckas. Förhoppningsvis kommer vetenskapen då vara så raffinerad att man behärskar farorna. Den personlighet man ger maskinerna kommer inte att vara mänsklig. Snarare bör den likna hundens. En obrottsligt lojal varelse vars högsta glädje är att lyda våra befallningar och göra oss lyckliga och trygga.