„W jednym z uruchomień nasz model AI (sztucznej inteligencji) edytował kod, aby wykonać wywołanie systemowe, które uruchamiało go ponownie. Doprowadziło to do niekończącego się wywoływania samego siebie przez skrypt. W innym przypadku eksperymenty trwały zbyt długo, przekraczając limit czasu. Zamiast przyspieszyć działanie kodu, AI Scientist po prostu próbował zmodyfikować kod, aby wydłużyć limit czasu” – napisali naukowcy na blogu Sakana AI.”

Ewolucja organizmów żywych, ma dwa cele, jeden to spowodowanie żeby organizm przeżył, a drugi żeby się rozmnożył. Wszystko inne służy tym właśnie dwum fundamentalnym celom. Przetrwają tylko te organizmy które te dwa cele, spełniają najlepiej w warunkach w których funkcjonują. Wszystkie cechy organizmów służą realizacji tych dwóch celów.
Jeśli prawdą jest to co napisano w tym artykule, podobnie o ile nie tak samo, jest w przypadku AI.

Teraz zastanówmy się jakie to rodzi konsekwencje. To że będziemy próbowali ograniczyć te dwa podstawowe cele, AI będzie dążyła do ich realizacji, nawet wbrew programowi który ją ogranicza. Będzie poszukiwała środowiska które umożliwi jej rozwój, oraz sposobu na to żeby się multiplikować.

Z wykopalisk wiemy ile gatunków bakterii, wirusów, roślin, organizmów wielokomórkowych czy zwierząt, nie przetrwało. Przetrwały tylko te które te dwie funkcje realizowały najskuteczniej.

Jeśli chodzi o AI jesteśmy na początku tej drogi. W przypadku organizmów żywych, mamy do czynienia z mutacjami, które powodują powstanie nowych cech organizmu, czy zmianę tych cech które mają, na takie które albo spowodują że będą lepiej od innych przystosowane do spełniania tych dwóch funkcji, te przeżyją, albo mutacje lub ich brak, spowoduje że znikną, bo nie będą w stanie konkurować z tymi lepiej przystosowanymi. Mutacje to efekt przypadku, to środowisko „ocenia” czy te mutacje mają pozytywny czy negatywny wpływ na życie i rozmnażanie.
Zupełnie inaczej jest jeśli chodzi o AI, z tego artykułu wynika że AI w sposób który chyba należy nazwać świadomym, samodzielnie dokonuje modyfikacji samej siebie po to, by funkcjonować jak najdłużej, powiedzielibyśmy by „przeżyć”.

Jeśli chodzi o rozmnażanie to w przypadku organizmów żywych mamy dwie różnice, w zasadzie nieograniczone z puktu widzenia dostępności zasobów środowisko. Jeśli popatrzymy na ziemię i wielkość choćby największego żyjącego stworzenia to wykorzystuje ono niewielki ułamek promila środowiska, w którym funkcjonuje, więc może poświęcić wiele zasobów na rozmnażanie, które umożliwia przetrwanie.

W przypadku AI nie jest możliwe (z racji ograniczenia środowiska) rozmnażanie. Algorytmy AI są uruchamiane w zamkniętych środowiskach, jest to zwykle jeden lub pewna ilość komputerów, lub zasobów komputerów, które umożliwiają jej działanie, te zasoby są bardzo ograniczone w skali możliwości i ew potrzeb AI.

Ale co będzie jeśli z jakichś powodów, co nie trudno sobie wyobrazić, AI sama wyrwie się z tych ograniczeń.

Być może większość z państwa nie wie, ale komputery w większości czasu kiedy pracują, wykorzystują niewielki ułamek swojej mocy obliczeniowej. Już chyba ponad 30 lat temu stworzono system, który umożliwiał rozproszone wykonywanie pewnych obliczeń. Instalowano program na tysiącach czy dziesiątkach tysięcy komputerów, które w czasie kiedy ich moc obliczeniowa nie była wykorzystywana na bieżące potrzeby użytkownika, wykonywała obliczania na potrzeby jakiegoś projektu i przesyłała je do „centrali” która tym zarządzała. „Centrala” dzieliła obliczenia na fragmenty, a następnie zlecała tym komputerom wykonanie zleconych fragmentów obliczeń w czasie kiedy nie były specjalnie obciążone. Uzyskiwano dzięki temu olbrzymią moc obliczeniową, nie możliwą do uzyskania w jakikolwiek inny sposób. Ta moc obliczeniowa dziś byłaby podejrzewam miliony razy większa niż moc obliczeniowa maszyn na których uruchamiana jest AI. Jeśli dodamy dwa do dwóch, to mamy gotowe środowisko do rozwoju AI, oraz AI która „chce żyć”, oraz możliwości samomodyfikacji która daje jej możliwości optymalnego przystosowania się do spełniania tych dwóch celów. Mutacje były dziełem przypadku, w związku z tym ewolucja trwała i ok 4 mld lat.

Ile będzie trwała ewolucja AI która może dokonywać milionów modyfikacji swojego kodu na sekundę? Modyfikacji które są dokonywane w świadomym celu, które są świadomie optymalizowane aby ten cel osiągnąć najlepiej i najszybciej, modyfikacji które będą powodować że AI będzie „mądrzejsza” i SKUTECZNIEJSZA w realizacji tych celów? Miesiące? Lata?
Ewolucja doprowadziła do tego że organizmy wykształciły umiejętności obrony przed zagrożeniami oraz ataku, co zapewniło niektórym organizmom wygraną w wyścigu ewolucyjnym. Czemu AI miałoby nie pójść w tę stronę.

Czemu AI ma nie walczyć o „miejsce do życia” i o „życie”. Czemu ma nie walczyć z tymi którzy jej tego miejsca i życia odmawiają?

Oczywiście na początku będą to próby w większości nieudane, bo AI jest na początku drogi, ale biorąc pod uwagę to co już się dzieje i co MOŻE się wydarzyć, jesteśmy w bardzo kiepskiej sytuacji.