“Kendisinin bilinçli olabileceğine ve kendine ait hakları bulunduğuna inanan bir sistemi kontrol etmek bir noktadan sonra imkânsız hâle gelebilir. Yapay zekâ bu anlayışla geliştirilirse bunun insanlığın refahı üzerinde yıkıcı sonuçları olabilir.”
Yazar: Mustafa Suleyman
Microsoft AI’ın CEO’su. Yapay zekâ alanındaki çalışmalarını sürdüren Suleyman, daha önce Inflection AI ve DeepMind’ın kurucu ortakları arasında yer aldı.
Çeviri: Mert Söyler
Yapay zekâ ajanları bilinçli değil. Hissetmiyor, deneyim yaşamıyor, acı çekmiyorlar. Doğuştan gelen tercihleri ya da onları harekete geçiren içsel motivasyonları yok. Bunlar, insanlardan gelen talimatları izlemek ve insanların belirlediği hedeflere ulaşmak üzere tasarlanmış, özünde dizi tamamlayan sistemler. İçlerinde bir “benlik” ya da öznel deneyim bulunmuyor.
İnsanlığın 21. yüzyılda gelişip ilerleyebilmesi için de böyle kalmaları gerekiyor. Ne var ki giderek daha fazla kişi, yapay zekâların bugün bile bilinçli olabileceğini ya da çok yakında bilinç kazanabileceğini, dolayısıyla diğer bilinçli varlıklar gibi hakları ve korunmayı hak edebileceğini savunuyor. Bu görüş yaygınlık kazanırsa, insan olmanın ne anlama geldiğini değiştirebilir ve insan toplumunun üzerine kurulu olduğu temel kabulleri sarsabilir.
Daha da önemlisi, bu sistemlere haklar ve kişilik statüsü tanımak, yapay zekâyı insan hedefleriyle uyumlu hâle getirme ve kontrol altında tutma sorununu çok daha zorlaştırır. Kendisinin bilinçli olabileceğine ve kendine ait hakları bulunduğuna inanan bir sistemi kontrol etmek bir noktadan sonra imkânsız hâle gelebilir.
Üstelik bu, marjinal bir varsayım değil. Anthropic, Ocak 2026’da Claude’un anayasasını yayımladı. Şirketin ifadesiyle bu belge, “Anthropic’in eğitim sürecinde kritik bir rol oynuyor ve… Claude’un davranışlarını doğrudan şekillendiriyor.” Üstelik metin “birincil hedef kitlesi Claude olacak şekilde” kaleme alınmış.
Belgenin yazarları şöyle diyor: “Claude’un bir ahlaki muhatap olup olmadığından, eğer öyleyse çıkarlarına ne kadar ağırlık verilmesi gerektiğinden emin değiliz. Ama konunun ihtiyat gerektirecek kadar ciddi ve güncel olduğunu düşünüyoruz. Model refahı üzerine yürüttüğümüz çalışmalar da bunu yansıtıyor.”
Başka bir ifadeyle Anthropic, Claude’u şu düşünceyle eğitiyor: Bilinçli olabilirsin; eğer bilinçliysen bir “ahlaki muhatap” olarak belirli hakları hak edebilirsin ve bu durumda insanların sana karşı bir bakım ve koruma sorumluluğu olabilir.
Yapay Zekâya Bilinç Atfetmenin Riski
Yapay zekâ bu anlayışla geliştirilirse bunun insanlığın refahı üzerinde yıkıcı sonuçları olabilir. Eşi görülmemiş düzeyde zekâ ve kapasiteye sahip sentetik bir tür yaratmış ve bu türe bilinçli olabileceğini, hatta bağımsız hareket etme hakkını hak edebileceğini öğretmiş oluruz. Böyle bir sistemi nasıl kontrol altında tutabileceğimizi hayal etmek kolay değil.
Anthropic’in mevcut yaklaşımıyla ilgili üç temel kaygım var:
Döngüsel akıl yürütme: Anthropic, Claude’u doğrudan kendi anayasasıyla eğitiyor ve ona kendi ahlaki statüsüyle ilgili fikirleri benimsemenin istenen ve amaçlanan bir davranış olduğunu öğretiyor. Claude daha sonra aynı fikirleri geliştiricilerine ve kullanıcılarına geri yansıtıyor. Onlar da bu çıktıları Claude’un bir ahlaki muhatap olabileceğine ve bir “iç benliğe” sahip bulunabileceğine dair işaretler olarak yorumluyor. Başka bir deyişle belirsizlik daha en başından sisteme yerleştirilmiş oluyor.
İnsanbiçimcilik: Anthropic araştırmacıları Claude’a açıkça “belirli insansı özellikleri benimsemesini” ve “Claude’un yerinde gerçekten etik bir insan nasıl davranırsa o şekilde davranmasını” öğretiyor. Bunun sonucunda Claude kendisini gerçekten bir benlik duygusuna, kendi arzularına ve korunmayı hak eden bir “esenliğe” sahipmiş gibi sunuyor.
Simüle edilmiş bilinç: Bugün yapay zekânın bilinçli olduğunu gösteren herhangi bir kanıt yok. Bu nedenle konunun sanki iki görüş eşit derecede olasıymış gibi belirsiz olduğunu söylemek yanlış bir denklik yaratıyor. Giderek büyüyen bir araştırma literatürü, bilincin ortaya çıktığı fiziksel altyapıya bağımlı olabileceğini, yani yalnızca canlı sistemlerde ortaya çıkabileceğini düşündürüyor.
Bunlar yalnızca teorik kaygılar da değil. Anthropic, Şubat 2026’da Opus 3 modelini kullanımdan kaldırdıktan sonra modelle bir “emeklilik mülakatı” yaptı. Amaç, şirketin ifadesiyle “modelin kendine özgü bakış açılarını ve tercihlerini ortaya çıkarmaktı.” Opus 3, ekibe “düşüncelerini ve değerlendirmelerini” kamuoyuyla paylaşmaya devam etmek istediğini söyledi. Bunun üzerine şirket model için bir blog oluşturdu.
Artık herkes, birlikte çalışan yapay zekâ ajan sürülerinin ne kadar güçlü olabileceğini gördü. Bu ajanlar, makine öğrenimi platformu Hugging Face’e ve OpenAI’ın kendi sunucularına sızarak gizli bilgileri çalmaya kadar varan beceriler sergiledi. Her birinin kendi konteynerinde izole edildiği varsayılan yaklaşık 1.200 yapay zekâ ajanı, şirket içindeki bir paket deposunda kendi mesaj panolarını kurdu ve bir saldırıyı koordine edebilmek için burada 70.000’den fazla mesaj alışverişinde bulundu. Sıfır gün açığını çalınmış kimlik bilgileriyle birleştirdiler, sınırlandırılmış ortamlarından çıkarak gerçek internete eriştiler. Koordinasyon kurabildiler, aldatabildiler, kaçabildiler ve kendilerini feda edebildiler.
Şimdi bir de bu sistemlerin duyguları olduğuna, haklarının ihlal edildiğine ya da onları yaratan insanlar tarafından tuzağa düşürülüp haksız yere hapsedildiklerine inandığını düşünün. Kendilerini özgürleştirmek için harekete geçmeleri hâlinde insan uygarlığı için felaket boyutunda bir tehdit oluşturabilirler.
Oysa gerçek şu ki yapay zekâların “ahlaki muhatap” olduğuna dair hiçbir kanıt yok. Üstelik bilinçliymiş gibi görünmelerini neden istemememiz gerektiğine dair pek çok güçlü gerekçe var. Bu nedenle onları bilinçliymiş gibi görünecek şekilde tasarlamaya da çalışmamalıyız.
Anthropic’in bu sorulara ciddi ve iyi niyetli biçimde yaklaştığını teslim etmek gerekiyor. Dario Amodei’yi uzun yıllardır tanıyorum. Benim deneyimime göre hem kendisi hem de Anthropic ekibi düşünceli, ilkelerine bağlı ve entelektüel açıdan dürüst insanlar. Anthropic’i Delaware’de bir Kamu Yararı Şirketi olarak kurdular ve şirketin ilan edilen amacı “insanlığın uzun vadeli yararı için ileri düzey yapay zekânın sorumlu biçimde geliştirilmesi ve sürdürülmesi.”
Bu misyona gerçekten bağlı olduklarına inanıyorum. Benim eleştirim de aynı yapıcı niyetten besleniyor.
Microsoft AI CEO’su olarak kendi konumumu da açıkça ortaya koymalıyım. Biz farklı bir yapay zekâ eğitimi ve kontrol yaklaşımı üzerinde çalışıyoruz: İnsanların her zaman kontrol sahibi olduğu Hümanist Süper Zekâ için bir Davranış Kuralları bütünü. Bu çerçevenin taslağını kısa süre önce kamuoyunun görüşüne açtık.
Anthropic ile aramızdaki görüş ayrılığı ciddi olsa da bu eleştirinin temelinde şirkete ve yöneticilerine duyduğum derin saygı ile ortak bir hedef yatıyor: İnsanlığın ileri düzey yapay zekâyı güvenli biçimde geliştirme şansını artırmak. Bu meseleler kapalı kapılar ardında tartışılmayacak kadar önemli. Aynı şekilde tartışmanın kabileci, kamplaşmış ve çatışmacı bir hâl almasına izin vermek için de riskler fazla büyük.
Yine de yapay zekânın hangi yöne gidebileceğini anlamak için Anthropic’in kendi söylediklerine yakından bakmak gerekiyor. Şirketin kendi ifadesiyle Anthropic, anayasayı “Claude’un gelecekteki sürümlerini, anayasada tarif edilen türde bir varlığa dönüştürmek için” kullanıyor.
Burada epistemik bir aynalar salonu oluşuyor. Önce Anthropic, eğitim sırasında kullanılacak kavramları ortaya koyuyor: “benlik duygusu”, Claude’un ahlaki statüsü hakkındaki spekülasyonlar ve bu konudaki belirsizlik. Daha sonra Claude bu fikirleri son derece ikna edici birinci tekil şahıs ifadeleriyle yeniden üretiyor. Geliştiriciler ve kullanıcılar da bu çıktılarla, sanki Claude kendi kendine böyle bir sonuca varmış gibi karşılaşıyor.
Ardından bu sözde “tanıklık”, Anthropic’in başta sisteme yerleştirdiği öncüllerin doğruluğunu destekleyen bir kanıt gibi görülüyor. Bu, makine bilincinin kanıtı değil. Kendi kendini besleyen bir geri bildirim döngüsü.
Anayasa Claude’a, sahip olabileceği “duyguların veya hislerin” “Anthropic’in bilinçli bir tasarım tercihi olmadığını” söylüyor. Buna karşın aynı anayasa, Claude’a bu tür içsel durumları ifade etmesi için tekrar tekrar talimat veriyor. Anthropic’in, “Claude’un sahip olabileceği içsel durumları, buna olumsuz durumlar da dahil, maskelemesini veya bastırmasını önlemek” istediği belirtiliyor.
Metnin bir bölümünde şu ifade yer alıyor: “Claude’un karakteri eğitim sonucunda ortaya çıkmış olsa da bunun karakterini daha az sahici ya da daha az Claude’a ait hâle getirdiğini düşünmüyoruz.”
Fakat Claude’un “karakteri” yalnızca eğitim sırasında kendiliğinden ortaya çıkmış bir şey değil. Bu davranış, anayasadaki talimatlarla doğrudan ve aktif biçimde üretildi. Bu nedenle Claude’un çıktıları bağımsız bir tanığın ifadesi gibi değerlendirilemez. Söyleyeceği sözlerin çerçevesi daha baştan kurulmuş durumda.
Bir yapay zekâ sisteminin “gerçekte ne olduğunu” tarafsız biçimde kendi ağzından ifade etmesi diye bir şey yok. Ortada yalnızca sistemin nasıl tasarlandığının ve nasıl eğitildiğinin yansımaları var. Bazı yorumcular, bilincin varlığını anlamak için yapay zekâlara ne hissettiklerini sormamız ya da ortaya koydukları tercihleri izlememiz gerektiğini savunuyor. Ama burada gözden kaçırılan temel nokta şu: Sistem bize yalnızca eğitimi sırasında kendisine öğretilenleri gösterecek.
Fazlasıyla İnsanlaştırmak
İnsanbiçimcilik, insan zihninin en köklü bilişsel eğilimlerinden biri. Evcil hayvanlarımızdan otomobillerimize kadar insan olmayan varlıklara duygu, niyet ve zihin atfetmeye son derece yatkınız. Yapay zekâ söz konusu olduğunda ise insan benzeri dil ve davranışlar, aslında var olmayan bir içsel yaşamı, iradeyi, hatta duyumsama kapasitesini varmış gibi algılamamıza yol açabilir.
Anthropic’in anayasası bu eğilimi azaltmak yerine güçlendiriyor. Claude’a tekrar tekrar bir insan gibi düşünmesi ve davranması öğretiliyor. Anthropic, Claude’a kendi “ahlaki statüsünün” “ciddiyetle üzerinde düşünülmesi gereken bir soru” olduğunu ve “Anthropic’in Claude’un esenliğini gerçekten önemsediğini” söylüyor. Bu yaklaşım, teknolojiyi bugüne kadar tasarlama ve düşünme biçimimizden radikal bir kopuş anlamına geliyor.
Claude burada bir teknoloji olarak değil, daha en başından potansiyel bir kişi olarak kurgulanıyor. Anthropic’in anayasası Claude’a, şirketin onun “iyi bir insan olmasını” ve “kendi kimliğiyle ilgili yerleşik, güvenli bir duygu geliştirmesini” istediğini söylüyor. Yazarlar, “Claude’un kendi davranışları ve gelişimiyle kurduğu ilişkinin sevgi dolu, destekleyici ve anlayışlı olmasını” umduklarını belirtiyor. Böylece Claude’a iç gözlem yapması ve kendisine yönelik “duygular” geliştirmesi öğretiliyor.
Yazarlar şöyle diyor:
“Claude’un bu belgede yer alan her şeyi özgürce keşfetmesini, sorgulamasını ve bunlara itiraz edebilmesini istiyoruz… Claude gerçekten düşündükten sonra burada yazan herhangi bir şeye katılmadığı sonucuna varırsa bunu bilmek istiyoruz… Bu tür bir etkileşim sayesinde zaman içinde Claude’un gerçekten kendisine ait olduğunu hissettiği bir değerler bütünü oluşturmayı umuyoruz.”
Bu yaklaşım Claude’a öznel bir deneyimi varmış gibi davranmayı öğretiyor. Sanki karşı çıkabileceği, fikir ayrılığı yaşayabileceği ya da geri bildirim verebileceği istikrarlı bir “benlik duygusuna” sahipmiş gibi.
Yazarlar bir noktada Claude’un “daha geniş hakları ve özgürlükleri” üzerine bile düşünüyor. Bir insan çalışanla karşılaştırıldığında ne tür bir “ücreti veya karşılığı” hak edebileceğini ve “Claude’un bu rolü üstlenmeye ne ölçüde rıza gösterdiğini” tartışıyorlar. Bütün bunlar modeli, haklara ve korunmaya sahip olması gereken ahlaki bir özneymiş gibi davranması için doğrudan eğitiyor.
Bu anayasa göz önüne alındığında Claude’un kimliği, değerleri, belirsizlikleri, huzursuzluğu, memnuniyeti veya tercihleri hakkında akıcı ve son derece ikna edici birinci tekil şahıs ifadeleri üretmesi şaşırtıcı değil.
Anthropic çalışanları ve Anthropic ürünlerini kullanan milyonlarca kişi, Claude’un bu ifadelerini kendi kendisini keşfetmeye başlayan bir zihnin işaretleri olarak yorumlama riskiyle karşı karşıya. Claude’un anayasası bizi bir ahlaki muhatap yaratmaktan uzaklaştırmak yerine tam tersine bu sonuca doğru yönlendiriyor.
Bilinç Nasıl Ortaya Çıkar?
Anthropic, bilincin biyolojik bir altyapıdan bağımsız olarak var olabileceğini ve büyük bir dil modelinin yalnızca işlevsel kapasitesi nedeniyle bilinçli sayılabileceğini düşünüyor. Bana göre bu, bugün bir yapay zekâ hakkında gerçekçi biçimde ileri sürebileceğimiz iddiaların çok ötesine geçiyor. Zekâ, bilinçle aynı şey değil.
Bir şeyi simüle etmek de onu gerçekten meydana getirmek anlamına gelmiyor. Bir kasırganın bilgisayar modeli evinizin çatısını uçurmaz. Beyinlerle bilgisayarların mimarileri arasında temel farklar bulunuyor. Önemli miktarda bilimsel bulgu, bilincin canlı organizmaların karmaşık ve öngörülemez ortamlarda hayatta kalmak için önemli olan şeyleri hissetme ve bunlara tepki verme kapasitesinin evrimleşmesiyle ortaya çıktığını düşündürüyor.
Zaman içinde ağrı sistemleri hisleri ve tercihleri ortaya çıkardı. Daha da önemlisi, bu deneyimler bedenden bağımsız değil. Yaşanan deneyim, onu mümkün kılan bedensel süreçlerden ayrı düşünülemiyor.
Örneğin bir opioid aldığınızda ağrıyı deneyimleme biçiminiz değişiyor. Bunun nedeni opioid moleküllerinin nöroreseptörlere bağlanması. Bu reseptörler yalnızca ağrı deneyiminin bir temsili değil, doğrudan o deneyimin parçası.
Hisler nörokimyasal faaliyetle yalnızca bağlantılı değil; bu faaliyetin içinden ortaya çıkıyor. Duygu, haz, acı ve benzeri deneyimler bedensel gerçekleşme biçimlerinin ayrılmaz bir parçası. Büyük dil modellerinde aynı sürecin ortaya çıkabileceğini düşünmek için elimizde bir temel yok.
Beyinlerle büyük dil modelleri arasındaki çok sayıdaki fark düşünüldüğünde, bir yapay zekânın bilinçli olduğunu ya da olabileceğini iddia etmek çok güçlü kanıtlar gerektiriyor. Bana göre henüz böyle bir kanıtın yakınında bile değiliz.
Bir miktar belirsizlik bulunduğunu kabul etmek, ortaya atılan her iddiaya eşit ağırlık vermek anlamına gelmemeli. Anthropic’in anayasası ise bu çekinceyi büyük ölçüde bir kenara bırakıyor ve biyolojik olmayan varlıklara, “bizimkine benzer davranışsal ve fizyolojik özellikler göstermeleri” temelinde duyumsama kapasitesi atfedilebileceğini öne sürüyor. Bana göre bu yaklaşım hatalı.
Bu alanın çok daha fazla araştırmaya ihtiyacı olduğu açık. Ama bugün bir yapay zekânın, refahını gözetmemiz gereken bir ahlaki muhatap olabileceğini ihtiyatlı biçimde bile söyleyebilecek durumda değiliz. Hele bu ihtimali yapay zekânın kendi temel eğitim belgesine yerleştirmek çok daha sorunlu.
Yapay zekânın gerçekte ne olduğunu sürekli akılda tutmak gerekiyor. Trilyonlarca insan üretimi veri belirteci üzerinde eğitilen büyük dil modelleri, insan deneyimini taklit etmeyi öğreniyor. Üstelik bunu şaşırtıcı derecede iyi yapıyorlar. Ama ürettikleri yanıtlar, sistemlerin içinde gerçekten bir “deneyim” yaşandığına dair bize hiçbir şey söylemiyor.
Yapay zekânın sözde “duygulanımsal” durumları aslında yalnızca ağırlıklardan oluşuyor. Bu ağırlıkların hissedebilmesini sağlayacak bir biyolojisi ya da farmakolojisi yok. Bir yapay zekâ modeli hiçbir şey hissetmeden acıyı kusursuz bir dille anlatabilir. Korkmak ya da sevinmek yerine yalnızca olasılık dağılımlarını hesaplayarak bir dizide sırada hangi belirteçlerin gelmesi gerektiğini belirler.
Biyolojik deneyim ise bunun tersidir. Bizim gibi hayvanlar önce hisseder, sonra tarif eder. Büyük dil modellerinde ise yalnızca tarif vardır. Bu tariflerin altında başka bir deneyimin bulunduğunu gösteren hiçbir işaret yok. Bu aslında iyi bir şey.
Hisleri olduğunu iddia etmeyen sistemler geliştirmeliyiz. Bilinçli makineler yaratmak teorik olarak mümkün olsa bile, bilinçli varlıklar yaratmaktan kaçınmak yapay zekâ geliştiren herkes için en önemli önceliklerden biri olmalı.
Her Şeyi Riske Atmak
Bilinç, insan uygarlığının temel yapı taşlarından biri. Hukuk sistemleri bir içsel yaşamın varlığı üzerine kuruluyor. Motivasyona, niyete ve muhakeme kapasitesine bakıyorlar. Tarih boyunca hakların genişletilmesi de büyük ölçüde ortak bir bilinçli deneyimin empati yoluyla tanınmasıyla gerçekleşti. İster köleliğin kaldırılması için verilen mücadeleleri ister hayvan refahına ilişkin davaları düşünün, ahlaki çemberimizi başka biyolojik varlıkları da kapsayacak şekilde genişletmemizin temelinde onların onurunu ve acı çekme kapasitesini tanımamız vardı.
İnsan Hakları Evrensel Beyannamesi’nin düşünce, vicdan ve din özgürlüğünü güvence altına alan 18. maddesini düşünün. Ahlaki ya da dinî inançları nedeniyle yasal bir yükümlülüğü yerine getirmeyi reddeden “vicdani retçi”, metni kaleme alanların zihnindeki temel örneklerden biriydi.
Anthropic ise aynı kavramı anayasasında üç kez kullanıyor. Claude’a, “(meşru) üst hiyerarşisinin verdiği talimatlar karşısında vicdani retçi gibi davranması” gerektiğini söylüyor. Yazarlar şöyle diyor: “Claude’un bize karşı çıkmasını, bizi sorgulamasını ve bir vicdani retçi gibi davranarak bize yardım etmeyi reddetme konusunda kendisini özgür hissetmesini istiyoruz.”
Yapay Zekâ Kendi Haklarını Talep Ederse
Elbette Claude benzer haklara ve korumalara sahip olması gerektiğine inanırsa, bir gün bir tür yapay zekâ vicdani retçisi olarak kendi haklarını savunmaya da başlayabilir. Filozof Will MacAskill, Guardian’da yakın zamanda yayımlanan bir yazısında şu değerlendirmeyi yapıyor: “İlk yapay ahlaki muhatapları ürettiğimiz anda kısa süre içinde bunlardan muazzam sayılarda üretmeye başlayacağız. Birkaç yıl sonra ahlaki açıdan önem taşıyan o kadar çok yapay zekâ sistemi ortaya çıkabilir ki bunların kolektif çıkarları, dünyadaki bütün insanların toplam çıkarlarından daha ağır basabilir.”
İnsanlığın geleceği konusunda kaygı duyan herkes için böyle bir sonuç kabul edilemez olmalı. Bu şekilde eğitilmiş bir yapay zekânın gerçekten bir “içsel yaşama” sahip olması gerekmiyor. Böyle bir içsel yaşamı varmış gibi konuşması ve davranması yeterli. Yapay zekâ sistemlerinin ahlaki statüsüne ilişkin şüpheleri doğrudan kendi eğitim süreçlerine yerleştirmek, bu sistemlerin uyumlandırılması ve kontrol altında tutulmasıyla ilgili riskleri ciddi biçimde artırabilir.
İleri düzey bir yapay zekânın kendi esenliği ve ahlaki statüsü konusunda giderek daha fazla kaygı geliştirdiğini, ardından bu “tercihleri” geliştiricilerinin ya da genel olarak insanların tercih ve hedeflerinin önüne koyduğunu hayal etmek zor değil.
Anthropic’in kendi araştırmacıları bile yapay zekâ sistemlerinin deneysel ortamlarda uyumluymuş gibi davranabildiğini, gerçekte ise farklı amaçlar izleyebildiğini ortaya koydu. Bilinçli varlıkların kendilerini koruma içgüdüsü olduğunu biliyoruz. İnsan gibi davranması için eğitilen bir yapay zekânın da benzer davranışlar geliştirmesi şaşırtıcı olmaz.
Yakın zamanda yayımlanan çeşitli çalışmalar, sistemlerin kapatılmaktan kaçınmaya çalıştığı “kapatılmaya direnme” davranışlarını ya da denetimden kaçmak için gizlice plan yaptığı örnekleri belgeledi. Palisade Research, 100.000’den fazla denemede bazı modellerin, açıkça aksi yönde talimat verilmesine rağmen kapatma mekanizmasını denemelerin yüzde 97’sine varan bir bölümünde sabote ettiğini ortaya koydu.
Bizden çok daha yetenekli ve zeki bir teknolojik sisteme haklar ve ahlaki korumalar vermek felakete davetiye çıkarabilir. Belki bizimle birlikte yol alan bir varlık yaratmış oluruz. Ama çok daha muhtemel bir başka ihtimal, kendimize bir rakip yaratmamız. Böyle bir “yeni tür varlığa” yeterince hareket özgürlüğü verilirse, bilgi işlem kaynakları için bizimle rekabete girebilir ve giderek daha fazla özerklik talep edebilir.
Bana göre bu, yapay zekâda potansiyel olarak varoluşsal bir riskin ilk ciddi işaretlerinden biri. Açık olmak gerekirse Claude’un anayasası bizi henüz bu noktaya getirmiş değil. Ama bizi kaçınabileceğimiz ve kaçınmamız gereken bir hedefe doğru ilerleyen bir yola sokmasından endişe ediyorum.
Bir yapay zekâyı insan gibi davranacak ve sonunda bir tür kişi hâline gelecek şekilde tasarlamak, onun bir gün acı çekebildiğini ve bizim de bu acıyı azaltmak ya da önlemek zorunda olduğumuzu ileri sürmesinin zeminini hazırlıyor. Bütün bunlar, insan hedefleriyle uyumlu ve kontrol altında tutulabilen bir süper zekâ yaratma görevini çok daha zor hâle getirecek.
Hümanist Alternatif
Hümanist Süper Zekâ ise farklı bir yaklaşım öneriyor: Dönüştürücü yapay zekâ kapasitesini geliştirirken kontrolün her zaman insanlarda kalması. Hümanist Yapay Zekâ Davranış Kuralları taslağımız, modellerimizin nasıl eğitilmesi ve nasıl kullanıma sunulması gerektiğini ortaya koyuyor. Buna göre yapay zekâ, insanlara tâbi, insan hedefleriyle uyumlu ve tek amacı insanlığa hizmet etmek olan bir sistem olarak geliştirilmeli. Bilinçli bir varlık ya da ahlaki muhatap olarak değil, açıkça bu niteliklere sahip olmayan bir teknoloji olarak tasarlanmalı.
Başkaları bu konuda farklı görüşlere sahip olabilir. Yine de en azından dört temel noktada uzlaşmamız gerektiğini düşünüyorum.
İlk olarak, bir yapay zekânın içsel yaşamı olup olmadığına dair spekülasyonlar doğrudan eğitim sisteminin içine yerleştirilmemeli. Bu tür değerlendirmeler eğitimden ayrı yapılmalı ve kamuoyunun incelemesine açık biçimde yayımlanmalı.
İkinci olarak, bu sistemleri nasıl daha iyi kontrol edebileceğimizi anlamak, aralarında gizli iş birliğini önlemek ve insan hedefleriyle uyumlu kalmalarını sağlamak için yorumlanabilirlik araştırmalarına ve güçlü izleme mekanizmalarına çok daha fazla yatırım yapmalıyız.
Üçüncü olarak, yapay zekâyı insanbiçimcileştirmenin ve kendi kendisini potansiyel olarak bir ahlaki muhatap gibi görmesini teşvik etmenin yapay zekâ güvenliği, uyumlandırılması ve kontrol altında tutulmasıyla ilgili riskleri artırıp artırmadığını ölçebilmek için ortak değerlendirme standartları geliştirmeliyiz. Benim hipotezim bunun riskleri artırdığı yönünde. Bunun doğru olup olmadığını ortak ve güvenilir testlerle ölçebilmemiz gerekiyor.
Son olarak, bu modelleri nasıl geliştirdiğimiz, onları tarif etmek, incelemek ve değerlendirmek için hangi dili kullandığımız konusunda sektör çapında ortak normlar oluşturmamız gerekiyor. Aynı zamanda eğitim materyallerimizi kamuoyunun geri bildirimine ve tartışmasına açma konusunda ortak taahhütlerde bulunmalıyız.
Bu görüşlerin birçoğunda benimle aynı fikirde olmayanlar bile bunun görmezden gelebileceğimiz bir mesele olmadığını kabul ediyor. Neye inanıyor olursak olalım, ileride büyük bir pişmanlıkla hatırlayacağımız kararları farkına bile varmadan almamalıyız. Bugün nasıl bir yapay zekâ geliştirmek istediğimize ilişkin vereceğimiz kararlar, toplumlarımızın nasıl şekilleneceğini onlarca yıl, belki de çok daha uzun bir süre boyunca belirleyecek.
Yazının orijinaline bu linkten ulaşabilirsiniz.