Bir zamanlar ders kitaplarından nükleer bomba tasarlayan bir öğrenci gibi, günümüzün yapay zeka sistemleri de kamuya açık bilgi parçalarını hızlı, geniş ölçekli ve farkında olmadan tehlikeli planlara dönüştürebilir.
1970'lerin sonunda, Princeton Üniversitesi öğrencisi John Aristotle Phillips, üçüncü sınıf araştırma projesi için yalnızca kamuya açık kaynakları kullanarak bir atom bombası tasarımıyla manşetlere çıktı. Amacı bir silah yapmak değil, “gizli” ve “gizli olmayan” nükleer bilgi arasındaki ayrımın tehlikeli derecede belirsiz olduğunu kanıtlamaktı.
Fizikçi Freeman Dyson, gizli bilgi vermeyeceğini açıkça belirtmek kaydıyla, onun danışmanı olmayı kabul etti. Phillips, ders kitapları, gizliliği kaldırılmış raporlar ve patlayıcılar gibi çift kullanımlı ekipman ve malzemeler satan şirketlere yaptığı sorgulamalarla kendini donattı. Birkaç ay içinde, nükleer silahların önündeki asıl engelin bilgi olmadığını kanıtlayan, basit bir atom bombası tasarımı üretti. Dyson ona “A” notu verdi ve ardından raporu dolaşımdan kaldırdı. Phillips'in tasarımının pratikliği şüpheliydi, ancak Dyson'ın asıl endişesi bu değildi.