Bir görüntüde, mükemmel taranmış siyah saçlı ve kirli sakallı bir haber spikeri, ABD’nin silahlı şiddete karşı utanç verici bir şekilde harekete geçmemesi olarak gördüğü şeyi özetledi.
Bir başka görüntüde bir kadın haber spikeri, uluslararası bir zirve toplantısında Çin’in jeopolitik ilişkilerdeki rolünü müjdeledi.
Ama bir şeyler ters gitti. Sesleri yapmacıktı ve ağızlarının hareketiyle uyum sağlayamıyordu. Yüzleri pikselli, video oyunu kalitesindeydi ve saçları doğal olmayan bir şekilde başlarına yapışmış görünüyordu. Altyazılar gramer hatalarıyla doluydu.
Wolf News adlı bir haber kaynağına bağlı olduğu iddia edilen iki yayıncı gerçek insanlar değil. Yapay zeka yazılımı tarafından oluşturulan bilgisayar tarafından oluşturulan avatarlardır. Ve geçen yılın sonlarında, devlet bağlantılı bir bilgilendirme kampanyasının parçası olarak hayali insanlar yaratmak için kullanılan “deepfake” görüntü teknolojisinin bilinen ilk örneğinde, videoları Facebook ve Twitter’daki Çin yanlısı bot hesapları tarafından dağıtıldı.
Dezenformasyon üzerine çalışan bir araştırma şirketi olan Graphika’nın istihbarattan sorumlu başkan yardımcısı Jack Stubbs, “Bunu vahşi doğada ilk kez görüyoruz” dedi. Graphika, Çin Komünist Partisinin çıkarlarını desteklemeyi ve İngilizce konuşan izleyiciler için Amerika Birleşik Devletleri’nin altını oymayı amaçlayan Çin yanlısı kampanyayı keşfetti.
Yaklaşık on yıldır istikrarlı bir şekilde ilerleyen “Deepfake” teknolojisi, konuşan dijital kuklalar yaratma kabiliyetine sahip. Yapay zeka yazılımı bazen, geçen yıl sosyal medyada dolaşan Ukrayna cumhurbaşkanı Volodymyr Zelensky’nin teslim olduğunu ilan ederken yanlış bir şekilde gösterildiği bir görüntü gibi, kamuya mal olmuş kişileri çarpıtmak için kullanılıyor. Ancak yazılım, Hollywood tarafından kullanılan geleneksel düzenleme yazılımlarının ve pahalı özel efekt araçlarının ötesine geçerek, gerçek ile kurgu arasındaki çizgiyi olağanüstü derecede bulanıklaştırarak, tamamen kumaştan karakterler de yaratabilir.
Yanlış Bilgilerin ve Yanlışların Yayılması
Yakın zamanda keşfedilen Çin yanlısı dezenformasyon kampanyasında deepfake’lerin kullanımı acemice olsa da, bilgi savaşında yeni bir sayfa açıyor. Son haftalarda, benzer yapay zeka teknolojisini kullanan ve kendilerini Amerikalı olarak tanımlayan hayali insanları gösteren ve Rusya ile bağlantıları olup olmadığı konusunda incelemeye alınan Burkina Faso hükümetine desteği destekleyen başka bir görüntü internette ortaya çıktı.
Stubbs, çevrimiçi olarak kolayca satın alınabilen AI yazılımının “birkaç dakika içinde videolar oluşturabileceğini ve aboneliklerin ayda yalnızca birkaç dolardan başladığını” söyledi. “Bu, geniş ölçekte içerik üretmeyi kolaylaştırıyor.”
Graphika, iki sahte Wolf News sunucusunu, Londra’daki Oxford Circus’taki bir giyim mağazasının üzerinde bulunan Synthesia adlı bir İngiliz AI şirketi tarafından yapılan teknolojiye bağladı.
Beş yaşındaki girişim, derin sahte avatarlar oluşturmak için yazılım yapıyor. Bir müşterinin basitçe, Synthesia’nın araçlarıyla yapılmış dijital oyunculardan biri tarafından okunan bir senaryo yazması yeterlidir.
Synthesia, AI avatarlarının “dijital ikizler” olduğunu, işe alınan aktörlerin görünüşlerine dayanan ve 120 dil ve aksanda konuşmak üzere manipüle edilebilen “dijital ikizler” olduğunu söyledi. Farklı cinsiyetler, yaşlar, etnik kökenler, ses tonları ve moda seçenekleriyle seçebileceğiniz 85’ten fazla karakter sunar.
George adlı bir AI karakteri, gri saçlı ve mavi bir ceket ve yakalı bir gömlek giyen kıdemli bir iş yöneticisine benziyor. Bir diğeri, Helia başörtüsü takıyor. Başka bir avatar olan Carlo’nun sert bir çizgisi var. Samuel, doktorların giydiği gibi beyaz bir laboratuvar önlüğü giyiyor. (Müşteriler ayrıca Synthesia’yı kullanarak kendilerine veya kendilerine izin veren diğer kişilere göre kendi avatarlarını oluşturabilirler.)
Şirketin yazılımları, müşteriler tarafından daha çok cilasız bir üretim kalitesinin yeterli olduğu insan kaynakları ve eğitim videoları için kullanılıyor. Ayda 30 ABD Doları gibi düşük bir maliyete sahip olan yazılım, aksi takdirde günlerce sürebilecek videoları dakikalar içinde üretiyor ve bir görüntü yapım ekibi ve insan oyuncular tutmayı gerektiriyor.
Synthesia web sitesinde, tüm sürecin “bir e-posta yazmak kadar kolay” olduğunu söyledi.
Bir karakter tipik olarak nasıl görünür?
Çeşitli pazarlama kampanyaları ve benzer kampanyalar için kullanılan Synthesia’dan yapay zeka tarafından oluşturulmuş bir karakterin örneklerini burada bulabilirsiniz.
Synthesia’nın kurucu ortağı ve CEO’su Victor Riparbelli, teknolojisini Graphika tarafından keşfedilen avatarları oluşturmak için kullananların hizmet şartlarını ihlal ettiğini söyledi. Bu terimler, şirketin teknolojisinin “siyasi, cinsel, kişisel, cezai ve ayrımcı içerik” için kullanılmaması gerektiğini belirtir. Bay Riparbelli, Wolf News videolarının arkasındaki kişiler hakkında bilgi vermeyi reddetti, ancak hesaplarının askıya alındığını söyledi.
Bay Riparbelli, Synthesia’nın kendisini deepfake teknolojisinin yasa dışı içerik oluşturmak için kullanılmasını engellemeye adamış dört kişilik bir ekibe sahip olduğunu, ancak doğrudan nefret söylemi, karalamalar, müstehcen sözler ve görüntüler içermeyen yanlış bilgilendirme ve diğer materyallerin zor olabileceğini ekledi. tespit etmek için.
Wolf News videolarından biri gösterildikten sonra “Bunun yanlış bilgi olduğunu tespit etmek çok zor” dedi. “Platformumuzda olan her şeyin tüm sorumluluğunu üstlendiğini” söyledi ve politika yapıcıları yapay zeka araçlarının nasıl kullanılabileceği konusunda daha net kurallar koymaya çağırdı.
Bay Riparbelli, dezenformasyonun tespit edilmesinin daha da zorlaşacağını söyledi. Sonunda, deepfake teknolojisinin “başka hiçbir şeye ihtiyaç duymadan bir dizüstü bilgisayarda bir Hollywood sineması oluşturacak” kadar sofistike hale geleceğini de sözlerine ekledi.
Graphika, iki Wolf News avatarını aynı karakterleri içeren diğer zararsız çevrimiçi eğitim videolarına kadar takip ederek Synthesia’yı Çin yanlısı dezenformasyon kampanyasına bağladı. Synthesia, web sitesinde iki avatarı “Anna” ve “Jason” olarak adlandırdı.
Yapay zeka tarafından üretilen aynı avatarın pazarlama ve dezenformasyon kampanyalarında nasıl göründüğü.
Avatarlar, Synthesia’nın yazılımına yazılmış bir komut dosyasını okuyor. Karakterlerin pikselli yüzleri ve robotik sesleriyle, bir şeylerin ters gittiğini fark etmeniz uzun sürmüyor.
“Jason”
“Anna”
Burkina Faso’nun yeni hükümetini destekleyen görüntüde Anna da yer aldı. Hepimiz bu ortak mücadelede Burkinabe halkının arkasında seferber olalım” dedi. dedi robotik bir monotonlukla. “Vatan ya da ölüm, üstesinden geleceğiz.”
Deepfake videoları yıllardır çoğaldı. Kendrick Lamar geçen yıl bir müzik görüntüsünde teknolojiyi kullanarak Kanye West, Will Smith ve Kobe Bryant’a dönüştü. Pornografi web siteleri, teknolojinin ünlü aktrislerin benzerlerini yasa dışı bir şekilde kopyalamak için kullanıldığı videoları sergilediği için eleştirilere maruz kaldı.
Çin’de yapay zeka şirketleri beş yılı aşkın bir süredir derin sahte araçlar geliştiriyor. Çinli iFlytek firması, 2017’de bir konferansta yaptığı tanıtım gösterisinde, o zamanki ABD başkanı Donald J. Trump’ın Mandarin dilinde konuşan derin sahte görüntüsünü yaptı. IFlytek, o zamandan beri ulusal güvenlik nedenleriyle Amerikan yapımı teknolojinin satışını sınırlayan bir ABD kara listesine eklendi.
Facebook, Instagram ve WhatsApp’ın sahibi Meta, The New York Times ile iletişime geçtikten sonra Çin yanlısı deepfake videolarıyla bağlantılı en az bir hesabı sildiğini söyledi. Daha fazla yorum yapmaktan kaçınan şirket, yanıltma kastı ile manipüle edilen görüntü ve diğer mecralara izin vermiyor. Twitter, yorum taleplerine yanıt vermedi.
Graphika, “spamouflage” olarak bilinen Çin yanlısı bir yanlış bilgilendirme kampanyasıyla bağlantılı sosyal medya hesaplarını takip ederken deepfake videoları keşfettiğini söyledi. Bu kampanyalarda, siyasi spam hesapları çevrimiçi içerik yerleştirir ve ardından materyali platformlar arasında yaymak için bir ağın parçası olan diğer hesapları kullanır.
Araştırmacılar, birçok kişi tarafından görülmeyen videoların gerçek etkisinden daha çok deepfake teknolojisi kullanımının dikkat çekici olduğunu söyledi. Graphika’ya göre, sözde Wolf News sunucularını içeren iki video, 22 Kasım ile 30 Kasım arasında beş hesap tarafından en az beş kez yayınlandı. Gönderiler daha sonra Çin yanlısı bir ağın parçası gibi görünen en az iki hesap tarafından yeniden paylaşıldı.
Bay Stubbs, dezenformasyon seyyar satıcılarının, tespit edilmesi ve doğrulanması zor, giderek daha inandırıcı medya üretmek için AI yazılımı ile deneyler yapmaya devam edeceklerini söyledi.
“Bugün gördüğümüz şey, gelecek şeylerin başka bir işaretidir” dedi.
Elian Peltier, Dakar, Senegal’den raporlamaya katkıda bulundu. Axel Boada’dan Görüntü üretimi.
Bir başka görüntüde bir kadın haber spikeri, uluslararası bir zirve toplantısında Çin’in jeopolitik ilişkilerdeki rolünü müjdeledi.
Ama bir şeyler ters gitti. Sesleri yapmacıktı ve ağızlarının hareketiyle uyum sağlayamıyordu. Yüzleri pikselli, video oyunu kalitesindeydi ve saçları doğal olmayan bir şekilde başlarına yapışmış görünüyordu. Altyazılar gramer hatalarıyla doluydu.
Wolf News adlı bir haber kaynağına bağlı olduğu iddia edilen iki yayıncı gerçek insanlar değil. Yapay zeka yazılımı tarafından oluşturulan bilgisayar tarafından oluşturulan avatarlardır. Ve geçen yılın sonlarında, devlet bağlantılı bir bilgilendirme kampanyasının parçası olarak hayali insanlar yaratmak için kullanılan “deepfake” görüntü teknolojisinin bilinen ilk örneğinde, videoları Facebook ve Twitter’daki Çin yanlısı bot hesapları tarafından dağıtıldı.
Dezenformasyon üzerine çalışan bir araştırma şirketi olan Graphika’nın istihbarattan sorumlu başkan yardımcısı Jack Stubbs, “Bunu vahşi doğada ilk kez görüyoruz” dedi. Graphika, Çin Komünist Partisinin çıkarlarını desteklemeyi ve İngilizce konuşan izleyiciler için Amerika Birleşik Devletleri’nin altını oymayı amaçlayan Çin yanlısı kampanyayı keşfetti.
Yaklaşık on yıldır istikrarlı bir şekilde ilerleyen “Deepfake” teknolojisi, konuşan dijital kuklalar yaratma kabiliyetine sahip. Yapay zeka yazılımı bazen, geçen yıl sosyal medyada dolaşan Ukrayna cumhurbaşkanı Volodymyr Zelensky’nin teslim olduğunu ilan ederken yanlış bir şekilde gösterildiği bir görüntü gibi, kamuya mal olmuş kişileri çarpıtmak için kullanılıyor. Ancak yazılım, Hollywood tarafından kullanılan geleneksel düzenleme yazılımlarının ve pahalı özel efekt araçlarının ötesine geçerek, gerçek ile kurgu arasındaki çizgiyi olağanüstü derecede bulanıklaştırarak, tamamen kumaştan karakterler de yaratabilir.
Yanlış Bilgilerin ve Yanlışların Yayılması
- derin sahte Tüzük: Teknolojiyi düzenleyen çok az yasa bulunduğundan, dünyanın çoğu yerinde yetkililer deepfake’ler hakkında fazla bir şey yapamıyor. Çin istisna olmayı umuyor.
- Yeni Nesil İçin Dersler: Finlandiya, öğrencilere propagandayı öğretmenin yeni yollarını deniyor. İşte diğer ülkelerin başarısından öğrenebilecekleri.
- Kovid Mitleri : Uzmanlar, koronavirüsle ilgili yanlış bilgilerin yayılmasının – özellikle Gab gibi aşırı sağcı platformlarda – muhtemelen pandeminin kalıcı bir mirası olacağını söylüyor. Ve kolay çözümler yok
- Bir “Yetenek Savaşı”:Yanlış bilgileri muhtemelen pahalı bir sorumluluk olarak gören birçok şirket, bunları kontrol altında tutabilecek uzmanlığa sahip eski Twitter çalışanlarını işe almaya çalışıyor.
Yakın zamanda keşfedilen Çin yanlısı dezenformasyon kampanyasında deepfake’lerin kullanımı acemice olsa da, bilgi savaşında yeni bir sayfa açıyor. Son haftalarda, benzer yapay zeka teknolojisini kullanan ve kendilerini Amerikalı olarak tanımlayan hayali insanları gösteren ve Rusya ile bağlantıları olup olmadığı konusunda incelemeye alınan Burkina Faso hükümetine desteği destekleyen başka bir görüntü internette ortaya çıktı.
Stubbs, çevrimiçi olarak kolayca satın alınabilen AI yazılımının “birkaç dakika içinde videolar oluşturabileceğini ve aboneliklerin ayda yalnızca birkaç dolardan başladığını” söyledi. “Bu, geniş ölçekte içerik üretmeyi kolaylaştırıyor.”
Graphika, iki sahte Wolf News sunucusunu, Londra’daki Oxford Circus’taki bir giyim mağazasının üzerinde bulunan Synthesia adlı bir İngiliz AI şirketi tarafından yapılan teknolojiye bağladı.
Beş yaşındaki girişim, derin sahte avatarlar oluşturmak için yazılım yapıyor. Bir müşterinin basitçe, Synthesia’nın araçlarıyla yapılmış dijital oyunculardan biri tarafından okunan bir senaryo yazması yeterlidir.
Synthesia, AI avatarlarının “dijital ikizler” olduğunu, işe alınan aktörlerin görünüşlerine dayanan ve 120 dil ve aksanda konuşmak üzere manipüle edilebilen “dijital ikizler” olduğunu söyledi. Farklı cinsiyetler, yaşlar, etnik kökenler, ses tonları ve moda seçenekleriyle seçebileceğiniz 85’ten fazla karakter sunar.
George adlı bir AI karakteri, gri saçlı ve mavi bir ceket ve yakalı bir gömlek giyen kıdemli bir iş yöneticisine benziyor. Bir diğeri, Helia başörtüsü takıyor. Başka bir avatar olan Carlo’nun sert bir çizgisi var. Samuel, doktorların giydiği gibi beyaz bir laboratuvar önlüğü giyiyor. (Müşteriler ayrıca Synthesia’yı kullanarak kendilerine veya kendilerine izin veren diğer kişilere göre kendi avatarlarını oluşturabilirler.)
Şirketin yazılımları, müşteriler tarafından daha çok cilasız bir üretim kalitesinin yeterli olduğu insan kaynakları ve eğitim videoları için kullanılıyor. Ayda 30 ABD Doları gibi düşük bir maliyete sahip olan yazılım, aksi takdirde günlerce sürebilecek videoları dakikalar içinde üretiyor ve bir görüntü yapım ekibi ve insan oyuncular tutmayı gerektiriyor.
Synthesia web sitesinde, tüm sürecin “bir e-posta yazmak kadar kolay” olduğunu söyledi.
Bir karakter tipik olarak nasıl görünür?
Çeşitli pazarlama kampanyaları ve benzer kampanyalar için kullanılan Synthesia’dan yapay zeka tarafından oluşturulmuş bir karakterin örneklerini burada bulabilirsiniz.
Synthesia’nın kurucu ortağı ve CEO’su Victor Riparbelli, teknolojisini Graphika tarafından keşfedilen avatarları oluşturmak için kullananların hizmet şartlarını ihlal ettiğini söyledi. Bu terimler, şirketin teknolojisinin “siyasi, cinsel, kişisel, cezai ve ayrımcı içerik” için kullanılmaması gerektiğini belirtir. Bay Riparbelli, Wolf News videolarının arkasındaki kişiler hakkında bilgi vermeyi reddetti, ancak hesaplarının askıya alındığını söyledi.
Bay Riparbelli, Synthesia’nın kendisini deepfake teknolojisinin yasa dışı içerik oluşturmak için kullanılmasını engellemeye adamış dört kişilik bir ekibe sahip olduğunu, ancak doğrudan nefret söylemi, karalamalar, müstehcen sözler ve görüntüler içermeyen yanlış bilgilendirme ve diğer materyallerin zor olabileceğini ekledi. tespit etmek için.
Wolf News videolarından biri gösterildikten sonra “Bunun yanlış bilgi olduğunu tespit etmek çok zor” dedi. “Platformumuzda olan her şeyin tüm sorumluluğunu üstlendiğini” söyledi ve politika yapıcıları yapay zeka araçlarının nasıl kullanılabileceği konusunda daha net kurallar koymaya çağırdı.
Bay Riparbelli, dezenformasyonun tespit edilmesinin daha da zorlaşacağını söyledi. Sonunda, deepfake teknolojisinin “başka hiçbir şeye ihtiyaç duymadan bir dizüstü bilgisayarda bir Hollywood sineması oluşturacak” kadar sofistike hale geleceğini de sözlerine ekledi.
Graphika, iki Wolf News avatarını aynı karakterleri içeren diğer zararsız çevrimiçi eğitim videolarına kadar takip ederek Synthesia’yı Çin yanlısı dezenformasyon kampanyasına bağladı. Synthesia, web sitesinde iki avatarı “Anna” ve “Jason” olarak adlandırdı.
Yapay zeka tarafından üretilen aynı avatarın pazarlama ve dezenformasyon kampanyalarında nasıl göründüğü.
Avatarlar, Synthesia’nın yazılımına yazılmış bir komut dosyasını okuyor. Karakterlerin pikselli yüzleri ve robotik sesleriyle, bir şeylerin ters gittiğini fark etmeniz uzun sürmüyor.
“Jason”
“Anna”
Burkina Faso’nun yeni hükümetini destekleyen görüntüde Anna da yer aldı. Hepimiz bu ortak mücadelede Burkinabe halkının arkasında seferber olalım” dedi. dedi robotik bir monotonlukla. “Vatan ya da ölüm, üstesinden geleceğiz.”
Deepfake videoları yıllardır çoğaldı. Kendrick Lamar geçen yıl bir müzik görüntüsünde teknolojiyi kullanarak Kanye West, Will Smith ve Kobe Bryant’a dönüştü. Pornografi web siteleri, teknolojinin ünlü aktrislerin benzerlerini yasa dışı bir şekilde kopyalamak için kullanıldığı videoları sergilediği için eleştirilere maruz kaldı.
Çin’de yapay zeka şirketleri beş yılı aşkın bir süredir derin sahte araçlar geliştiriyor. Çinli iFlytek firması, 2017’de bir konferansta yaptığı tanıtım gösterisinde, o zamanki ABD başkanı Donald J. Trump’ın Mandarin dilinde konuşan derin sahte görüntüsünü yaptı. IFlytek, o zamandan beri ulusal güvenlik nedenleriyle Amerikan yapımı teknolojinin satışını sınırlayan bir ABD kara listesine eklendi.
Facebook, Instagram ve WhatsApp’ın sahibi Meta, The New York Times ile iletişime geçtikten sonra Çin yanlısı deepfake videolarıyla bağlantılı en az bir hesabı sildiğini söyledi. Daha fazla yorum yapmaktan kaçınan şirket, yanıltma kastı ile manipüle edilen görüntü ve diğer mecralara izin vermiyor. Twitter, yorum taleplerine yanıt vermedi.
Graphika, “spamouflage” olarak bilinen Çin yanlısı bir yanlış bilgilendirme kampanyasıyla bağlantılı sosyal medya hesaplarını takip ederken deepfake videoları keşfettiğini söyledi. Bu kampanyalarda, siyasi spam hesapları çevrimiçi içerik yerleştirir ve ardından materyali platformlar arasında yaymak için bir ağın parçası olan diğer hesapları kullanır.
Araştırmacılar, birçok kişi tarafından görülmeyen videoların gerçek etkisinden daha çok deepfake teknolojisi kullanımının dikkat çekici olduğunu söyledi. Graphika’ya göre, sözde Wolf News sunucularını içeren iki video, 22 Kasım ile 30 Kasım arasında beş hesap tarafından en az beş kez yayınlandı. Gönderiler daha sonra Çin yanlısı bir ağın parçası gibi görünen en az iki hesap tarafından yeniden paylaşıldı.
Bay Stubbs, dezenformasyon seyyar satıcılarının, tespit edilmesi ve doğrulanması zor, giderek daha inandırıcı medya üretmek için AI yazılımı ile deneyler yapmaya devam edeceklerini söyledi.
“Bugün gördüğümüz şey, gelecek şeylerin başka bir işaretidir” dedi.
Elian Peltier, Dakar, Senegal’den raporlamaya katkıda bulundu. Axel Boada’dan Görüntü üretimi.