bencede
New member
Büyük Yapay Zeka (LLM) dil modelleri hızla gelişiyor ve uygulamalara giderek daha fazla entegre ediliyor. Bazı sohbet robotları artık eklentiler aracılığıyla web sitelerini veya belgeleri otomatik olarak derecelendirebilir ve hatta programlama ortamlarına veya e-posta gelen kutularına erişebilir. Bu nedenle Federal Bilgi Güvenliği Ofisi (BSI), görece yeni güvenlik açığı sınıfı için 1. seviye bir uyarı ile “teknolojinin olası riskleri veya sınırlamaları hakkında” farkındalık yaratmak istiyor. Manipüle edilmiş bir chatbot, belirli koşullar altında, “bir sosyal mühendislik saldırısına benzer şekilde” güvenilir argümanlar sağlayabilir. […]çünkü (düzensiz) bir eylem” onaylanmalıdır.
Duyuru
Siber güvenlik danışmanlığına göre “dolaylı zamanında enjeksiyonların” ortaya çıkardığı riskler ciddiye alınmalı ve “güvenli olmayan kaynaklardan gelen bilgiler LLM tarafından işlendiğinde ortaya çıkar”. Saldırganlar, şüpheli kaynaklardan gelen verileri kontrol olmaksızın işleyebilir, bunları manipüle edebilir ve LLM’ye istenmeyen komutlar ekleyebilir, bunları yürütebilir ve davranışlarını kasıtlı olarak manipüle edebilir. Şu anda siber güvenlik alanında “en iyi uygulamalar” bulunmamaktadır. Metinlerin insan iletişiminde bilgi iletmesi, ancak aynı zamanda komutlar da verebilmesi, “bilgisayar alanına da aktarılıyor”. Sonuç olarak, LLM’lerde bile veri ve talimat arasında net bir ayrım yoktur. BSI’ya göre “Bu, mevcut teknolojinin doğasında bulunan bir güvenlik açığı olduğundan, bu tür saldırıların önlenmesi genellikle zordur.”
“Emniyetli, güvenilir ve sürdürülebilir bir azaltma önlemi” […] Bu nedenle, kullanıcılar ve geliştiriciler dikkat etmelidir. Güvenlik açığının etkileri, LLM’lerin kısmen otonom sistemler olarak hareket edebilmesi nedeniyle daha da artmaktadır. Kullanıcıların, kaynakları kontrol etseler bile bu tür saldırıları tespit etmeleri zordur. Bu nedenle BSI, LLM’leri uygulamalara entegre ederken “sistematik bir risk analizi” yapılmasını önerir. Bazı eylemler veya sızma testleri de yararlıdır.
Gizli tehlikeli komutlar
Kullanıcıların bunların potansiyel olarak zararlı komutlar olduğunu fark etmemelerinin birçok yolu vardır. Bunlar şifreli veya gizli olabilir ve örneğin metnin web sitelerinde veya video dökümünde sıfır punto ile gizlenmesi veya insanların okuması zor bir şekilde kodlanması nedeniyle kullanıcı tarafından fark edilmeyebilir. BSI’ya göre bir başka olasılık da, web sunucusundan alınan diğer parametreler nedeniyle kullanıcıların chatbot isteklerine farklı yanıtlar almasıdır.
Kısa bir süre önce, Münih Teknik Üniversitesi öğrencisi Martin von Hagen, Bing’in zamanında enjeksiyonlarına dikkat çekti. Chatbot’a girmesiyle birlikte, üreticilerin aslında gizli tutmak istedikleri yapay zeka kurallarının bir listesini aldı. OpenAI, ChatGPT’de BT güvenliğiyle ilgili hala açık soruların olduğunu biliyor ve “bir aracın çıktısından gelen güvenilmez verilerin modele istenmeyen eylemleri gerçekleştirme talimatını vermesini” önlemek için çalışmak istiyor. Ek olarak OpenAI, “yalnızca güvenilir araçlardan alınan bilgileri kullanmayı” ve geliştiricilerin, örneğin e-posta gönderirken veya çevrimiçi bir satın alma işlemi gerçekleştirmeden önce belirli eylemlerden önce eylemleri onaylamak için ek seçenekler içermesini önerir. BSI’ya göre, verilen haklara ve olası eylemlere büyük ölçüde bağlı olan LLM’leri kullanırken çeşitli riskler vardır.
Saldırganlar sonuçları hedefli bir şekilde manipüle edebilir
Duyuru
Dış kaynaklardan otomatik metin işleme durumunda, saldırganlar sonuçları hedefli bir şekilde manipüle edebilir. Chatbot değiştirilmiş sayfalara erişebiliyorsa, BSI çeşitli senaryolar konusunda uyarır ve ayrıca Açık Web Uygulaması Güvenlik Projesi’nin (PDF) değerlendirmesine atıfta bulunur. Chatbot daha sonra şunları yapabilir:
Örnek olarak bir sohbet robotu kullanılarak olası sonuçlara sahip dolaylı hızlı enjeksiyonun şematik süreci
(İmaj kredisi: BSI)
Bu yeni güvenlik açığı sınıfı, Şubat ayında zaten bilimsel olarak tartışılmıştı ve ardından BSI, “Büyük Dil Modelleri – Endüstri ve Yetkililer için Fırsatlar ve Riskler” adlı durum belgesini yayınladı.
(mak)
Haberin Sonu
Duyuru
Siber güvenlik danışmanlığına göre “dolaylı zamanında enjeksiyonların” ortaya çıkardığı riskler ciddiye alınmalı ve “güvenli olmayan kaynaklardan gelen bilgiler LLM tarafından işlendiğinde ortaya çıkar”. Saldırganlar, şüpheli kaynaklardan gelen verileri kontrol olmaksızın işleyebilir, bunları manipüle edebilir ve LLM’ye istenmeyen komutlar ekleyebilir, bunları yürütebilir ve davranışlarını kasıtlı olarak manipüle edebilir. Şu anda siber güvenlik alanında “en iyi uygulamalar” bulunmamaktadır. Metinlerin insan iletişiminde bilgi iletmesi, ancak aynı zamanda komutlar da verebilmesi, “bilgisayar alanına da aktarılıyor”. Sonuç olarak, LLM’lerde bile veri ve talimat arasında net bir ayrım yoktur. BSI’ya göre “Bu, mevcut teknolojinin doğasında bulunan bir güvenlik açığı olduğundan, bu tür saldırıların önlenmesi genellikle zordur.”
“Emniyetli, güvenilir ve sürdürülebilir bir azaltma önlemi” […] Bu nedenle, kullanıcılar ve geliştiriciler dikkat etmelidir. Güvenlik açığının etkileri, LLM’lerin kısmen otonom sistemler olarak hareket edebilmesi nedeniyle daha da artmaktadır. Kullanıcıların, kaynakları kontrol etseler bile bu tür saldırıları tespit etmeleri zordur. Bu nedenle BSI, LLM’leri uygulamalara entegre ederken “sistematik bir risk analizi” yapılmasını önerir. Bazı eylemler veya sızma testleri de yararlıdır.
Gizli tehlikeli komutlar
Kullanıcıların bunların potansiyel olarak zararlı komutlar olduğunu fark etmemelerinin birçok yolu vardır. Bunlar şifreli veya gizli olabilir ve örneğin metnin web sitelerinde veya video dökümünde sıfır punto ile gizlenmesi veya insanların okuması zor bir şekilde kodlanması nedeniyle kullanıcı tarafından fark edilmeyebilir. BSI’ya göre bir başka olasılık da, web sunucusundan alınan diğer parametreler nedeniyle kullanıcıların chatbot isteklerine farklı yanıtlar almasıdır.
Kısa bir süre önce, Münih Teknik Üniversitesi öğrencisi Martin von Hagen, Bing’in zamanında enjeksiyonlarına dikkat çekti. Chatbot’a girmesiyle birlikte, üreticilerin aslında gizli tutmak istedikleri yapay zeka kurallarının bir listesini aldı. OpenAI, ChatGPT’de BT güvenliğiyle ilgili hala açık soruların olduğunu biliyor ve “bir aracın çıktısından gelen güvenilmez verilerin modele istenmeyen eylemleri gerçekleştirme talimatını vermesini” önlemek için çalışmak istiyor. Ek olarak OpenAI, “yalnızca güvenilir araçlardan alınan bilgileri kullanmayı” ve geliştiricilerin, örneğin e-posta gönderirken veya çevrimiçi bir satın alma işlemi gerçekleştirmeden önce belirli eylemlerden önce eylemleri onaylamak için ek seçenekler içermesini önerir. BSI’ya göre, verilen haklara ve olası eylemlere büyük ölçüde bağlı olan LLM’leri kullanırken çeşitli riskler vardır.
Saldırganlar sonuçları hedefli bir şekilde manipüle edebilir
Duyuru
Dış kaynaklardan otomatik metin işleme durumunda, saldırganlar sonuçları hedefli bir şekilde manipüle edebilir. Chatbot değiştirilmiş sayfalara erişebiliyorsa, BSI çeşitli senaryolar konusunda uyarır ve ayrıca Açık Web Uygulaması Güvenlik Projesi’nin (PDF) değerlendirmesine atıfta bulunur. Chatbot daha sonra şunları yapabilir:
- yasal olarak sakıncalı veya istenmeyen beyanlarda bulunmak
- Kullanıcıları kötü amaçlı bağlantıları ziyaret etmeye teşvik edin
- hassas bilgileri elde etmeye çalışmak (örn. kredi kartları hakkında)
- diğer eklentileri kendiniz arayın
Örnek olarak bir sohbet robotu kullanılarak olası sonuçlara sahip dolaylı hızlı enjeksiyonun şematik süreci
(İmaj kredisi: BSI)
Bu yeni güvenlik açığı sınıfı, Şubat ayında zaten bilimsel olarak tartışılmıştı ve ardından BSI, “Büyük Dil Modelleri – Endüstri ve Yetkililer için Fırsatlar ve Riskler” adlı durum belgesini yayınladı.
(mak)
Haberin Sonu