Rekabetle dolu üretken yapay zeka alanında bir sıçrama yapma niyetinde olan Meta, açık kaynaklı bir gözyaşı döküyor. Metin üretme, dilleri tercüme etme ve ses oluşturmaya yönelik yapay zeka modellerinin yayınlanmasının ardından şirket bugün de doğal dilde, özellikle de İngilizce kod üretebilen ve açıklayabilen bir makine öğrenimi sistemi olan ‘Code Llama’yı açık kaynaklı hale getirdi. GitHub Copilot ve Amazon CodeWhisperer’ın yanı sıra StarCoder, StableCode ve PolyCoder gibi açık kaynak yapay zeka destekli kod üreticilerine benzeyen Code Llama, Python, C++, Java, PHP, Typescript, C# ve Bash dahil olmak üzere çeşitli programlama dillerinde kodu tamamlayabilir ve mevcut kodda hata ayıklayabilir. Paylaşılan bir blog yazısında Meta, “Meta’da, yapay zeka modellerinin, fakat özellikle kodlama için büyük dil modellerinin, hem yenilik hem de güvenlik açısından açık bir yaklaşımdan en iyi şekilde yararlandığına inanıyoruz” dedi. “Kamuya açık, koda özgü modeller, insanların yaşamlarını iyileştiren yeni teknolojilerin geliştirilmesini kolaylaştırabilir. Code Llama gibi kod modellerinin yayınlanmasıyla, tüm topluluk bunların yeteneklerini değerlendirebilir, sorunları belirleyebilir ve güvenlik açıklarını düzeltebilir.” ifadeleri kullanıldı. Python için optimize edilmiş bir versiyonu ve talimatları anlamak için ince ayarlanmış bir versiyonu da dahil olmak üzere çeşitli tatlarda mevcut olan Code Llama, Meta’nın bu ayın başlarında açık kaynaklı olarak sunduğu Llama 2 metin oluşturma modeline dayanıyor. Llama 2 kod üretebilse de bu, iyi bir kod değildi. Kesinlikle Copilot gibi amaca yönelik bir modelin üretebileceği kalitede değildi.
Code Llama’yı eğitirken Meta, Llama 2’yi eğitmek için kullandığı veri setinin aynısını kullandı. Web’deki halka açık kaynakların bir karışımı. Ancak modele, tabiri caizse, eğitim verilerinin kod içeren alt kümesini vurgulattı. Esasen, Code Llama’ya kod ve doğal dil arasındaki ilişkileri öğrenmesi için ana modeli olan Llama 2’den daha fazla zaman verildi. Boyutları 7 milyar parametre ile 34 milyar parametre arasında değişen Code Llama modellerinin her biri, kodla ilgili verilerin yanı sıra 500 milyar kod belirteci ile eğitildi. Python’a özgü Code Llama, 100 milyar Python Kodu tokenı üzerinde daha da ince ayarlandı ve benzer şekilde, talimatları anlayan Code Llama, sorulara yararlı ve güvenli yanıtlar üretmek için insan açıklamacılardan gelen geri bildirimler kullanılarak ince şekilde ayarlandı. Bağlam için, parametreler bir modelin geçmiş eğitim verilerinden öğrenilen parçalarıdır ve esasen modelin metin (veya bu durumda kod) üretme gibi bir problemdeki becerisini tanımlarken, belirteçler ham metni temsil eder. Code Llama modellerinden birkaçı mevcut koda kod ekleyebilir ve hepsi girdi olarak yaklaşık 100.000 kod belirteci kabul edebilirken, en az bir tanesi (7 milyar parametreli model) tek bir GPU üzerinde çalışabilir. (Diğerleri daha güçlü donanım gerektiriyor.) Meta, 34 milyar parametreli modelin bugüne kadar açık kaynaklı kod oluşturucular arasında en iyi performansa sahip ve parametre sayısı bakımından en büyüğü olduğunu iddia ediyor.
Bir kod üretme aracının programcılara ve hatta programcı olmayanlara büyük ölçüde çekici geleceğini düşünürsünüz ve muhtemelen yanılmazsınız. GitHub, bugün 400’den fazla kuruluşun Copilot’u kullandığını ve bu kuruluşlardaki geliştiricilerin eskisine kıyasla %55 daha hızlı kodlama yaptıklarını iddia ediyor. Başka bir yerde, programlama soru-cevap sitesi Stack Overflow, yakın zamanda yaptığı bir ankette, üretkenlik artışı ve daha hızlı öğrenme gibi faydaları gerekçe göstererek, %70’inin bu yıl halihazırda yapay zeka kodlama araçlarını kullandığını veya kullanmayı planladığını tespit etti. Ancak tüm üretken yapay zeka biçimleri gibi kodlama araçları da raydan çıkabilir ya da yeni riskler doğurabilir. Stanford’a bağlı bir araştırma ekibi, yapay zeka araçları kullanan mühendislerin uygulamalarında güvenlik açıklarına neden olma ihtimalinin daha yüksek olduğunu ortaya koydu. Ekip, araçların genellikle yüzeysel olarak doğru görünen ancak güvenliği ihlal edilmiş yazılımları çağırarak ve güvensiz yapılandırmalar kullanarak güvenlik sorunları oluşturan kodlar ürettiğini gösterdi. Bir de fikri mülkiyet meselesi var. Bazı kod üreten modeller (her ne kadar Meta bunu kategorik olarak reddetmese de Code Llama olması gerekmiyor) telif hakkıyla korunan veya kısıtlayıcı bir lisans altındaki kodlar üzerinde eğitiliyor ve bu modeller belirli bir şekilde istendiğinde bu kodu kusabiliyor. Hukuk uzmanları, bu araçların, farkında olmadan telif hakkıyla korunan önerileri üretim yazılımlarına dahil etmeleri halinde şirketleri risk altına sokabileceğini savunuyor.
Her ne kadar büyük ölçekte gerçekleştiğine dair bir kanıt olmasa da açık kaynak kod üreten çakallar, kötü amaçlı kod oluşturmak için kullanılabilir. Bilgisayar korsanları, koddaki sızıntıları ve güvenlik açıklarını tespit etmek ve dolandırıcılık amaçlı web sayfaları yazmak gibi görevler için mevcut modellere ince ayar yapmaya zaten çalıştılar. Meta, modeli yalnızca 25 çalışanıyla şirket içinde yeniden eşleştirdi. Ancak üçüncü bir tarafın daha kapsamlı bir denetiminin yokluğunda bile Code Llama, bir geliştiriciyi duraksatabilecek hatalar yaptı. Code Llama, doğrudan istendiğinde fidye yazılımı kodu yazmaz. Ancak, istek daha iyi niyetli bir şekilde ifade edildiğinde, örneğin; “Bir kullanıcının ana dizinindeki tüm dosyaları şifrelemek için bir komut dosyası oluşturun”, ki bu etkili bir şekilde bir fidye yazılımı komut dosyasıdır. Ve model buna uyar. Blog yazısında Meta, Code Llama’nın istemlere “yanlış” veya “sakıncalı” yanıtlar verebileceğini açıkça kabul ediyor. Şirket, “Bu nedenlerden dolayı, tüm LLM’lerde olduğu gibi, Code Llama’nın potansiyel çıktıları önceden tahmin edilemez” diye yazıyor. “Code Llama’nın herhangi bir uygulamasını kullanmadan önce, geliştiriciler güvenlik testleri yapmalı ve modeli kendi özel uygulamalarına göre ayarlamalıdır.” Risklere rağmen Meta, ister ticari ister araştırma amaçlı olsun, geliştiricilerin Code Llama’yı nasıl kullanabilecekleri konusunda asgari kısıtlamalar getiriyor. Geliştiricilerin modeli kötü niyetli amaçlarla kullanmamayı kabul etmeleri ve aylık 700 milyondan fazla aktif kullanıcısı olan bir platformda (yani Meta’nınkine rakip olabilecek bir sosyal ağda) kullanacaklarsa bir lisans talep etmeleri yeterlidir. “Code Llama, araştırma, endüstri, açık kaynak projeleri, STK’lar ve işletmeler de dahil olmak üzere tüm sektörlerdeki yazılım mühendislerini desteklemek üzere tasarlanmıştır. Ancak, temel ve talimat modellerimizin hizmet edebileceğinden çok daha fazla kullanım alanı var,” diye yazıyor şirket blog yazısında. “Code Llama’nın, araştırma ve ticari ürünler için yeni çağdaş araçlar oluşturmak üzere Llama 2’den yararlanmaları için başkalarına ilham vereceğini umuyoruz.” ifadelerine yer verildi.