Yapay zeka atılımlarını desteklemek için sentetik verilerden yararlanma

İnanması zor ama yapay zekanın yükselişi bazı açılardan veri eksikliği yarattı. Aslında eksiklik değil. Katlanarak büyüyen şaşırtıcı miktarda veriye sahibiz(tahminler 2023 yılında 120 zettabayt oluşturulacağınıgösteriyor ). Ve bu sayı 2027 yılına kadar iki katına çıkabilir!

Hayır, mevcut veri sorunumuz miktar değil, uygunluktur. Üretken yapay zekanın bir ürünü olan sentetik veriler bunun için bir cevap olabilir.

Bu makalede, sentetik verilerin veriye aç yapay zeka girişimlerimizdeki hayati yerini, işletmelerin büyümenin kilidini açmak için sentetik verileri nasıl kullanabileceğini ve henüz çözülmemiş etik zorlukları tartışacağız.

Dört temel sentetik veri türüne ve bunların sıklıkla nasıl kullanıldığına bir bakış   

• Sentetik yapılandırılmış veriler bireyleri, ürünleri ve diğer varlıkları ve bunların faaliyetlerini veya niteliklerini temsil eder - müşteriler ve satın alma alışkanlıkları veya hastalar ve semptomları, ilaçları ve teşhisleri dahil.
• Sentetik görüntüler , nesne algılama, görüntü sınıflandırma ve segmentasyon eğitimi için çok önemlidir. Bu görüntüler kanserin erken teşhisi, ilaç keşfi ve klinik deneyler ya da sürücüsüz araçların öğretilmesi için faydalıdır. Sentetik görüntüler, yatay yönelimli trafik sinyalleri gibi az verinin mevcut olduğu nadir uç durumlar için kullanılabilir.
• Sentetik metin , suistimal tespiti ve stres testi gibi uygulamalar için çeviri, duygu analizi ve metin oluşturmaya yönelik sağlam, çok yönlü doğal dil işleme (NLP) modellerini mümkün kılacak şekilde uyarlanabilir.
• Sentetik zaman serisi verileri (sensör verileri dahil) radar sistemlerinde, IoT sensör okumalarında ve ışık algılama ve menzil belirlemede kullanılabilir. Daha fazla verinin güvenlik ve güvenilirliği sağlayabileceği kestirimci bakım ve otonom araç sistemleri için değerli olabilir.

Sentetik veri oluşturma: SMOTE ve GAN ne zaman kullanılmalı

İş kuralları ve iş mantığı ile veri üretmek yeni bir kavram değildir. Yapay zeka, uygun değerleri ve ilişkileri otomatik olarak modellemek için mevcut verileri kullanabilen algoritmalar sunarak veri üretimine bir doğruluk katmanı ekler.

Sentetik veri üretmek için iki popüler yapay zeka tekniği vardır:

1. Yapay Azınlık Fazla Örnekleme Tekniği (SMOTE).   
2. Çekişmeli üretici ağ (GAN).

SMOTE akıllı bir enterpolasyon tekniğidir. Gerçek verilerin bir örneğini kullanarak ve rastgele noktalar ile bunların en yakın komşuları arasında veri noktaları oluşturarak çalışır. Bu şekilde SMOTE, yeterince temsil edilmeyen sınıflar gibi ilgi çekici noktalara odaklanmanıza ve veri setini dengelemek ve tahmin modellerinde genel doğruluğu artırmak için benzer noktalar oluşturmanıza olanak tanır.

Öte yandan GAN, orijinal verileri temsil etmek için sofistike bir derin öğrenme modelini eğiterek veri üreten bir tekniktir. Bir GAN, iki sinir ağından oluşur: sentetik veri oluşturmak için bir üretici ve bunu tespit etmeye çalışan bir ayırt edici. Bu yinelemeli karşıtlık ilişkisi giderek daha gerçekçi sentetik veriler üretir, çünkü ayırıcı nihayetinde sentetik ve gerçek veriler arasındaki farkı kolayca söyleyemez. Eğitim süreci zaman alıcı olabilir ve genellikle grafik işleme birimleri (GPU'lar) gerektirir, ancak değişkenler arasındaki yüksek derecede doğrusal olmayan ve karmaşık ilişkileri yakalayarak son derece doğru sentetik veriler üretebilir. Ayrıca, orijinal verilerin sınırlarında veya ötesinde veri üretebilir ve potansiyel olarak aksi takdirde ihmal edilecek yeni verileri temsil edebilir.

Bir test: Sentetik verilere karşı anonimleştirilmiş veriler

SAS ve bir iş ortağı, gerçek dünyadaki bir telekom müşterisinin kayıp veri setini kullanarak anonimleştirilmiş verilere alternatif olarak sentetik verilerin uygulanabilirliğini test etti (blog gönderisini okuyun , Yüksek kaliteli verilere kolay ve hızlı erişim için yapay zeka tarafından oluşturulan sentetik verileri kullanma). Van Unen, ekibin sonucu veri kalitesi, yasal geçerlilik ve kullanılabilirlik açısından değerlendirdiğini açıkladı.

Ne öğrendiler?

• Sentetik veriler, "derin gizli istatistiksel modeller" de dahil olmak üzere orijinal istatistiksel özellikleri ve iş mantığını korudu. Karşılaştırmalı olarak, anonimleştirme altta yatan korelasyonları yok eder.
• Sentetik veri modelleri, orijinal veriler üzerinde eğitilenlere benzer şekilde yayılmayı tahmin etmiştir. Bu arada, anonimleştirilmiş veri modelleri düşük performans göstermiştir.
• Sentetik veriler, modelleri eğitmek ve temel veri özelliklerini anlamak için kullanılabilir, orijinal verilere erişimi azaltarak ve önleyerek gizliliği korur.
• Sentetik veri oluşturma süreçleri tekrarlanabilir. Anonimleştirme değişken, tutarsız ve daha manueldir.

Van Unen, "Bu vaka çalışması, yapay zeka tarafından üretilen sentetik verilerin analitik ve model geliştirme için yüksek kaliteli verilere hızlı ve kolay erişim sağladığı fikrini güçlendiriyor" diyor. "Tasarıma göre gizlilik yaklaşımı analiz, test ve geliştirmeyi daha çevik hale getiriyor."

Sentetik verilere ilişkin etik hususlar

Sentetik verinin kullanımı yaygınlaştıkça, sentetik veri kasaları da daha yaygın hale gelecektir. Bu ortak havuzlar işbirliğini, verilerin demokratikleşmesini ve fikirlerin çapraz tozlaşmasını teşvik edecektir. Ancak istemeden de olsa önyargıları destekleyebilir, veri gizliliği ihlallerini gizleyebilir ve adil olmayan veri uygulamalarını sürdürebilirler.

Lucini, sanılanın aksine sentetik verilerin ne otomatik olarak özel olduğunu ne de gizliliği koruduğunu savunuyor. Doğru kontroller ve testlerle uygulanmadığı takdirde, sentetik veri üretimi yine de gizlilik sızıntılarına yol açabilir. 

"Üretken modeller bir 'kara kutu' olabilir. Sorumlu kullanımın sağlanabilmesi için sıkı doğrulama gerektirirler, ancak sektör henüz bunu tam olarak geliştirmemiştir. İstenmeyen sonuçlardan kaçınmak için sentetik verilere büyük bir dikkatle yaklaşmalıyız," diyor SAS Sentetik Veri Ürün Müdürü Natalya Spicer.

Mahremiyet hakkı siyah ve beyazdır - bunu düzenleyebilir, etrafına kurallar koyabilir ve herkesi bu kurallara bağlayabiliriz. Adillik ve önyargının düzenlenmesi o kadar kolay değildir. Bu öznel kararlar bireylere bırakılırsa, sonuçları uzun vadeli olabilir. Dolayısıyla, daha kapsamlı hükümet düzenlemeleri yapılana kadar kurumsal düzeyde yönetişime ihtiyacımız var.

Spicer, "SAS ^® Viya^® 'yı kurduk. Yapay zeka ve sentetik verilerin hızlanmasıyla birlikte çok önemli hale gelen veri ve analitiğin uyumlu kullanımı için kurumsal bir platform olarak hizmet vermeyi amaçlıyoruz." dedi. "SAS Viya, modellerin nasıl oluşturulduğuna ilişkin tam izlenebilirliğe sahiptir; ham veriye ve doğruluğunu analiz etmek için kullanılan modellere kadar."

Sentetik veri ve yapay zekanın geleceği

Yapay zeka ve veri bilimi ilerledikçe, sentetik veriler giderek daha önemli hale gelecektir. Sentetik veriler ve yeni teknikler arasındaki sinerji, mümkün olanın sınırlarını daha da zorlayarak daha da sofistike ve gerçekçi sentetik veri setlerinin oluşturulmasını sağlayacaktır.

Sentetik veri kullanımı geliştikçe yönetişim de önemli bir rol oynayacaktır. Kurumlar sağlam yönetişim çerçeveleri, veri denetimi uygulamaları ve sentetik verilere yönelik sınırlamalar ve uygun kullanım durumları hakkında açık bir iletişim uygulamalıdır. Sentetik verilerin kullanımının etiketlenmesi ve tanımlanmasına yönelik politikalar da yanlış kullanım ve yanlış anlaşılmaların önüne geçilmesi açısından büyük önem taşıyacaktır. Veri bilimciler, sentetik verilerin gücünü benimseyerek inovasyonun yeni sınırlarını ortaya çıkarabilir, daha sağlam ve güvenilir yapay zeka modelleri geliştirebilir ve dünyamızı olumlu yönde etkileyen dönüşümü teşvik edebilirler.