Tokenization nedir?
Türkçesi: Jetonlaştırma / Tokenizasyon
İngilizcesi: Tokenization
Türkçe Okunuşu: tokınayzeyşın
İngilizce Okunuşu: ˌtoʊ.kən.əˈzeɪ.ʃən
Dilbilgisi: İsim (bilişim ve pazarlama terimi)
Köken: İngilizce “token” (jeton, simge) kelimesinden türetilmiştir. Latince “toccare” (dokunmak) kökünden gelen “token”, zamanla dijital anlamlar kazanmış ve “-ization” ekiyle soyut bir işlem olarak kullanıma geçmiştir.
Alakalı Sözcükler: Hashing, Anonymization, Data Masking, Natural Language Processing (NLP), Token, Token ID
Tokenization ne anlama gelir?
Tokenization (tokenizasyon), bağlama göre iki ana alanda kullanılır:
Veri güvenliği ve ödeme sistemleri alanında tokenization:
Hassas bilgilerin (kredi kartı numarası, kimlik numarası gibi) yerine, o veriyi temsil eden ama kendisi hiçbir anlam taşımayan bir “token” yerleştirilmesini ifade eder. Bu token, merkezi bir sistemde orijinal veriyle eşleştirilerek gerektiğinde çözülür. Bu yöntem, veri ihlali durumunda gerçek bilgilere ulaşılamamasını sağlar.
NLP ve arama motoru teknolojilerinde tokenization:
Bir metni analiz etmek için onu kelime, cümle ya da karakter düzeyinde küçük parçalara (token’lara) ayırma işlemidir. Örneğin, “Dijital pazarlama gelişiyor.” cümlesi şu şekilde token’lanabilir: [“Dijital”, “pazarlama”, “gelişiyor”, “.”]. Bu süreç arama motoru algoritmalarından yapay zekâ destekli sohbet botlarına kadar birçok sistemin temelini oluşturur.
« Fihriste Dön
