Multimedya bilgi alma

Multimedya bilgi alma ( MMIR veya MIR ), multimedya veri kaynaklarından anlamsal bilgi çıkarmayı amaçlayan bir bilgisayar bilimi araştırma disiplinidir .^[1] Ses , görüntü ve video gibi doğrudan algılanabilir medya , metin , anlamsal açıklamalar,^[2] biyolojik sinyaller [en] gibi dolaylı olarak algılanabilir kaynaklar ve biyolojik bilgi, hisse senedi fiyatları vb. gibi algılanamayan kaynakları içerir. MMIR metodolojisi üç grupta düzenlenebilir:

Medya içeriğinin özetlenmesine yönelik yöntemler ( özellik çıkarma [en] ). Özellik çıkarma işleminin sonucu bir açıklamadır.
Medya açıklamalarının filtrelenmesine yönelik yöntemler (örneğin, gereksizliklerin [en] ortadan kaldırılması )
Medya tanımlarının sınıflara [en] ayrılmasına yönelik yöntemler .

Özellik çıkarma yöntemleri

Özellik çıkarma, multimedya nesnelerinin büyük boyutları ve bunların yedekliliği ve muhtemelen gürültülü olmasıyla motive edilir. Genel olarak, özellik çıkarma ile iki olası hedefe ulaşılabilir:

Medya içeriğinin özetlenmesi. Özetleme yöntemleri ses alanında, örneğin, mel-frekans cepstral katsayıları [en] , Sıfır Geçiş Oranı, Kısa Süreli Enerji'yi içerir. Görsel alanda, MPEG-7 Ölçeklenebilir Renk Tanımlayıcısı gibi renk histogramları^[3] özetleme için kullanılabilir.
Desenlerin oto-korelasyon [en] ve/veya çapraz-korelasyon [en] ile tespiti . Desenler, medya boyutları (zaman, mekan, vb.) üzerinden parçaları karşılaştırarak veya medya parçalarını şablonlarla (örneğin yüz şablonları, ifadeler) karşılaştırarak tespit edilebilen tekrarlayan medya parçalarıdır. Tipik yöntemler arasında ses/biyo-sinyal^[4] alanında Doğrusal Tahminli Kodlama, görsel alanda doku tanımı ve metin bilgisi almada n-gramlar bulunur.

Birleştirme ve filtreleme yöntemleri

Multimedya Bilgi Alma, medya içeriğinin anlaşılması için birden fazla kanalın kullanıldığı anlamına gelir. Bu kanalların her biri medyaya özgü özellik dönüşümleriyle tanımlanır.^[5] Ortaya çıkan açıklamalar medya nesnesi başına bir açıklamaya birleştirilmelidir. Açıklamalar sabit boyuttaysa birleştirme basit birleştirmeyle gerçekleştirilebilir. Değişken boyutlu açıklamalar (hareket açıklamasında sıklıkla meydana geldikleri gibi) önce sabit bir uzunluğa normalleştirilmelidir.

Açıklama filtrelemesi için sıklıkla kullanılan yöntemler arasında faktör analizi (örneğin PCA ile), tekil değer ayrıştırma (örneğin metin alma işleminde gizli anlamsal dizinleme olarak) ve istatistiksel anların çıkarılması ve test edilmesi yer alır. Kalman filtresi [en] gibi gelişmiş kavramlar açıklamaların birleştirilmesi için kullanılır.

Kategorizasyon yöntemleri

Genel olarak, makine öğreniminin tüm biçimleri multimedya açıklamalarının kategorilendirilmesi için kullanılabilir ancak bazı yöntemler bir alanda diğerine göre daha sık kullanılır. Örneğin, gizli Markov modelleri [en] konuşma tanımada son teknoloji iken, dinamik zaman bükme [en] - anlamsal olarak ilgili bir yöntem - gen dizisi hizalamasında son teknolojidir. Uygulanabilir sınıflandırıcıların listesi şunları içerir:

Metrik yaklaşımlar ( Kümeleme analizi , vektör uzay modeli , Minkowski mesafeleri, dinamik hizalama)
En Yakın Komşu yöntemleri ( K-en yakın komşular algoritması [en] , K-ortalamalar, kendi kendini organize eden harita [en] )
Risk Minimizasyonu (Destek vektör regresyonu, destek vektör makinesi , doğrusal ayırıcı analiz [en] )
Yoğunluk Tabanlı Yöntemler (Bayes ağları, Markov süreçleri , karışım modelleri)
Sinir Ağları ( Perceptron , ilişkisel bellekler, dikenli ağlar)
Sezgisel Yöntemler ( Karar ağaçları [en] , rastgele ormanlar, vb.)

Belirli bir problem için en iyi sınıflandırıcı seçimi (tanımlamalar ve sınıf etiketleri içeren test kümesi, sözde temel gerçek ) otomatik olarak, örneğin Weka Veri Madencisini kullanarak gerçekleştirilebilir .

Multimedya Bilgi Alma Modelleri Konuşulan Dil Ses Alma Konuşulan Dil Ses Alma konuşulan sözcükleri içeren ses içeriğine odaklanır. Konuşulan içeriğin Otomatik Konuşma Tanıma (ASR) kullanılarak metne aktarılmasını ve metin tabanlı arama için aktarımların indekslenmesini içerir.

Temel Özellikler: Teknikler: Transkript ve metin dizini için ASR. Sorgu Türleri: Metin tabanlı sorgular. Uygulamalar: Podcast transkriptlerini arama. Müşteri hizmetleri çağrı kayıtlarını analiz etme. Toplantı kayıtlarında belirli ifadeleri bulma. Zorluklar: ASR'deki hatalar alma doğruluğunu azaltabilir. Çok dillilik ve aksan değişkenliği sağlam sistemler gerektirir. Konuşma Dışı Ses Alma Konuşma Dışı Ses Alma, müzik, ortam sesleri veya ses efektleri gibi konuşulan sözcükler olmadan ses içeriğini işler. Bu model, ilgili sesi tanımlamak için perde, ritim ve tını gibi ses özelliklerini çıkarmaya dayanır.

Temel Özellikler: Teknikler: Akustik özellik çıkarma (örneğin, spektrogramlar, MFCC'ler). Sorgu Türleri: Ses örnekleri veya metinsel açıklamalar. Uygulamalar: Müzik öneri sistemleri. Çevresel ses algılama (örneğin, silah sesleri, hayvan sesleri). Medya üretiminde ses efekti alma. Zorluklar: Kullanıcı sorguları ile düşük seviyeli ses özellikleri arasındaki anlamsal boşluğu kapatmada zorluk. Büyük veri kümelerinin etkili bir şekilde indekslenmesi. Grafik Alma Grafik Alma, düğümlerden (varlıklar) ve kenarlardan (ilişkiler) oluşan grafikler olarak temsil edilen bilgileri alır. Sosyal ağlarda, bilgi grafiklerinde ve biyoenformatikte yaygın olarak kullanılır.

Temel Özellikler: Teknikler: Grafik eşleştirme, bitişiklik listesi/matris depolama ve grafik veritabanları (örneğin, Neo4j). Sorgu Türleri: Alt grafikler, desenler veya metinsel sorgular. Uygulamalar: Sosyal ağ analizi. Bilgi grafiklerini arama. Moleküler yapı alma. Zorluklar: Hesaplama açısından yoğun alt grafik eşleştirme. Büyük, karmaşık grafikler için ölçeklenebilirlik. Görüntü Alma Görüntü Alma, metinsel açıklamalar veya görsel örnekler gibi kullanıcı girdisine dayalı görüntüleri alır. Arama için hem düşük seviyeli özelliklerden hem de anlamsal analizden yararlanır.

Temel Özellikler: Teknikler: İçerik Tabanlı Görüntü Alma (CBIR), görsel özellik çıkarma, anlamsal analiz. Sorgu Türleri: Metin, çizimler veya örnek resimler. Uygulamalar: Stok resim araması. E-ticaret ürün eşleştirme. Tıbbi görüntüleme analizi. Zorluklar: Kullanıcı sorguları ile görüntü içeriği arasındaki anlamsal boşluğu kapatma. Büyük ölçekli görüntü veri kümelerinin etkili bir şekilde indekslenmesi. Video Alma Video Alma, kullanıcı sorgularına dayalı olarak belirli video içeriğini bulma sürecidir. Videoların hem görsel hem de zamansal özelliklerini analiz etmeyi içerir.

Temel Özellikler: Teknikler: Anahtar kare çıkarma, hareket deseni analizi, zamansal dizinleme. Sorgu Türleri: Metinsel açıklamalar, örnek klipler veya zamansal sorgular. Uygulamalar: Akış hizmeti önerileri. Gözetim görüntüleri analizi. Spor analitiği. Zorluklar: Büyük dosya boyutlarındaki video içeriklerini yönetme. Zamansal dizilerin ve çok modlu özelliklerin etkili analizi. Alma Modellerinin Karşılaştırılması Model Veri Türü Sorgu Türleri Uygulamalar Konuşulan Dil Ses Konuşma kayıtları Metin sorguları Podcast'ler, toplantı kayıtları, çağrı merkezleri Konuşma Dışı Ses Müzik, ses efektleri Ses örnekleri veya metin Müzik uygulamaları, çevresel sesler Grafik Alma Grafik yapıları Alt grafikler, desenler Bilgi grafikleri, biyoenformatik Görüntü Alma Görüntüler Metin, çizimler veya görüntüler E-ticaret, tıbbi görüntüleme Video Alma Videolar (görsel + zamansal) Metin, klipler veya zaman sorguları Gözetim, spor analizi Sonuç Multimedya Bilgi Alma, geniş multimedya veri depolarını düzenlemede ve bunlara erişmede önemli bir rol oynar. Çeşitli geri alma modelleri, kullanıcıların karmaşık multimedya veri kümeleriyle etkili bir şekilde etkileşime girebilmesini ve bunlardan içgörüler çıkarabilmesini sağlar. Yapay zeka ve makine öğrenimindeki gelecekteki gelişmelerin MIR sistemlerinin doğruluğunu ve ölçeklenebilirliğini iyileştirmesi bekleniyor.

İlgili alanlar

MMIR, bilgi alma alanlarında kullanılan yöntemlere genel bir bakış sağlar.^[6]^[7] Bir alanın yöntemleri diğer medya türlerinde uyarlanır ve kullanılır. Sınıflandırma gerçekleştirilmeden önce multimedya içeriği birleştirilir. Bu nedenle, MMIR yöntemleri genellikle şu gibi diğer alanlardan yeniden kullanılır:

Uluslararası Multimedya Bilgi Alma Dergisi , MMIR'nin bu alanlardan bağımsız bir araştırma disiplini olarak gelişimini belgelemektedir.^[8] Bu araştırma disiplini hakkında eksiksiz bir genel bakış için ayrıca Multimedya Bilgi Alma El Kitabı'na bakın.^[9]

Kaynakça

^ Hörhan, Markus; Eidenberger, Horst (1 Temmuz 2020). "Gestalt descriptions for deep image understanding". Pattern Analysis and Applications. 24 (1): 89-107. doi:10.1007/s10044-020-00904-6. ISSN 1433-7541.
^ Sikos, Leslie F. (Haziran 2017). "RDF-powered semantic video annotation tools with concept mapping to Linked Data for next-generation video indexing: a comprehensive review". Multimedia Tools and Applications (İngilizce). 76 (12): 14437-14460. doi:10.1007/s11042-016-3705-7. ISSN 1380-7501.
^ Colombo, C.; Del Bimbo, A.; Pala, P. (1999). "Semantics in visual information retrieval". IEEE Multimedia. 6 (3): 38-53. doi:10.1109/93.790610. ISSN 1070-986X.
^ Kim, Hyoung‐Gook; Moreau, Nicolas; Sikora, Thomas (28 Ekim 2005). MPEG‐7 Audio and Beyond. Wiley. ISBN 978-0-470-09334-4.
^ Lew, Michael S., (Ed.) (2001). "Principles of Visual Information Retrieval". Advances in Pattern Recognition. doi:10.1007/978-1-4471-3702-3. ISSN 2191-6586.
^ Jones, Jami L.; Bush, Gail (17 Kasım 2011), Towards an Understanding of Professional Dispositions of Exemplary School Librarians, Springer New York, ss. 209-21814 Nisan 2025
^ Raieli, Roberto (2016). "Introducing Multimedia Information Retrieval to libraries". JLIS (1). doi:10.4403/jlis.it-11530.
^ Zhao, Jing (Ekim 2011). "Research on Content-Based Multimedia Information Retrieval". 2011 International Conference on Computational and Information Sciences. IEEE: 261-263. doi:10.1109/iccis.2011.224.
^ Eidenberger, Horst (2003). "Distance measures for MPEG-7-based retrieval". Proceedings of the 5th ACM SIGMM international workshop on Multimedia information retrieval - MIR '03. New York, New York, USA: ACM Press: 130. doi:10.1145/973264.973286.

[1] Hörhan, Markus; Eidenberger, Horst (1 Temmuz 2020). "Gestalt descriptions for deep image understanding". Pattern Analysis and Applications. 24 (1): 89-107. doi:10.1007/s10044-020-00904-6. ISSN 1433-7541.

[2] Sikos, Leslie F. (Haziran 2017). "RDF-powered semantic video annotation tools with concept mapping to Linked Data for next-generation video indexing: a comprehensive review". Multimedia Tools and Applications (İngilizce). 76 (12): 14437-14460. doi:10.1007/s11042-016-3705-7. ISSN 1380-7501.

[3] Colombo, C.; Del Bimbo, A.; Pala, P. (1999). "Semantics in visual information retrieval". IEEE Multimedia. 6 (3): 38-53. doi:10.1109/93.790610. ISSN 1070-986X.

[4] Kim, Hyoung‐Gook; Moreau, Nicolas; Sikora, Thomas (28 Ekim 2005). MPEG‐7 Audio and Beyond. Wiley. ISBN 978-0-470-09334-4.

[5] Lew, Michael S., (Ed.) (2001). "Principles of Visual Information Retrieval". Advances in Pattern Recognition. doi:10.1007/978-1-4471-3702-3. ISSN 2191-6586.

[6] Jones, Jami L.; Bush, Gail (17 Kasım 2011), Towards an Understanding of Professional Dispositions of Exemplary School Librarians, Springer New York, ss. 209-21814 Nisan 2025

[7] Raieli, Roberto (2016). "Introducing Multimedia Information Retrieval to libraries". JLIS (1). doi:10.4403/jlis.it-11530.

[8] Zhao, Jing (Ekim 2011). "Research on Content-Based Multimedia Information Retrieval". 2011 International Conference on Computational and Information Sciences. IEEE: 261-263. doi:10.1109/iccis.2011.224.

[9] Eidenberger, Horst (2003). "Distance measures for MPEG-7-based retrieval". Proceedings of the 5th ACM SIGMM international workshop on Multimedia information retrieval - MIR '03. New York, New York, USA: ACM Press: 130. doi:10.1145/973264.973286.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]