İçeriğe atla

Bellek içi işleme

Bilgisayar biliminde, bellek içi işleme, bellek içi bir veritabanında depolanan verilerin işlenmesi için gelişen bir teknolojidir. Daha eski sistemler, SQL sorgu dilini kullanan disk depolama ve ilişkisel veritabanlarına dayanıyordu, ancak bunlar iş zekası (BI) ihtiyaçlarını karşılamada giderek yetersiz kalıyor. Depolanan verilere, rastgele erişimli belleğe (RAM) veya flash belleğe yerleştirildiğinde çok daha hızlı erişildiğinden, bellek içi işleme, verilerin gerçek zamanlı olarak analiz edilmesini sağlayarak iş dünyasında daha hızlı raporlama ve karar vermeyi mümkün kılar.[1][2]

Disk tabanlı İş Zekası

Veri yapıları

Disk tabanlı teknoloji ile veriler, sorguların çalıştırıldığı çoklu tablolar ve çok boyutlu yapılar şeklinde bilgisayarın sabit diskine yüklenir . Disk tabanlı teknolojiler, genellikle SQL Server, MySQL, Oracle ve diğerleri gibi yapılandırılmış sorgu diline (SQL ) dayanan ilişkisel veritabanı yönetim sistemleridir (RDBMS). RDBMS, işlemsel işleme gereksinimleri için tasarlanmıştır . Eklemeleri ve güncellemeleri destekleyen bir veritabanı kullanmanın yanı sıra toplamalar, birleştirmeler(BI çözümlerinde tipiktir) tipik olarak çok yavaştır. Diğer bir dezavantaj, SQL'in veri satırlarını verimli bir şekilde getirmek için tasarlanmış olması ve BI sorgularının genellikle ağır hesaplamalar içeren kısmi veri satırlarının getirilmesini içermesidir.

Sorgu performansını iyileştirmek için çok boyutlu veritabanları veya çok boyutlu çevrimiçi analitik işleme (MOLAP) olarak da adlandırılan OLAP küpleri oluşturulur. Küp tasarlamak ayrıntılı ve uzun bir süreçtir ve küpün yapısını dinamik olarak değişen iş gereksinimlerine uyum sağlayacak şekilde değiştirmek zahmetli olabilir. Küpler, belirli sorguları yanıtlamak için verilerle önceden doldurulur ve performansı artırsalar da, geçici sorguları yanıtlamak için hala uygun değildirler.[1]

Bilgi teknolojisi (BT) personeli, veritabanlarını optimize etmeye, dizinler ve kümeler oluşturmaya, küpler ve yıldız şemaları tasarlamaya, veri modellemeye ve sorgu analizine önemli ölçüde geliştirme zamanı harcar.[2]

İşlem Hızı

Aynı verileri RAM'den okumaya kıyasla, sabit diskten veri okumak çok daha yavaştır (muhtemelen yüzlerce kez). Özellikle büyük hacimli verileri analiz ederken performans ciddi şekilde düşer. SQL çok güçlü bir araç olmasına rağmen, karmaşık sorguların yürütülmesi nispeten uzun zaman alır ve genellikle işlemsel işleme performansının düşmesine neden olur. Kabul edilebilir bir yanıt süresi içinde sonuçlar elde etmek için, birçok veri ambarı, özetleri önceden hesaplayacak ve yalnızca belirli sorguları yanıtlayacak şekilde tasarlanmıştır. Performansı artırmak için optimize edilmiş toplama algoritmalarına ihtiyaç vardır.

Bellek içi işleme teknolojisinin avantajları

Bilgisayar teknolojisindeki ve iş gereksinimlerindeki belirli gelişmeler, bellek içi teknolojinin göreli avantajlarını artırma eğiliminde olmuştur.[3]

  • Moore yasasına göre donanım giderek daha ucuz ve daha yüksek performanslı hale geliyor . Bilgi işlem gücü, maliyetlerde düşerken her iki ila üç yılda bir ikiye katlanır. CPU işleme, bellek ve disk depolama, tümü bu yasanın bazı varyasyonlarına tabidir. Sütun merkezli veri tabanları, sıkıştırma teknikleri ve toplu tabloları işleme gibi yazılım yeniliklerine ek olarak, çok çekirdekli mimari, NAND flash bellek, paralel sunucular ve artırılmış bellek işleme kapasitesi gibi donanım yenilikleri de bellek içi talebe katkıda bulunmuştur.[4]
  • 32 bit sistemlerde erişilebilen 2 veya 4 GB'den çok daha fazla RAM'e (100 GB veya daha fazla) erişime izin veren 64 bit işletim sistemlerinin ortaya çıkışı.64 bit işletim sistemleri, depolama ve analiz için Terabayt (1 TB = 1.024 GB) alan sağlayarak bellek içi işlemeyi ölçeklenebilir hale getirir. Flash bellek kullanımı, sistemlerin daha ekonomik olarak birçok Terabayta ölçeklenmesini sağlar.
  • Artan veri hacimleri, geleneksel veri ambarlarının artık verileri zamanında ve doğru bir şekilde işleyemeyeceği anlamına geliyordu. Veri ambarlarını operasyonel verilerle periyodik olarak güncelleyen ETL sürecinin tamamlanması birkaç saatten haftalara kadar sürebilir. Ayıkla, dönüştür, yükle (ETL) sürecinin tamamlanması haftalar veya birkaç saat arasında sürebilir. Bu nedenle, herhangi bir zaman noktasında veriler en az bir günlüktür. Bellek içi işleme, gerçek zamanlı raporlama için terabaytlarca veriye anında erişim sağlar.
  • Bellek içi işleme, geleneksel BI araçlarına kıyasla daha düşük bir maliyetle sunulur ve daha kolay dağıtılıp bakımı yapılabilir.

İş Hayatında Uygulama

Bir dizi bellek içi ürün, mevcut veri kaynaklarına bağlanma ve görsel olarak zengin etkileşimli panolara erişim olanağı sağlar. Bu, iş analistlerinin ve son kullanıcıların fazla eğitim veya uzmanlık gerektirmeden özel raporlar ve sorgular oluşturmasına olanak tanır. Kolay gezinme ve sorguları anında değiştirme yeteneği, birçok kullanıcı için faydalıdır. Bu panolar yeni verilerle doldurulabildiğinden, kullanıcılar gerçek zamanlı verilere erişebilir ve dakikalar içinde raporlar oluşturabilir. Bellek içi işleme, çağrı merkezlerinde ve depo yönetiminde özellikle faydalı olabilir.[5]

Bellek içi işleme ile, her sorgu çalıştırıldığında veritabanına erişmek yerine kaynak veritabanı yalnızca bir kez sorgulanır, böylece tekrarlayan işlemeleri ortadan kaldırır ve veritabanı sunucuları üzerindeki yükü azaltır. Bellek içi veritabanını bir gecede doldurmak için zamanlama yaparak, veritabanı sunucuları yoğun saatlerde operasyonel amaçlar için kullanılabilir.

Bellek içi teknolojinin benimsenmesi

Çok sayıda kullanıcıyla, bellek içi yapılandırma için büyük miktarda RAM gerekir ve bu da donanım maliyetlerini etkiler. Yatırımın, sorgu yanıt hızının yüksek öncelikli olduğu ve veri hacminde önemli bir büyümenin ve raporlama olanaklarına olan talebin arttığı durumlarda uygun olma olasılığı daha yüksektir; bilginin hızlı değişime tabi olmadığı durumlarda yine de uygun maliyetli olmayabilir. Bellek içi araçlar son kullanıcılara büyük miktarda veri sunduğundan, güvenlik de dikkate alınması gereken bir diğer konudur. Üreticiler, verilere yalnızca yetkili kullanıcılara erişim verilmesini sağlamayı önerir.[6]

Kaynakça

  1. ^ a b Plattner, Hasso (2011). In-memory data management : an inflection point for enterprise applications. Alexander Zeier. Berlin: Springer. ISBN 978-3-642-19363-7. OCLC 719363183. 
  2. ^ a b Zhang, Hao; Chen, Gang; Ooi, Beng Chin; Tan, Kian-Lee; Zhang, Meihui (1 Temmuz 2015). "In-Memory Big Data Management and Processing: A Survey". IEEE Transactions on Knowledge and Data Engineering. 27 (7): 1920-1948. doi:10.1109/TKDE.2015.2427795. ISSN 1041-4347. 24 Mayıs 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 22 Eylül 2021. 
  3. ^ "In_memory Analytics" (İngilizce). yellowfin. s. 6. 23 Mart 2021 tarihinde kaynağından arşivlendi. Erişim tarihi: 22 Eylül 2021. 
  4. ^ "Infosys-Oracle Blog: In-memory computing in Business Intelligence". web.archive.org. 24 Nisan 2011. 24 Nisan 2011 tarihinde kaynağından arşivlendi. Erişim tarihi: 22 Eylül 2021. 
  5. ^ "In_memory Analytics" (İngilizce). yellowfin. s. 9. 23 Mart 2021 tarihinde kaynağından arşivlendi. Erişim tarihi: 22 Eylül 2021. 
  6. ^ "In_memory Analytics" (İngilizce). yellowfin. s. 12. 23 Mart 2021 tarihinde kaynağından arşivlendi. Erişim tarihi: 22 Eylül 2021. 

1. Plattner, Hasso; Zeier, Alexander (2012). In-Memory Data Management: Technology and Applications Springer Science & Business Media. ISBN 9783642295744

2. Zhang, Hao; Gang Chen; Beng Chin Ooi; Kian-Lee Tan; Meihui Zhang (July 2015). "In-Memory Big Data Management and Processing: A Survey" 24 Mayıs 2020 tarihinde Wayback Machine sitesinde arşivlendi.. IEEE Transactions on Knowledge and Data Engineering. 27 (7): 1920–1948. doi:10.1109/TKDE.2015.2427795

3. Gill, John (2007). "Shifting the BI Paradigm with In-Memory Database Technologies". Business Intelligence Journal. 12 (2): 58–62.

4. Earls, A (2011). Tips on evaluating, deploying and managing in-memory analytics tools (PDF). Tableau. Archived from the original (PDF) on 2012-04-25.

5. "In_memory Analytics" 23 Mart 2021 tarihinde Wayback Machine sitesinde arşivlendi. (Eng). yellowfin. s. 6. Erişim tarihi: 22 Eylül 2021.

6. Kote, Sparjan. "In-memory computing in Business Intelligence" orijinalinden arşivlenmiştir. orijinal

7. "In_memory Analytics" 23 Mart 2021 tarihinde Wayback Machine sitesinde arşivlendi. (Eng). yellowfin. s. 9. Erişim tarihi: 22 Eylül 2021.

8. "In_memory Analytics" 23 Mart 2021 tarihinde Wayback Machine sitesinde arşivlendi. (Eng). yellowfin. s. 12. Erişim tarihi: 22 Eylül 2021.

İlgili Araştırma Makaleleri

<span class="mw-page-title-main">RAM</span> herhangi bir sırada okunabilen ve değiştirilebilen bir tür geçici veri deposu

Rastgele erişimli hafıza veya rastgele erişimli bellek mikroişlemcili sistemlerde kullanılan, genellikle çalışma verileriyle birlikte makine kodunu depolamak için kullanılan herhangi bir sırada okunabilen ve değiştirilebilen bir tür geçici veri deposudur. Buna karşın diğer hafıza aygıtları saklama ortamındaki verilere önceden belirlenen bir sırada ulaşabilmektedir, çünkü mekanik tasarımları ancak buna izin vermektedir.

Veri madenciliği, büyük ölçekli veriler arasından faydalı bilgiye ulaşma, bilgiyi madenleme işidir. Büyük veri yığınları içerisinden gelecekle ilgili tahminde bulunabilmemizi sağlayabilecek bağıntıların bilgisayar programı kullanarak aranması olarak da tanımlanabilir.

SQL, verileri yönetmek ve tasarlamak için kullanılan bir dildir. SQL, kendi bir programlama dili olmamasına rağmen birçok kişi tarafından programlama dili olarak bilinir. SQL herhangi bir veri tabanı ortamında kullanılan bir alt dildir. SQL ile yalnızca veri tabanı üzerinde işlem yapılabilir; veritabanlarında bulunan sistemlere bilgi ekleme, bilgi değiştirme, bilgi çıkarma ve bilgi sorgulama için kullanılmaktadır. Özellikle de ilişkisel veritabanı sistemleri üzerinde yoğun olarak kullanılmaktadır. SQL'e özgü cümleler kullanarak veri tabanına kayıt eklenebilir, olan kayıtlar değiştirilebilir, silinebilir ve bu kayıtlardan listeler oluşturulabilir.

Veritabanları, yapılandırılmış bilgi veya verilerin depolandığı alanlardır. Bilgi artışıyla birlikte bilgisayarda bilgi depolama ve bilgiye erişim konularında yeni yöntemlere ihtiyaç duyulmuştur. Veritabanları; büyük miktardaki bilgileri depolamada geleneksel yöntem olan "dosya-işlem sistemine" alternatif olarak geliştirilmiştir. Telefonlardaki kişi rehberi günlük hayatta çok basit bir şekilde kullanılan veri tabanı örneği olarak kabul edilebilir. Bunların dışında internet sitelerindeki üyelik sistemleri, akademik dergilerin ve üniversitelerin tez yönetim sistemleri de veritabanı kullanımına örnektir. Veritabanları sayesinde bilgilere ulaşılabilir ve onları düzenlenebilir. Veritabanları genellikle bireysel olarak satın alınamayacak kadar yüksek meblağlara sahip olmasına karşın; ücretsiz kullanıma açılan akademik veritabanları da bulunmaktadır. Akademik veritabanları aracılığıyla bazen bibliyografik bilgi bazen de tam metinlere erişmek mümkündür. Veritabanları, veritabanı yönetim sistemleri aracılığıyla oluşturulur ve yönetilir. Bu sistemlere; Microsoft Access, MySQL, IBM DB2, Informix, Interbase, Microsoft SQL Server, PostgreSQL, Oracle ve Sysbase örnek olarak verilebilir.

Bellek bilgisayarı oluşturan 3 ana bileşenden biridir.. İşlemcinin çalıştırdığı programı, lar ve programa ait bilgiler bellek üzerinde saklanır. Bellek geçici bir depolama alanıdır. Bellek üzerindeki bilgiler güç kesildiği anda kaybolurlar. Bu nedenle bilgisayarlarda programları daha uzun süreli ve kalıcı olarak saklamak için farklı birimler mevcuttur.

<span class="mw-page-title-main">PostgreSQL</span> Veri tabanı yönetim sistemi

PostgreSQL ya da Postgres, özgür ve açık kaynak kodlu, SQL destekli bir ilişkisel veritabanı yönetim sistemidir.

<span class="mw-page-title-main">Microsoft SQL Server</span>

Microsoft SQL Server, Microsoft tarafından geliştirilen ve yönetilen bir ilişkisel veritabanı yönetim sistemidir. SQL Server, büyük ve karmaşık veritabanlarını depolamak, yönetmek, sorgulamak ve işlemek için kullanılan bir yazılım ürünüdür. Veri depolama, veri güvenliği, yedekleme, geri yükleme, veri entegrasyonu, analiz ve raporlama gibi çeşitli veritabanı yönetimi işlevlerini destekler.

InnoDB, MySQL AB tarafından dağıtılan tüm paketlerde yer alan standart MySQL veri tabanı motorudur. Sistemi diğer kayıt motorlarından ayıran en önemli özellik ACID uyumlu olması, aktarım ve yabancı anahtar desteği sunmasıdır.

MyISAM, MySQL ilişkisel veri tabanı yönetim sisteminin kullandığı ön tanımlı kayıt motorudur. Öncülü ISAM kodu temel alınarak geliştirilen MyISAM birçok yararlı özelliğe sahiptir. Ne var ki, MySQL'in son sürümleri aktarım ve veri tutarlılığı kısıtlamaları desteği sunan ve yüksek eşgüdüm öngören InnoDB'yi yeğlemektedir.

NoSQL, bir UNİX shell tabanlı hızlı ve taşınabilir bir ilişkisel veritabanı yönetim sistemidir. İşlemci hızı ve elektronik bellek büyüklüğü dışında herhangi bir keyfî sınırlaması yoktur. NoSQL, UNIX işletim sistemiyle çalışır. SQL'yi hiç kullanamayan ve dağıtık veritabanları kullanmayı öneren NoSQL kavramına karşın NoSQL bu dili kasten kullanmamaktadır.

Bilgisayar bilimleri'nde NoSQL, klasik ilişkisel veritabanı yönetim sistemlerinden (İVTYS) bir şekilde farklı olan veritabanı yönetim sistemleri için kullanılan bir kavramdır. Bu veri depolarının sabit tabela düzenlerine ihtiyaçları olmayabilir, alışılagelmiş join işlemleri kullanılmaz, tipik olarak yatay ölçeklemeye gidilir. Akademisyenlerce ve makalelerde tipik olarak böyle veri depolarına yapılanmış bellek denir. Bu kavram klasik ilişkisel veritabanlarını altküme olarak görür. Bu kavram aynı zamanda SQL ve Daha Fazlası olarak da adlandırılmaktadır.

<span class="mw-page-title-main">Veri kayıt ortamı</span> bilginin kaydı için fiziksel depolama ortamı

Veri kayıt ortamı, verilerin üzerine kaydedilip saklandığı ortamların genel adı.

<span class="mw-page-title-main">Dijital ortam</span>

Dijital ortam, verilerin üzerine kaydedilip saklandığı ortamların genel adı.

<span class="mw-page-title-main">İş zekası</span> şirketlerin ve kurumların başarısı için yapılan analizleri anlayabilme ve geliştirebilme kabiliyeti

İş zekası veya kısaca: BI, iş amaçları için ham veriyi anlamlı ve kullanışlı bilgiye dönüştüren teorilerin, yöntemlerin, süreçlerin, mimarilerin ve teknolojilerin bir kümesidir. BI yeni fırsatlar tanımlamak ve geliştirmeye yardım etmek için büyük miktarlarda bilgi yönetir. Yeni fırsatların ve etkili strateji gerçekleştirmek için bir rekabet piyasası avantajı ve uzun soluklu kararlılık sağlar.

PHP Veri Nesneleri (PDO), çeşitli veritabanlarına erişim için oldukça hafif ve tutarlı bir arayüz sunan bir PHP programlama dili eklentisidir. PDO arayüzü bulunan veritabanı sürücüleri yardımıyla, veritabanına özgü işlevler genel PHP eklenti işlevleri olarak çalıştırabilirler.

Tableau merkezi Seattle, ABD'de bulunan bir iş yazılımıdır. İş zekası odaklı verinin görselleşmesini sağlayan interaktif bir yazılımdır.

Bir uzamsal (mekansal) veri tabanı verileri depolamak ve bir geometrik uzayda/uzamda/mekanda tanımlanmış nesneleri temsil için sorgu verileri ile en uygun hale getirilmiş bir veri tabanıdır. En gelişmiş uzamsal veri tabanları, noktalar, çizgiler ve çokgenler gibi basit geometrik nesnelerin temsiline izin verir. Bazı uzamsal veri tabanları, 3D nesneler, topolojik kapatıcılık, doğrusal ağlar ve Üçgenlenmiş Düzensiz Ağ gibi daha karmaşık yapıları işlemektedir. Özgün veri tabanları çeşitli sayısal veriler ve karakter tiplerini yönetmek için tasarlanmış olsa da veri tabanlarına etkin uzamsal veri türlerini işlemek için ek işlevsellik eklenmesi gerekiyor. Bunlara genellikle geometri veya özellik denir. Open Geospatial Consortium basit özelliklerin belirtimini oluşturdu ve veri tabanı sistemlerinde uzamsal işlevsellik eklemek için ölçütleri belirliyor.

İlişkisel veritabanı, 1970 yılında Edgar Frank Codd tarafından önerildiği gibi, organizasyonu ilişkisel veri modeline dayanan bir dijital veritabanıdır. İlişkisel veritabanlarını korumak için kullanılan çeşitli yazılım sistemleri bir ilişkisel veritabanı yönetim sistemi (RDBMS) olarak bilinir. Neredeyse tüm ilişkisel veritabanı sistemleri, sorgulama ve veritabanının bakımı için dil olarak SQL(Structured Query Language) kullanmaktadırlar.

SQL Server Compact veya SQL CE Mobil cihazlar ve masaüstü uygulamalar için Microsoft tarafından üretilen kompakt bir ilişkisel veritabanıdır. Masaüstü platformunun tanıtımından önce, Windows CE ve SQL Server Mobile Edition için SQL Server olarak biliniyordu. En yeni sürüm SQL Server Compact 4.0, .NET Framework 4.0'ı destekliyor ve bu sürümde Windows Mobile için destek bırakıyor. Hem 32 bit hem de 64 bit yerel desteği içerir. SQL CE zaman zaman bağlı uygulamaları ve uygulamaları gömülü bir veritabanı ile hedefler. İndirmek ve yeniden dağıtmak serbesttir. SQL CE için bir ODBC sürücüsü yoktur ve planlanmamış biridir. Yerel uygulamalar, OLE DB aracılığıyla SQL CE'yi kullanabilir.

<span class="mw-page-title-main">Hazelcast</span>

Bilgisayar kullanımında Hazelcast IMDG, Java tabanlı özgür bir bellek içi veri ızgarasıdır. Aynı zamanda ürünü geliştiren şirketin adıdır. Hazelcast şirketi, girişim sermayesi tarafından finanse edilmektedir ve merkezi San Mateo'dadır.


Bu sayfa, bu Vikipedi makalesine dayanmaktadır.
Metin, CC BY-SA 4.0 lisansı altında mevcuttur; ek koşullar uygulanabilir.
Görseller, videolar ve sesler kendi lisansları altında mevcuttur.