Növekedőben az információs túlterhelés

A kaliforniai egyetem Berkeleyi központjának 2002-es felmérése szerint, 2002-ben kétszer annyi új információ született, mint az 1999-es évben. A pontos mennyiség 5 exabyte (5 millió terabyte). Egy olyan könyv, ami csupán egyetlen terabyte információt tartalmaz, 10.590 méter vastag lenne, ami méretében még a Mount Everest 8.902 méteres legmagasabb csúcsát is meghaladná. Ezeknek az információknak kilencven százalékát elektronikus módon tárolják. Az IDC kutatócég szerint, 2002-ről 2003-ra az összes lemezes tárolókapacitás 36%-kal nőtt – 2003 harmadik negyedévében elértve a 181,6 petabyte méretet (a petabyte a terabyte és az exabyte között helyezkedik el). Bár az egy megabyte-ra jutó tárolási költségek folyamatosan csökkennek, az adattárház-alkalmazásokhoz szükséges nagy teljesítményű RAID tárolók költségei makacsul tartják magas árszintjüket. Ha ehhez hozzávesszük a tárolás kezelésének költségeit – amit az iparág szakértői ma a hardver árának nyolcszorosára becsülik –, akkor az adattárház végső költsége olyan szintet ér el, hogy ezt a megoldást így csak a legnagyobb vállalatok engedhetik meg maguknak.

Ezeknek az „adathegyeknek” a meghódítására született meg a Sybase IQ architektúrája. Amikor a tranzakciós adatokat adattárházba töltjük, akkor a gyors és hatékony lekérdezés biztosítása érdekében elvégzett indexelések és aggregátum képzések miatt a tárolt adatok mennyisége robbanásszerűen megnő. A Sybase IQ nemcsak megakadályozza ezt az „adatrobbanást”, hanem 30% és 70% közötti arányban csökkenti a tárolt adatok mennyiségét. A virginiai Restonban található comScore cég az internetes oldalak látogatottsági méréseiről és viselkedéselemzési tevékenységéről ismert. A cég minden éjszaka körülbelül 20 GB adatot tölt be adattárházába, ami évente 8 TB adat tárolását jelenti. „Minden adatot vissza kell tudnunk keresni, és mi a Sybase IQ segítségével kerüljük el az adatrobbanást.” – nyilatkozta Scott Smith, a comScore adattárház működtetésért felelős vezetője

A Sybase IQ olyan architektúrát alkalmaz, amelyet úgy terveztek meg, hogy akár több tízszer vagy százszor nagyobb lekérdezési sebességgel működjön, mint a tradicionális OLTP adatbázisok. „A comScore-nál egy feladat jellemzően 18 oldal SQL-ből áll.” – állítja Smith – „A Sybase IQ-n ez a lekérdezés körülbelül másfél óra alatt fut le.” Smith még csak megbecsülni sem meri, hogy egy hasonló lekérdezés mennyi időt venne igénybe egy relációs adatbázis-kezelő rendszerrel és hozzáteszi, hogy így az adatbázis letöltése is gyorsabb. „Az IQ segítségével egy teljes hónap adatait tudjuk betölteni annyi idő alatt, mint amennyi időt más adatbázisoknál egy napi adat betöltése vesz igénybe.”

Az „adathegyek” meghódítása

Az IQ-t létrehozó sybase-es tervezőknek két céljuk volt: a tárolás és a lekérdezés hatékonyságának növelése. A Sybase IQ szabadalmaztatott architektúrájának komponensei – standard SQL nyelv, oszlop alapú tárolási architektúra, döntéstámogató rendszer, indexek és adat tömörítés – pontosan megfelelnek az analitikus alkalmazások igényeinek, ahol egy lekérdezésnél több millió, illetve a comScore alkalmazásaihoz hasonlóaknál akár a több milliárd rekordot is el kell érni.

François Raab, a Colorado-i, Colorado Springsben található InfoSizing elnöke, valamint a TPC-C benchmark létrehozója, nemrégiben hivatalosan tanúsította, hogy egy minden eddiginél nagyobb, 48 terabyte méretű adatot (179 milliárd sor) úgy tudott a Sybase IQ betölteni, hogy annak méretét 22 TB-ra csökkentette. Érdemes ezt a számot – és ennek költségvonzatát – összehasonlítani azzal a legalább 150 TB tárolási kapacitással, amit a tradicionális adatbázisok hasonló adatmennyiség esetén minimálisan igényelnének.