DevAcademy Blog

DevAcademy Blog


August 2017
M T W T F S S
« Mar    
 123456
78910111213
14151617181920
21222324252627
28293031  

Categories


Big data – importanță și viitor

Importanța big data nu pornește din cantitate, ci din folosința sa.

GeaninaGeanina

Termenul de big data începe deja de ceva vreme să capete un statut propriu și o importanță greu de egalat.

Cantitatea de informații creată la orice milisecundă este aproape de neconceput și nu dă semne să se încetinească, ba din contră. Asta înseamnă un potențial enorm în descoperirea informațiilor cheie din afaceri, dar nu numai.

Cu toate acestea un mic procent din aceste date sunt analizate. Cum am putea să folosim aceste informații neprocesate care ne înconjoară zi de zi?

big-data-2

Conceptul își începe istoria încă din 2000 când Doug Laney descria big data ca fiind o alăturare de trei componente:

  • Volum: organizațiile colectează date din diverse surse, inclusiv din tranzacții bancare, social media sau senzori și date transmise între mașinării. Noile tehnologii permit stocarea acestui masiv de date.
  • Viteză: Împărtășirea informațiilor se face cu o viteză nemaiîntâlnită și într-un timp din ce în ce mai scurt.
  • Varietate: Datele vin în toate formatele – de la structurate, la numerice și documente nestructurate, e-mail-uri, video, audio sau tranzacții financiare.
Importanța big data nu pornește din cantitate, ci din folosința sa. Poți folosi aceste informații provenite din orice sursă și să le analizezi astfel încât să obții răspunsuri în ceea ce privește reducerea costurilor, reducerea timpului necesar procesării, dezvoltarea de noi produse sau luarea unor decizii inteligente. Poți determina, printre altele:
  • cauzele eșecurilor, problemelor sau defecțiunilor, în timp real.
  • dezvoltare internațională: cercetările privind utilizarea tehnologiilor informațiilor și comunicațiilor pentru dezvoltare (ICT4D) sugerează că big data poate aduce contribuții  importante în ceea ce privește oportunități pentru reducerea costurilor sau pentru luarea deciziilor critice în domenii atât de diverse precum sistemul medical, economic sau securității.
  • producție: big data oferă o infrastructură pentru asigurarea transparenței la nivelul industriei, precum și instrumente predictive.
  • modele cyber-fizice: un astfel de model este un geamăn digital al unei mașini reale care operează în cloud și simulează condiții normale cu informații integrate atât din algoritmi analitici specifici analizelor datelor precum și informații despre sistemul fizic. Poate fi descris ca o integrare de simț, memorie, sincronizare, sinteză și servicii.
  • jurnalism: big data oferă informații despre întreaga lume. Industria media va putea astfel să transmită mesaje sau conținut în sincron cu atitudinile și ideile consumatorului de informație (data mining).
  • Internet of Things (IoT) – acest concept, împreună cu big data, lucrează în aceeași direcție. IoT, cu ajutorul a ceea ce oferă big data, duce către o nouă eră de dezvoltare.
  • tehnologie: eBay folosește două depozite de 7.5 pentabytes pentru a cerceta recomandările și preferințele consumatorilor. Walmart procesează mai mult de 1 milion de tranzacții la fiecare oră, importate mai apoi în baze de date ce conțin peste 2.5 pentabytes, de 167 ori mai multă informație decât se află în toate cărțile din Librăria Congresului American.
  • știință: acceleratorul de particule de la Geneva (LHC) conține peste 150 de milioane de senzori care procesează informații de 40 de milioane de ori pe secundă. Raza pe kilometru pătrat (Square Kilometre Array) este un telescop radio cu mii de antene care va aduna peste 14 exabytes zilnic și va memora câte un pentabyte pe zi. El va fi operațional până în 2024.

Acestea sunt doar câteva dintre domeniile afectate de big data. Orice sistem funcțional, fizic sau digital, funcționează și va funcționa pe principiile big data.

big data
Big data a crescut cererea de informații atât de mult în ultimii ani încât specialiștii unor companii precum IBM, Oracle, Dell sau SAP au cheltuit peste 15 miliarde $ pe companii de software specializate în managementul informațiilor. Această industrie crește cu aproape 10% pe an: de două ori mai repede decât toată industria software.
Care ar fi beneficiile big data mai exact?
  • economisește timp.
  • permite accesul la informații de pretutindeni.
  • este universal valabilă: poate fi aplicată în orice domeniu, de la analize web, mobile, sociale, CRM sau sisteme de e-mail marketing.
  • este de încredere.
  • este relevantă: nenumăratele instrumente pe care le oferă pentru analiză pot oferi o nouă priveliște asupra deciziilor pe care urmează să le faci.
  • este sigură: infrastructura sigură construită în jurul big data poate ajuta la reducerea costurilor cu sistemele de siguranță cu până la 1.6% pe an.
  • permite luarea unor acțiuni: decizii bazate pe informații învechite pot costa miliarde; big data oferă informații actuale în timp real.

Un element important și esențial pentru big data este posibilitatea obținerii și procesării informațiilor în timp real. Câteva instrumente open source de analiză big data în timp real sunt:

  1. Storm – deținut de Twitter, este un sistem de distribuție în timp real. Funcționează în același mod ca Hadoop, despre care vom vorbi și în acest articol, și permite procesarea en gros bazată pe un set de primitive generale pentru analize în timp real. Este ușor de utilizat și funcționează cu orice limbaj de programare.
  2. Cloudera – oferă instrumente de consultare big data memorată în HBase sau HDFS.
  3. Gridgrain – realizat pentru Java, instrumentul acesta este compatibil cu Hadoop DFS și oferă un substitut pentru MapReduce-ul Hadoop. Oferă un ansamblu de date distribuit în timp real și legat de surse de date și aplicații diverse.
  4. SpaceCurve – poate descoperi tiparele din cadrul datelor de localizare multidimensionale. Oferă o platformă big data care procesează cereri complexe cu peste 10 gigabytes pe secundă.

big-data-technologies-02-05-2016-778x381În prezent, big data se bazează pe o serie de tehnologii care se dezvoltă pe zi ce trece. Cele mai importante și actuale sunt:

  • Analize big data în cloud – Hadoop este un framework și un set de instrumente pentru a procesa cantități mari de date, realizat inițial pentru a funcționa pentru grupe de mașini fizice. Acest lucru s-a schimbat. În prezent există o serie de tehnologii disponibile pentru procesarea datelor în cloud, cum ar fi: serviciul de analiză BigQuery de la Google, platforma cloud Bluemix de la IBM sau serviciul de procesare Kinesis de la Amazon. Hadoop însă oferă și o serie de framework-uri pentru analiză distribuită precum MapReduce, ceea ce îl transformă într-un sistem folosit general.
  • “Lacurile” big data – spre deosebire de ceea ce ne învăța teoria bazelor de date tradiționale, care îți dicta că trebuie să îți structurezi baza de date înainte să introduci informațiile, aceste “lacuri” presupun că toate sursele de informații vor fi aruncate pur și simplu într-un depozit Hadoop fără a mai concepe o structură a priori. Ele îți oferă instrumente de procesare și definiții ale datelor existente pe măsură ce le încarci.
  • Analize predictive – în trecut analizele statistice se realizau pe un ansamblu de date. Acum vei putea analiza o serie de informații și caracteristici pe o singură dată, gradual, ceea ce crește nivelul predictibilității.
  • SQL-ul pe Hadoop – mai rapid, mai eficient. Acum poți introduce datele și realiza analize direct pe absolut orice din Hadoop, iar asta se poate face în orice limbaj de programare cunoscut. Instrumente care se bazează pe SQL îți vor permite să aplici tehnici similare pe datele din cadrul Hadoop, dacă ești familiarizat deja cu el.
  • NoSQL mai bun – alternativa pentru bazele de date bazate pe SQL, numită NoSQL (Not Only SQL) este din ce în ce mai populară. Permite analiza mai rapidă și directă a unei rețele de relații între componente.
  • Deep learning – un set de tehnici bazate pe rețele neuronale care permit recunoașterea unor tipare ce prezintă interes în cadrul unei mari cantități de date binare și nestructurate, fără a necesita instrucțiuni de programare.

Cu atâtea trend-uri noi privind big data, organizațiile IT trebuie să creeze condițiile necesare ca analiștii lor să poată experimenta cu acest concept. Big data oferă atât de multe încât ceea ce v-am prezentat reprezintă o parte infimă din ceea ce ar trebui să știți despre acest subiect. Vă invităm așadar să vă lărgiți orizontul cu beneficiile viitorului.
Dacă vrei să afli rapid atunci când publicăm articole noi, te invităm să dai un like fanpage-ului DevAcademy şi să te abonezi la newsletter.