BIG DATA Use Cases


Le aziende leader che vogliono differenziarsi sul mercato e mantenere un alto vantaggio competitivo hanno la necessità di far leva sulle nuove informazioni integrandole nel sistema decisionale aziendale.

Per questo devono dotarsi di una piattaforma di analisi integrata che consenta facilmente di processare dati provenienti da nuove fonti, quali web, call center, sensori con le informazioni presenti nel data warehouse e nello stesso tempo fornisca strumenti di analisi semplici e rapidi ad una base all’allargata d utenti.

Il termine “Big Data” viene spesso associato a nuove tecnologie mentre in un’ottica data-driven la conoscenza a 360° della base clienti, ad esempio attraverso lo studio di comportamento o appartenenza ad un gruppo sociale, richiede all’interno delle aziende la presenzdi figure con competenze di business analitiche. Diventa quindi importante includere fra i criteri principali di valutazione di una soluzione, la capacità del fornitore di tecnologia di offrire figure con competenze di “Data Analyst” a cui rivolgersi per sopperire al gap di competenze interne.

Posted in Analytics Intelligence | Tagged , , | Leave a comment

In-Stream Big Data Processing


In-Stream Big Data Processing.

Posted in Big Data | Leave a comment

Big Data – Learning Basics of Big Data in 21 Days – Bookmark


analytics2cloud:

Education Focus

Originally posted on Journey to SQL Authority with Pinal Dave:

Earlier this month I had a great time to write Bascis of Big Data series. This series received great response and lots of good comments I have received, I am going to follow up this basics series with further in-depth series in near future. Here is the consolidated blog post where you can find all the 21 days blog posts together. Bookmark this page for future reference.

Big Data – Beginning Big Data – Day 1 of 21

Big Data – What is Big Data – 3 Vs of Big Data – Volume, Velocity and Variety – Day 2 of 21

Big Data – Evolution of Big Data – Day 3 of 21

Big Data – Basics of Big Data Architecture – Day 4 of 21

Big Data – Buzz Words: What is NoSQL – Day 5 of 21

Big Data – Buzz Words: What is Hadoop – Day 6 of 21

Big Data –…

View original 254 more words

Posted in Analytics Intelligence | Leave a comment

I cinque trend dei big data che coinvolgeranno i CIO


Il futuro è di quelle imprese che utilizzeranno i big data analytics e sapranno usarli a proprio vantaggio per prendere decisioni.  Ecco i cinque trend che guideranno il mercato dei big data nei prossimi mesi:
rrr

1-  la comparsa della piattaforma Big Data Discovery 
La piattaforma Discovery diventerà indispensabile nella strategia dei Big Data. Fornisce a coloro che lavorano con le informazioni, inclusi gli analisti e gli specialisti marketing, un ambiente di lavoro affidabile da cui partire per esplorare ed eseguire esperimenti in scala sui big data ad una frazione del tempo e del costo necessari con gli approcci tradizionali.

2- la crescita esplosiva di applicazioni per Big Data
Il numero di applicazioni Big Data esploderà nei prossimi tre anni e questa crescita avrà inizio quest’anno.

3- un’architettura unificata
La distribuzione di applicazioni in un ambiente aziendale unificato rende più semplice, più veloce e più potente l’analisi, e al contempo riduce i costi di installazione e i costi operativi, e la nuova capacità di analisi fornita dalle applicazioni può far fare all’azienda passi da gigante.

4- capacità e competenze allargate
Per essere competitive, le aziende devono possedere entrambe le capacità: analisi dei Big Data (MapReduce e analisi procedurali) e analisi tradizionali (Sql), entrambe operanti all’interno di un sistema di gestione di database relazionali.

5- lo storage da solo non basta

I Cio guarderanno oltre il semplice hardware per l’archiviazione di grandi quantità diverse di dati, e si concentreranno sullo sviluppo di un processo analitico che abbia la caratteristica di essere ripetibile e che fornisca valore.

EG

 

Image | Posted on by | Tagged , | Leave a comment

Comparing SQL databases and Hadoop


BIG DATA ANALYTICS

Given that Hadoop is a framework for processing data, what makes it better than standard relational databases, the workhorse of data processing in most of today’s applications? One reason is that SQL (structured query language) is by design targeted at structured data. Many of Hadoop’s initial applications deal with unstructured data such as text. From this perspective Hadoop provides a more general paradigm than SQL. For working only with structured data, the comparison is more nuanced. In principle, SQL and Hadoop can be complementary, as SQL is a query language which can be implemented on top of Hadoop as the execution engine.

But in practice, SQL databases tend to refer to a whole set of legacy technologies, with several dominant vendors, optimized for a historical set of applications. Many of these existing commercial databases are a mismatch to the requirements that Hadoop targets. With that in mind, let’s make a more detailed comparison of Hadoop with typical SQL databases on specific dimensions.

SCALE-OUT INSTEAD OF SCALE-UP Scaling commercial relational databases is expensive. Their design is more friendly to scaling up. To run a bigger database you need to buy a bigger machine. In fact, it’s not unusual to see server vendors market their expensive high-end machines as “database-class servers.” Unfortunately, at some point there won’t be a big enough machine available for the larger data sets. More importantly, the high-end machines are not cost effective for many applications. Hadoop clusters with ten to hundreds of machines is standard. In fact, other than for development purposes, there’s no reason to run Hadoop on a single server.

KEY/VALUE PAIRS INSTEAD OF RELATIONAL TABLES A fundamental tenet of relational databases is that data resides in tables having relational structure defined by a schema . Although the relational model has great formal properties, many modern applications deal with data types that don’t fit well into this model. Text documents, images, and XML files are popular examples. Also, large data sets are often unstructured or semistructured. Hadoop uses key/value pairs as its basic data unit, which is flexible enough to work with the less-structured data types. In Hadoop, data can originate in any form, but it eventually transforms into (key/value) pairs for the processing functions to work on.

FUNCTIONAL PROGRAMMING (MAPREDUCE) INSTEAD OF DECLARATIVE QUERIES (SQL) SQL is fundamentally a high-level declarative language. You query data by stating the result you want and let the database engine figure out how to derive it. Under MapReduce you specify the actual steps in processing the data, which is more analogous to an execution plan for a SQL engine . Under SQL you have query statements; under MapReduce you have scripts and codes. MapReduce allows you to process data in a more general fashion than SQL queries. For example, you can build complex statistical models from your data or reformat your image data. SQL is not well designed for such tasks.

OFFLINE BATCH PROCESSING INSTEAD OF ONLINE TRANSACTIONS Hadoop is designed for offline processing and analysis of large-scale data. It doesn’t work for random reading and writing of a few records, which is the type of load for online transaction processing. In fact, as of this writing (and in the foreseeable future), Hadoop is best used as a write-once , read-many-times type of data store. In this aspect it’s similar to data warehouses in the SQL world.

Posted in Big Data | Tagged , , | Leave a comment

BigData = TeraData


Grazie all’avvento dei Big Data e degli strumenti di Analytics Discovery il Marketing può dotarsi di soluzioni molto più efficaci di Customer intelligence che si basano sull’integrazione delle informazioni CRM tradizionali con le informazioni che  derivano dall’analisi di dati non strutturati o semi strutturati. Infatti il primo passo pratico per ottenere valore dai Big Data è quello di iniziare con una fase di discovery che mappi le strategie di Marketing.

Teradata ha rilasciato un ecosistema di piattaforme “High Performance” che si basano su un’infrastruttura architetturale denominata  Teradata Unified Data Architecture (UDA) che  sfrutta il valore complementare delle tecnologie best-in-class di Teradata, Teradata Aster, e open source Apache Hadoop ™, per consentire agli utenti aziendali di analizzare i dati e far fronte a qualsiasi domanda analitica ed in qualsiasi momento.

Ci sono molti esempi  in diversi settori come la sanità, le comunicazioni, la vendita al dettaglio e dei servizi finanziari dove la piattaforma Teradata Aster facilita l’analisi dei dati di comportamento dei clienti in tutti i canali, tra cui le visite in filiale o deposito, l’uso del call center, dati grezzi dei log web, e le transazioni on-line.

In particolare nel mondo delle Telecomunicazioni la soluzione Teradata Aster viene utilizzata per l’analisi del livello di servizio dei clienti nell’utilizzo del Canale Web e Call Center (IVR) e tali indicatori integrati nel DataWarehouse Teradata per il calcolo piu’ accurato della Customer churn prevention analysis, con benefici  enormi per l’operatore telefonico.

Teradata Aster è una piattaforma performante che offre piu’ di 50 Funzioni Analitiche predefinite e che semplifica attraverso il framework SQL-MapReduce l’esecuzione di  funzioni quali la “Path Analysis” e “Sessionization”  su grossi volumi di dati semi-strutturati determinando quali sono gli steps che hanno portato un cliente ad un determinato evento in una sessione web  o durante una chiamata ad un call center automatico.

Posted in Big Data | Tagged , , | Leave a comment

A Sound Architecture Foundation is Fundamental to Analytics Success


A Sound Architecture Foundation is Fundamental to Analytics Success.

Posted in Analytics Intelligence | Leave a comment

Consumer Intelligence


Storicamente, i sistemi di Data Warehouse sono nati per integrare dati raccolti all’interno di grandi aziende per avere un visione a 360 gradi dei propri clienti e fornire il supporto alle decisioni al marketing e a diverse funzioni aziendali.

Con l’avvento di dispositivi mobili (smartphone & tablets)  la richiesta da parte di clienti di accesso agli strumenti di Pervasive BI ha avuto un picco creando un nuovo settore emergente di consumatori, che accedono alle informazioni per supportare le proprie decisioni.

Gli utenti di questo nuovo settore definito “Consumer Intellience” si rivolgono alla BI per approcciare diverse tipologie di servizi:

-          Nel settore Finance per analizzare i dati dei propri investimenti

-          Nel Settore Health Care per verificare i propri dati clinici e misurare l’efficacia delle  cure a cui sono sottoposti

-          Nel settore Energy per verificare i consumi enegetici in tempo quasi reale e pianificare ed intraprendere  azioni di risparmio dei consumi

-          Nel settore Retail per analizzare  la propria spesa, le promozioni utilizzate oppure in base ai prodotti acquistati misurare lo stato del proprio stile di vita ed in futuro anche  acquistare dei servizi che offrono ricette oppure una dieta.

 

Vi sono alcuni settori,  co,e quello dell’internet banking,  che sono già cresciuti nell’area della Consumer Intelligence, e’ stanno già offrendo ai propri clienti la possibilità di analizzare i propri dati , offrendo un servizio disponibile, sicuro e continuo (24×7).

Le tipologie di analisi che sono disponibili riguardano dati personali,  dati comportamentali quali Purchasing History, Dati Derivati quali Credit Score, Propensity Score, Influence Score oppure dati derivati da social media.

 

Dal punto di vista dei sistemi , inzialmente le soluzioni di consumer intelligence sono state sviluppate usando soluzioni Web based,  ma considerato l’uso sempre piu’ frequente di questi servizi, la sviluppo di App apposite risulterà sempre piu’ importante.

 

I livelli di servizio che questi sistemi di Data Warehouse devono garantire in concomitanza con il numero elevato di utenti concorrenti che sottomettono query ci pone di fronte ad nuovo paradigma in cui gli ordini di grandezza delle performance crescono in modo esponenziale ed in modo molto superiore rispetto al passato.  La richiesta di scalabilità e la gestione di milioni di query che devono rispondere in millisecondi in contemporanea con  query strategiche richiedono una architettura molto efficiente ed in grado di supportare un carico misto di lavoro complesso.

Per questi sistemi la gestione efficiente del  WorkLoad è la caratteristica peculiare in grado di assicurare i livelli di servizio attesi.

Posted in Analytics Intelligence | Tagged | Leave a comment

Teradata, l’Edw per l’impresa flessibile


Leggi articolo

Posted in Teradata | Tagged | Leave a comment

BIG DATA ANALYTICS


Oggi possiamo registrare un cambiamento dirompente nell’elaborazione dei dati rispetto ad un approccio “tradizionale” fornito da sistemi OLTP e DW.

L’analisi dei dati è sempre più vista come un vantaggio competitivo in quanto i processi di business sono facilmente replicabili grazie al basso costo delle tecnologie e la crescita attraverso varie operazioni di M&A non sempre ha dato i vantaggi aspettati e soprattutto duraturi.

Molte aziende che oggi devono competere ed espandersi in nuovi mercati vedono l’analisi dei dati come una soluzione. Ne sono un esempio aziende che utilizzano tecniche di data mining e click stream analysis per personalizzare le offerte attraverso il canale Web, oppure per analizzare il profilo di rischio dei propri clienti ed offrire adeguati prodotti finanziari.

Tassi di crescita dei dati del 50% non sono rari nelle imprese di oggi. Questo aumento rappresenta un notevole onere finanziario per le organizzazioni IT.

Le motivazioni di questa crescita può essere individuata nell’aumento della complessità dei requisiti ma soprattutto dall’incremento dei sensori abilitati al rilevamento di informazioni, quali ad esempio:
- Tag RFID (Retail, GPG)
– i veicoli dotati di sensori GPS (Insurance, Automotive)
– dispositivi remoti a basso costo di rilevamento (Security Services)
– click stream collections (Web Analytics)
– l’imaging medico e alle cartelle cliniche
– Media Providers (IpTv)
– Scientist Labs (DNA analysis)
– Automatic Trading

Lo sviluppo di tecniche per supportare l’analisi di grandi volumi dati sono tra i progetti prioritari dei principali fornitori di tecnologia, nei cui laboratori di sviluppo sono in corso progetti per lo sviluppo di strumenti / tecniche e modelli di architetturali adeguati allo scopo.

Vi è una crescente consapevolezza e necessità di queste tecnologie, e le imprese sono attivamente alla ricerca di strumenti che gli consentono di ottenere un vantaggio competitivo. Vi sono alcune aziende con approccio pionieristico, che hanno iniziato ad affrontare la problematica e che hanno consentito anche attraverso errori di alzare l’interesse e definire alcune best practice.
EG

Posted in Analytics Intelligence | Tagged | Leave a comment

4 Reasons Google+ Matters to The Average User


4 Reasons Google+ Matters to The Average User.

Posted in Enrico Galimberti | Leave a comment

How Active Enterprise DataWarehouse support Offensive Competitive Strategy



A competitive advantage is an advantage over competitors gained by offering consumers greater value, either by means of lower prices or by providing greater benefits and service that justifies higher prices.

According to Michael Porter suggested four “generic” business strategies that could be adopted in order to gain competitive advantage. The four strategies relate to the extent to which the scope of businesses’ activities are narrow versus broad and the extent to which a business seeks to differentiate its products.

The 4 strategies are Differentiation Focus, Differentiation, Cost Focus and Cost Leadership. Definitely most of the Customers using Enterprise Data Warehouse have strategies that fit in the Potter’s Paradigm like Amazon, Ebay or Apple for differentiation Strategy and Daimler, Tesco , Dell  for Cost of Leadership.

For the IT company more often we see apply also an Offensive Competitive Strategy. Companies that are managed as offensive competitive generally invest heavily in technology and Research and Development (R&D) in an effort to stay ahead of the competition. Also companies that actively look to acquire other firms to fuel growth are often deemed to be using an offensive competitive strategy.

EG

Posted in Active Data Warehouse, datawarehouse | Tagged , | Leave a comment

I vantaggi di essere agili e veloci


Le aziende “agili” e veloci nel rispondere ai cambiamenti in un ambiente di business in continua evoluzione, possono aumentare il proprio vantaggio competitivo. Per essere vincenti nel mercato, le aziende hanno bisogno delle informazioni che le mettano in condizione di conoscere i fatti, della capacità di prendere decisioni velocemente e dell’esperienza per agire senza problemi.

Migliorando l’agilità aziendale attraverso l’adozione di un solido data warehouse, le imprese ottengono tre benefici specifici: una visione migliore, una maggiore efficienza in situazioni complesse e l’opportunità di  essere  innovative. David McCoy e Daryl Plummer di Gartner e Neeli Bendapudi, professore di marketing alla Ohio State University, riconoscono la complessità odierna dei processi di business e l’urgenza di una pianificazione continua del business, alimentata da dati e analisi real-time.

EG

Posted in Agile | Tagged | Leave a comment

Cloud Computing – Paradigma Reale


Il Cloud Computing non e’ semplicemente l’ultimo termine di moda per riferirsi al web, e’ il posto dove e’ possibile utilizzare la tecnologia solo per il tempo che serve o con le risorse strettamente necessarie.

Il Cloud puo’ essere sia software che infrastruttura hardware, un’applcazione a cui accedere via web oppure un server che attiviamo per fornire un servizio.

Come possiamo capire se un servizio e’ offerto in modalità cloud ? Vi sono diversi criteri, tra cui:

- il servizio e’ accessibile via Web Service

- non e’ necessario acquistare l’infrastruttura

- la località dove risiede l’infrastruttura non è nota

- il servizio viene pagato in base all’utilizzo

 Naturalmente questi criteri devono essere ridefiniti nel caso si tratti di Private Cloud .

 Software e Hardware Cloud

Il termine SaaS (Software as a Services) viene spesso utilizzato per indicare un’applicazione SW che funziona in modalità Cloud. Tipiche applicazione SaaS sono GMail, oppure SalesForce.com oppure Aprimo Marketing Studio. La caratterista di queste applicazioni e’ quella di essere Multitenancy, ovvero essere in grado di supportare contemporaneamente più clienti, garantendo una semplificazione degli aggiornamenti SW in quanto l’applicazione e’ la stessa. Per quanto riguarda la componete HW, i sistemi di virtualizzazione consentono l’indipendenza dall’architettura, anche se in casi reali, in ambienti di Business Intelligence ed Analytics  le performance vengono impattate negativamente.

 La virtualizzazione e’ la tecnologia cha abilita molte delle soluzioni di Cloud Computing disponibili sul mercato. Amazon con i suoi AWS (Amazon Web Services) non fa eccezione, in quanto usa come software di virtualizzazione una customizzazione del sistema Open Source XEN. Amazon ha anche introdotto un servizio di pubblicazione dei contenuti che si basa sulla piattaforma S3 denominata CloudFront , che utilizza la piattaforma cloud per distribuire contenuti con il vantaggio per gli utenti di avere una tariffa legata a volumi pubblicati.

Organizzazione e Cloud

 I vantaggi sugli aspetti organizzativi di questo paradigma sono comunque interessanti: non ci si deve preoccupare di aggiornare le licenze software oppure che una componente hardware si rompi, e perché no cade la preoccupazione di migliaia di DBA:  “la mia procedura di Disaster Recovery funzionerà ?” 

Confrontando il paradigna Cloud con l’approccio architetturale tradizionale si può sintetizzare che :

 -          gli investimenti di capitale (CAPEX) nel Cloud sono trascurabili

-          i costi di gestione variano in base all’uso, ma occorre fare attenzione in quanto possono essere elevati

-          il tempo di implementazione e’ minimo

-          consente maggiore flessibilità

-          le competenze richieste per il supporto sono moderate

-          le performance delle applicazioni potrebbero non essere soddisfacenti in ambienti analitici/ data-mining con grossi Volumi di dati.

 I CFO delle aziende non amano i costi i conto capitale, per 2 motivi: occorre un certo  tempo per il rientro dell’investimento ed i costi non si riferiscono all’esercizio corrente.

EG.

Posted in cloud | Tagged , | Leave a comment

The Italian Forum for Data Scientists and Followe of Cloud, Big Data Analytics & Business Intelligence.


Welcome to WordPress.com. Iniziamo con un primo sondaggio !!!

Posted in Analytics Intelligence | Tagged , | Leave a comment