KEMBAR78
OpenDataSoft - Towards Cost-efficient Innovation with Data Open Platforms | PDF
Data	
  Open	
  Pla4orms,	
  
future	
  plants	
  of	
  sustainable	
  innova9on	
  




                           with	
  OpenDataSo.	
  
            think	
  bigdata.	
  start	
  smartdata.	
  scale	
  fastdata	
  
OpenDataSoA	
  
the	
  data	
  driven	
  innova3on	
  company	
  
Full	
  featured	
  cloud-­‐based	
  pla1orm	
  for	
  
•  opera3ng	
  ones	
  own	
  data	
  driven	
  innova3on	
  hubs	
  
•  speeding-­‐up	
  new	
  data-­‐centric	
  services	
  go-­‐to-­‐market	
  
•  leverage	
  both	
  cloud	
  elas3city	
  &	
  big	
  data	
  fields	
  


Smart	
   metering,	
   M2M,	
   data	
   API	
   …	
   thanks	
   to	
   its	
   integrated	
   pla1orm	
   of	
   Data	
  
Management	
   &	
   Data	
   Publishing,	
   OpenDataSoA	
   helps	
   its	
   customers	
   to	
   set	
   up	
   and	
  
operate	
   their	
   own	
   data	
   open	
   pla1orm	
   dedicated	
   to	
   new	
   services	
   go-­‐to-­‐market,	
  
leveraging	
  cloud	
  compu3ng	
  &	
  big	
  data	
  technologies.	
  
FROM	
  OPEN	
  DATA	
  
TO	
  OPEN	
  PLATFORMS	
  
From	
  open	
  data	
  to	
  big	
  data	
  ?	
  
«	
  Open	
  data	
  strategy	
  should	
  be	
  a	
  top	
  priority	
  for	
  any	
  organiza3on	
  that	
  
uses	
  the	
  Web	
  as	
  a	
  channel	
  for	
  delivering	
  goods	
  and	
  services	
  …	
  Open	
  data	
  
APIs	
   are	
   a	
   lightweight	
   approach	
   to	
   data	
   exchange.	
   Their	
   use	
   is	
   now	
   considered	
   a	
   best	
  
prac?ce	
  for	
  opening	
  data	
  and	
  func?onality	
  to	
  developers	
  and	
  other	
  businesses.	
  »	
  
(Gartner	
  –	
  août	
  2012)	
  
	
  

«	
  CeSe	
  possibilité	
  constante	
  de	
  l’humain	
  d’intervenir	
  sur	
  les	
  données	
  
pour	
  y	
  apporter	
  de	
  la	
  qualité,	
  sur	
  les	
  algorithmes	
  pour	
  en	
  contrôler	
  l’intelligence,	
  et	
  sur	
  
les	
  machines	
  virtuelles	
  ou	
  physiques	
  pour	
  les	
  piloter,	
  c’est	
  l’open	
  data.	
  »	
  
(Pierre	
  Georget	
  –	
  GS1	
  France	
  –	
  septembre	
  2012)	
  
	
  

«	
   Les	
   données	
   sont	
   le	
   nouveau	
   capital	
   de	
   l’économie	
   globale,	
   et	
   la	
  
pression	
   pour	
   leur	
   exploita?on	
   s’intensifie.	
   Cependant,	
   créer	
   de	
   la	
   valeur	
   doit	
  
aller	
  de	
  pair	
  avec	
   l’augmenta?on	
  des	
  niveaux	
  de	
  responsabilité	
  et	
  de	
  gouvernance	
  
sur	
  les	
  disponibilité	
  et	
  distribu?on	
  de	
  l’open	
  data	
  »	
  
(Richard	
  Hammel	
  –	
  DeloiHe	
  UKAssociate	
  –	
  août	
  2012)	
  
Data	
  fields	
  
•  Reference	
  data	
  
   §  Prac?cal	
  informa?on	
  (POI,	
  maps,	
  …)	
  
   §  Knowledge	
  (Linked	
  data,	
  business	
  references…)	
  
•  Opera3on	
  data	
  
   §  Data	
  flows	
  (M2M,	
  eHealth,	
  transport,	
  energy,	
  tourism	
  …)	
  
   §  Sta?s?cs	
  
•  Personal	
  data	
  
   §  Individuals	
  data	
  (energy	
  consump9on,	
  sensors	
  …)	
  
   §  Crowdsourcing	
  (environment,	
  events	
  …)	
  
Stakes	
  …	
  
•  To	
   unlock	
   informa?on	
   access	
   (to	
   much	
   data	
  
       locked	
  into	
  business	
  so.wares)	
  	
  
•  To	
  guarantee	
  fair	
  access	
  to	
  data	
  
•  To	
   free	
   data	
   drvien	
   innova?on	
   power	
  
       (employees,	
  partners,	
  customers)	
  
	
  
«	
  An	
  open	
  data	
  project	
  is	
  not	
  a	
  data	
  portal	
  project	
  »	
  
…	
  &	
  opportuni3es	
  
•  To	
   handle	
   volumes	
   &	
   flows	
   of	
   data	
   thanks	
   to	
  
       big	
  data	
  technologies	
  
•  To	
   focus	
   on	
   customers	
   value	
   thanks	
   to	
   cloud	
  
       compu?ng	
  elas?city	
  
•  To	
   favor	
   new	
   business	
   models	
   arising	
   with	
   a	
  
       low-­‐cost	
  approach	
  
	
  
«	
  To	
  transform	
  fossil	
  data	
  into	
  renewable	
  energy!	
  »	
  
FROM	
  DATA	
  OPEN	
  PLATFORM	
  
TO	
  OPEN	
  DATA	
  V2	
  
Data	
  procurement	
  
•  Very	
  simple	
  
    §  No	
  limit	
  for	
  data	
  sourcing	
  
       (web	
  forms,	
  databases,	
  business	
  soRware,	
  crowdsourcing,…)	
  

    §  Real	
  ?me	
  connectors	
  
       (APIs,	
  web	
  services,	
  «	
  push	
  »	
  mode)	
  

•  Automa3c	
  &	
  secured	
  
    §  Automa?c	
  processing	
  of	
  data	
  files	
  
       (csv,	
  shapefiles,	
  SGBDR,	
  XML,	
  …	
  –	
  ESRI	
  exports,	
  KML,	
  OSM,	
  GTFS,	
  INSPIRE	
  ...)	
  

    §  Secured	
  profiles	
  &	
  traceability	
  
       (aler9ng	
  reports,	
  )	
  
Data	
  prepara3on	
  
•  Cleansing	
  
   §  Transforma?on	
  
     (labels	
  naming,	
  types	
  selec9on,	
  fileds	
  fusion	
  …)	
  	
  

   §  Normalisa?on	
  
     (geographical	
  projec9on	
  system,	
  ontologies	
  …)	
  

•  Enriching	
  
   §  Adding	
  metadata	
  
     (transla9ons...)	
  

   §  Adding	
  data	
  
     (linked	
  data,	
  data	
  aggrega9ng,	
  geocoding,	
  reverse-­‐geocoding	
  ...)	
  
Data	
  publishing	
  
•  To	
  find	
  data	
  
    §  Interac?ve	
  data	
  browsing	
  
       (facets,	
  charts,	
  maps	
  …)	
  

    §  High-­‐end	
  search	
  engine	
  
       (all	
  data	
  indexed,	
  contextual	
  search	
  ...)	
  

•  To	
  re-­‐use	
  data	
  
    §  Dynamic	
  file	
  publishing	
  
       (original	
  formats,	
  csv,	
  xml,	
  kml,	
  Json,	
  OSM,	
  …)	
  

    §  API	
  publishing	
  
       (Opensearch,	
  OAI,	
  Rest-­‐Json,	
  WFS	
  …	
  API	
  keys,	
  analy9cs	
  …)	
  
URBAN	
  APPS	
  EXAMPLE	
  
Current	
  app	
  (on	
  mobile)	
  
Future	
  app	
  
The	
  data	
  you	
  need	
  …	
     …	
  when	
  you	
  need	
  it	
  !	
  
SMART	
  METERING	
  EXAMPLE	
  
Smart	
  metering	
  
CROWDSOURCING	
  EXAMPLE	
  
To	
  get	
  ground-­‐field	
  informa3on	
  
Aler3ng	
  systems	
  based	
  on	
  crossing	
  low	
  signals	
  
TOWARDS	
  CONNECTING	
  THE	
  DATA	
  
&	
  MAKING	
  THEM	
  API	
  
In	
  a	
  future	
  of	
  smart	
  services	
  …	
  


 Smart	
  ci3es	
  
                                                         Internet	
  of	
  things	
  




  Ecomobility	
  
                                                         Smart	
  metering	
  




Geomarke3ng	
  
                                                                M2M	
  
…	
  Data	
  Open	
  Pla1orms	
  …	
  
•  Full-­‐featured	
  solu3on	
  
   §  Data	
  easy	
  procurement	
  (preloaded	
  open	
  content,	
  data	
  connectors	
  …)	
  
   §  Data	
  API	
  publishing	
  
•  Scalable	
  pla1orm	
  
   §  Cloud-­‐based	
  (mutliclouds	
  data	
  storage,	
  new	
  genera9on	
  ETL…)	
  
   §  Big	
  data	
  technologies	
  (MapReduce,	
  Hadoop	
  …)	
  
•  Low-­‐cost	
  approach	
  
   §  Pay-­‐as-­‐you-­‐use	
  (SaaS	
  model,	
  bundles	
  based	
  on	
  data	
  volumes	
  +	
  add-­‐ons…)	
  
   §  Business	
  oriented	
  (pricing	
  designed	
  for	
  networks	
  models	
  e.g.	
  u9li9es)	
  
…	
  are	
  the	
  basement	
  of	
  informa3on	
  new	
  governance.	
  

OpenDataSoft - Towards Cost-efficient Innovation with Data Open Platforms

  • 1.
    Data  Open  Pla4orms,   future  plants  of  sustainable  innova9on   with  OpenDataSo.   think  bigdata.  start  smartdata.  scale  fastdata  
  • 2.
    OpenDataSoA   the  data  driven  innova3on  company   Full  featured  cloud-­‐based  pla1orm  for   •  opera3ng  ones  own  data  driven  innova3on  hubs   •  speeding-­‐up  new  data-­‐centric  services  go-­‐to-­‐market   •  leverage  both  cloud  elas3city  &  big  data  fields   Smart   metering,   M2M,   data   API   …   thanks   to   its   integrated   pla1orm   of   Data   Management   &   Data   Publishing,   OpenDataSoA   helps   its   customers   to   set   up   and   operate   their   own   data   open   pla1orm   dedicated   to   new   services   go-­‐to-­‐market,   leveraging  cloud  compu3ng  &  big  data  technologies.  
  • 3.
    FROM  OPEN  DATA   TO  OPEN  PLATFORMS  
  • 4.
    From  open  data  to  big  data  ?   «  Open  data  strategy  should  be  a  top  priority  for  any  organiza3on  that   uses  the  Web  as  a  channel  for  delivering  goods  and  services  …  Open  data   APIs   are   a   lightweight   approach   to   data   exchange.   Their   use   is   now   considered   a   best   prac?ce  for  opening  data  and  func?onality  to  developers  and  other  businesses.  »   (Gartner  –  août  2012)     «  CeSe  possibilité  constante  de  l’humain  d’intervenir  sur  les  données   pour  y  apporter  de  la  qualité,  sur  les  algorithmes  pour  en  contrôler  l’intelligence,  et  sur   les  machines  virtuelles  ou  physiques  pour  les  piloter,  c’est  l’open  data.  »   (Pierre  Georget  –  GS1  France  –  septembre  2012)     «   Les   données   sont   le   nouveau   capital   de   l’économie   globale,   et   la   pression   pour   leur   exploita?on   s’intensifie.   Cependant,   créer   de   la   valeur   doit   aller  de  pair  avec   l’augmenta?on  des  niveaux  de  responsabilité  et  de  gouvernance   sur  les  disponibilité  et  distribu?on  de  l’open  data  »   (Richard  Hammel  –  DeloiHe  UKAssociate  –  août  2012)  
  • 5.
    Data  fields   • Reference  data   §  Prac?cal  informa?on  (POI,  maps,  …)   §  Knowledge  (Linked  data,  business  references…)   •  Opera3on  data   §  Data  flows  (M2M,  eHealth,  transport,  energy,  tourism  …)   §  Sta?s?cs   •  Personal  data   §  Individuals  data  (energy  consump9on,  sensors  …)   §  Crowdsourcing  (environment,  events  …)  
  • 6.
    Stakes  …   • To   unlock   informa?on   access   (to   much   data   locked  into  business  so.wares)     •  To  guarantee  fair  access  to  data   •  To   free   data   drvien   innova?on   power   (employees,  partners,  customers)     «  An  open  data  project  is  not  a  data  portal  project  »  
  • 7.
    …  &  opportuni3es   •  To   handle   volumes   &   flows   of   data   thanks   to   big  data  technologies   •  To   focus   on   customers   value   thanks   to   cloud   compu?ng  elas?city   •  To   favor   new   business   models   arising   with   a   low-­‐cost  approach     «  To  transform  fossil  data  into  renewable  energy!  »  
  • 8.
    FROM  DATA  OPEN  PLATFORM   TO  OPEN  DATA  V2  
  • 10.
    Data  procurement   • Very  simple   §  No  limit  for  data  sourcing   (web  forms,  databases,  business  soRware,  crowdsourcing,…)   §  Real  ?me  connectors   (APIs,  web  services,  «  push  »  mode)   •  Automa3c  &  secured   §  Automa?c  processing  of  data  files   (csv,  shapefiles,  SGBDR,  XML,  …  –  ESRI  exports,  KML,  OSM,  GTFS,  INSPIRE  ...)   §  Secured  profiles  &  traceability   (aler9ng  reports,  )  
  • 11.
    Data  prepara3on   • Cleansing   §  Transforma?on   (labels  naming,  types  selec9on,  fileds  fusion  …)     §  Normalisa?on   (geographical  projec9on  system,  ontologies  …)   •  Enriching   §  Adding  metadata   (transla9ons...)   §  Adding  data   (linked  data,  data  aggrega9ng,  geocoding,  reverse-­‐geocoding  ...)  
  • 12.
    Data  publishing   • To  find  data   §  Interac?ve  data  browsing   (facets,  charts,  maps  …)   §  High-­‐end  search  engine   (all  data  indexed,  contextual  search  ...)   •  To  re-­‐use  data   §  Dynamic  file  publishing   (original  formats,  csv,  xml,  kml,  Json,  OSM,  …)   §  API  publishing   (Opensearch,  OAI,  Rest-­‐Json,  WFS  …  API  keys,  analy9cs  …)  
  • 13.
  • 14.
  • 15.
    Future  app   The  data  you  need  …   …  when  you  need  it  !  
  • 16.
  • 17.
  • 18.
  • 19.
  • 22.
    Aler3ng  systems  based  on  crossing  low  signals  
  • 23.
    TOWARDS  CONNECTING  THE  DATA   &  MAKING  THEM  API  
  • 24.
    In  a  future  of  smart  services  …   Smart  ci3es   Internet  of  things   Ecomobility   Smart  metering   Geomarke3ng   M2M  
  • 25.
    …  Data  Open  Pla1orms  …   •  Full-­‐featured  solu3on   §  Data  easy  procurement  (preloaded  open  content,  data  connectors  …)   §  Data  API  publishing   •  Scalable  pla1orm   §  Cloud-­‐based  (mutliclouds  data  storage,  new  genera9on  ETL…)   §  Big  data  technologies  (MapReduce,  Hadoop  …)   •  Low-­‐cost  approach   §  Pay-­‐as-­‐you-­‐use  (SaaS  model,  bundles  based  on  data  volumes  +  add-­‐ons…)   §  Business  oriented  (pricing  designed  for  networks  models  e.g.  u9li9es)  
  • 26.
    …  are  the  basement  of  informa3on  new  governance.