Opendata: obrir les dades de les empreses de serveis públics també (III)

Com responsables de generar estadística dels ajuntaments respectius podríem dir que els observatoris municipals tenim fam de dades, que bona part de la feina nostra és estructurar, difondre i fins i tot interpretar totes les dades que existeixen, dispersades aquí i allà,  sobre els nostres municipis. Dades procedents de diferents entitats, produides per diferents organismes.

Quina és la font primària de les dades dels  municipis que treballem des dels observatoris?. Habitualment, en el 95% dels casos o més, son producte del buidat de registres informàtics producte de registres administratius, la majoria lligats a les funcions fiscals i recaptatòries, o de control,  de les diferents administracions: registres de la seguretat social, llicències d’activitat, de circulació, de construcció d’habitatges etc… A qualsevol registre administratiu hi ha el domicili del fet imposable i, per tant, és una dada territorialitzable a nivell municipal i fins i tot geoposicionable amb exactitud mil·limètrica sobre el territori.

Encara hi ha molta feina per fer alhora de treure profit tant dels registres administratius propis dels ajuntaments com, sobretot, dels registres dels diferents ministeris i conselleries. Els observatoris municipals anem avançant força en aquest sentit a base de contactar amb els diferents serveis de documentació o planificació de les administracions superiors que produeixen cadascuna de les dades.  Que ens facilitin les respectives dades municipalitzades acaba depenent de l’obertura del responsable polític de les dades o de l’esperit col·laboratiu dels responsables tècnics d’aquestes.

Però hi ha una altra font de dades encara pràcticament inexplotada per la dificultat d’accedir-hi: les dades de les companyies de serveis públics en règim de concessió. Operadores de telecomunicacions, companyies elèctriques,  de gas, d’aigua, autopistes, companyies de transport públic, etc. Companyies que abans eren empreses públiques, monopolis públics, però que es van privatitzar i ¿liberalitzar? durant les dos darreres dècades.  I que tenen a les seves bases de dades un coneixement preciòs per l’interès públic. El consum energètic, la mobilitat i el consum d’ample de banda a les diferents barris i zones de les nostres ciutats son unes dades valuosíssimes per al planejament urbanístic, econòmic i social de les nostres ciutats. Per posar un exemple: com es pot fer politiques sostenibilistes sense conèixer al detall els consums energètics de les diferents zones de la ciutat?. Com planificar la mobilitat si sols tenim dades de mobilitat de transports públics anuals i fragmentades per operadors o concessionaris diferents?.

La majoria d’aquestes companyies, bona part d’elles potents multinacionals, com a grans empreses que gestionen milions de clients i desenes de milions de facturació, tenen potentíssims datawarehouses sobre els que apliquen tècniques de mineria de dades per a fer previsions de consum, detectar fraus, o per fer scorings dels clients (cada client rep una puntuació de la capacitat de consum, o del perill de que sigui un moros, o d’altres variables rellevants per al model de negoci i la relació amb el client). És a dir, tenen una capacitat per a extreture dades de forma estructurada, i analitzar-les, practicament ilimitada. Pel que fa als nostres interesos, aquests sistemes informàtics poden extreure amb suma facilitat dades agregades a nivell territorial amb el màxim de granularitat territorial que es necessiti: dades per província, per municipi, per secció censal, per illa cadastral i, si es vol, per edifici, habitatge, persona… No hem d’oblidar que tenen sistemes SIG integrats indispensables per al seu negoci, i que en aquests traballen sobre la cartografia oficial, com la cartografia catastral.

S’imaginen aquesta potencia analítica al servei de les ciutats, de la planificació de la ciutat?. Jo si que m’ho imagino, i per això no comprenc encara com, en el procés de liberalització de serveis públics essencials no s’ha obligat (reglamentat) a les companyies a compartir les dades de interès públic a alts nivells de granularitat i desagregació (illa cadastral, per exemple). Si més no, amb les administracions públiques!. Que siguin enpreses de titularitat privada no és motiu suficient, al meu parer, pel tancament de dades originades en l’exercici de les seves funcions públiques. El fet és més incomprensible encara des del moment que són uns sectors amb preus i serveis regulats i, per tant, de planificació pública en darrer terme. Com es pot planificar i regular be sense dades detallades?

Generalment, son els organismes reguladors com la Comision del Mercado de las Telecomuniaciones o la Comision Nacional de la Energia,  els que publiquen dades agregades a nivell estatal o, com molt, autonòmic, a partir de la seva funció principal de vetllat per la competència al sector i assegurar els serveis públics obligatoris per llei. Dades que els faciliten les companyies i que es publiquen a nivells d’agregació territorial altíssims: l’estat sencer.

Anem a veure amb una mica més de detall el panoràma de dades municipals en un parell de sectors que em treballat recentment al nostre ajuntament, per tal d’exemplificar, en casos concrets, la problemàtica del tancament d’aquestes fons de dades.

Cas 1. Les dades del sistema energètic.

Actualment, a l’ajuntament de Rubí, s’està desenvolupant un ambiciós projecte de promoció de l’estalvi i l’eficiència energètica de caràcter integral, amb la voluntat de incidir tant sobre el consum del propi ajuntament com sobre el consum de la industria, el comerç i el sector residencial del municipi: www.rubi.cat/energia. En el marc d’aquest projecte portem ja cert recorregut de recerca de dades de consums energètics al nostre municipi i a les diverses zones d’aquest, amb resultats desiguals.

El que hem aconseguit…

Les companyies energètiques no publiquen res!. A nivell de consum energètic als municipis sols  hem trobat les dades elaborades per l’ICAEN a partir de les dades que li subministren les diferents companyies: consum anual d’energia elèctrica i gas natural canalitzat al municipi, i per sectors (residencial, comerç, industrial).  Son dades sempre agregades a nivell de tot el municipi, i publicades amb 3 anys de retard. Ara mateix sols tenim les dades fins el 2008.  Dades que l’ICAEN no publica pero que si ens han facilitat. Resulta curiós que estiguin publicades a nivell municipal les dades de generació d’energia (un fenomen intranscendent dins el sector energètic actualment), però no les de consum energètic, molt més importants i transcendents des de tots els punts de vista. Quedi clar, en tot, cas, que l’ICAEN aquí fa una feina impagable i voluntària, i que supleix la feina de producció d’estadística energètica exhaustiva que entenem haurien de fer altres organismes competents, com el Ministerio de Energia o la Comisión Nacional de la Energia.

El que es podria aconseguir?

Sembla que els procediments de intercanvi de dades entre les administracions i les companyies són poc eficients, almenys quan pots trobar online  dades agregades de consum elèctric en tems real, a nivell de tot Espanya. A la llum d’aquest magnífic gràfic (la font de dades mes objectiva sobre el seguiment de les vagues generals!) no és temerari assegurar que això mateix es podria fer perfectament a nivell d’altres agregats territorials, inclòs el nivell de municipi o, perquè no, d’estació o subestació transformadora. O d’edifici!.

Però mes que el temps real, als municipis els interessaria saber, segurament, el territori real: el consum, i les necessitats energètiques, dels seus barris, urbanitzacions, polígons industrials o, fins i tot, de illa cadastral. I la seva evolució en el temps. També podem assegurar –ja ens desmentireu als comentaris al post, si ens equivoquem– que això és perfectament possible tècnicament donat que totes les factures de consum estan associades a un be immoble amb una referència cadastral.

Una datacooperació  és possible. I convenient.

Les administracions i les empreses de serveis públics hauriem de ser capaces doncs de poder compartir microdades o, si mes no, dades altament desagregades, en benefici mutu i, per tant, en benefici del ciutadà, en el nostre cas, i del client, en el seu. Sempre respectant la protecció de dades personals i el secret estadístic, obviament.

Les administracions, incloses les petites com els ajuntaments, també tenim dades que a aquestes els poden interessar per a planificar millor les seves infrastructures, com és la dinàmica poblacional del padró continu d’habitants, la previsió d’habitatges, la radicació de noves activitats, etc.. Pero sols els municipis mes grans tenen sistemes de datawarehouses i, sobretot, capacitats tècniques per explotar-los, que facin això viable a la pràctica.

D’aquesta manera no hauríem de recórrer a complicats models estadístics, fets per grups de recerca universitaris, per a saber els consums energètic dels edificis de la nostra ciutat, com han fet molt recentment a Nova York:

Perquè hem d’estimar dades que en realitat ja existeixen? No és socialment més eficient treballar per poder accedir-hi? Perquè aquesta mania a tancar les dades als nostres sistemes i no compartir-les quan poden ser útils pel be general, per a millorar la governança de la societat i la qualitat de vida?.  Be, la resposta és evident, no siguem il·lusos: la informació és poder.  Però hem d’anar treballant, a roda del moviment de l’opendata, per a que això canviï. I no sols per les dades públiques!

Cas 2. Les dades del sistema de telecomunicacions.

Aquí la manca de dades és encara més greu. No es que no sapiguem els clients o els consums (de telefonia o de ample de banda en aquest cas) al nostre municipi sinó que no sabem ni les infraestructures instal·lades al nostre municipi.Per llogar-hi cadires!. Les teleoperadores no comparteixen on tenen posada la fibra òptica o quina infraestructura tenen instal·lada a les centraletes telefòniques, que són unes informacions rellevants per saber si el nostre municipi podrà entrar de ple a la societat de la informació o es quedarà a la societat dels rumors. On hi ha fibra òptica instal·lada és un secret d’Estat al que, curiosament, no hi té accés l’Estat.

Els ajuntaments sols tenim coneixement indirecte de les infraestructures de telecomunicacions que hi ha a la ciutat, fruit de les llicències que les teleoperadores necessiten per obrir el carrer. Però això sols en el cas de canalitzacions noves. I una cosa és saber que hi ha una canalització de  tal empresa i l’altra saber que hi passa per din i on connecta.

No disposem de informació ni del nombre d’abonats, ni del nombre de línies de banda ampla ni, tant sols, de fins quin punt disposem de infraestructures de fibra òptica. El que si sabem, positivament, es de les enormes carències en ample de banda fruit de les queixes dels clients, ajuntament inclòs.

Òbviament totes aquestes dades les teleoperadores les tenen, i sols han de donar-li a un parell de botons dels seus aplicatius informàtics de consulta sobre el datawarehouse corporatiu per a generar-les sobre un mapa, perfectament geoposicionades. Però simplement no hi ha voluntat de compartir-les.

Cas 3. Les dades del sistema financer.

Sembla evident que per a planificar els serveis socials i les polítiques de promoció econòmica tenir les dades de l’activitat financera al nostre municipi seria un input important ¿no?.  També hem intentat assabentar-nos de l’activitat credíticia al nostre municipi, contactant directament amb les entitats financeres per a saber els crèdits concedits a les empreses del municipi i la seva evolució. La resposta oficial es “no tenim aquesta dada”.  Ejem,..

Addenda.

Com creiem haver demostrat, les dades “sempre existeixen”, i son fàcilment municipalitzables. Tècnicament és ben fàcil fer les consultes als repositoris de dades, públics i privats, per a generar estadística per municipi i fins i tot per àrees més petites, inframunicipals. Si això no es fa, a la pràctica és, en primer lloc, per desconeixement d’aquestes possibilitats dels qui poden decidir sobre aquestes dades. I en segon lloc, per manca de voluntat del propietari de les dades de compartir-les i obrir-les.

En el cas tractat aquí, les dades de les empreses privades de concessió pública, s’adduirà que es un secret de negoci, informació confidencial a preservar als ulls de la competència. Però els reguladors haurien de saber que la desitjada (i no aconseguida) competència sols és possible si el mercat és transparent. Si no ho saben no hauríen de ser reguladors. I, més enllà d’aquesta ensenyança de primer curs a qualsevol facultat d’econòmiques, l’interès públic (la planificació ordenada del territori, dels servies..) hauria de prevaldre sobre l’interès privat (el benefici).

Josep Vives, Observatori de la Ciutat de l’Ajuntament de Rubí

Possibilitats analítiques amb SIG (Sistemes d’Informació Geogràfica)

Durant aquests darrers sis mesos, a l’Observatori de Rubí hem tingut la possibilitat d’explotar, treballar i, com a mínim, obrir noves línies de treball per al tractament de les bases estadístiques de les que disposem a l’ajuntament des d’una perspectiva més geogràfica. Així doncs, la incorporació del SIG com a eina de l’Observatori ens ha permès tenir una visió acurada de la distribució microterritorial dels fenòmens demogràfics, socials, urbans i econòmics al llarg i ample de la ciutat.

Tot i que en aquest mateix blog també podem trobar referències, en un post anterior, a l’ús del SIG en el desenvolupament de projectes municipals, encara no s’ha parlat gaire de les possibilitats analítiques que aquesta eina de treball. Un software SIG pot arribar a simplificar les pesades taules d’estadístiques que treballem més habitualment i fer la informació estadística més propera i entenedora tant als ciutadans i investigadors com als tècnics i responsables municipals que són usuaris de les dades, estadístiques i anàlisis que elaborem als observatoris. Si una imatge val mes que mil paraules, en l’anàlisi de les ciutats i els territoris un mapa pot valer més que mil taules.

En aquest sentit, el primer pas del projecte que hem desenvolupat a Rubí consistia en experimentar amb els padrons fiscals i les bases de dades   municipals (padró continu, cadastre, IBI, llicències d’activitat, etc.) per veure quins camps d’aquestes ens podrien servir per a mapar dades de manera que es poguessin combinar amb les capes cartogràfiques que els companys dels serveis de informàtica de base, planejament i urbanisme del nostre ajuntament ens varen subministrar. D’aquesta manera, la capa de cartografia del cadastre agregada a nivell de illa cadastral es convertiria en la nostra base més detallada per a començar a treballar les dades que disposàvem del padró municipal, d’habitants o bé del cens d’activitat, ja que totes aquestes les trobàvem agregades fins al nivell d’illa cadastral.

El procediment en la majoria dels casos és relativament senzill: fer un enllaç, des del software GIS[1],  entre els camps comuns de la taula que conté les dades que volem mapar i la taula de la base cartogràfica:

Join (unió) entre una base cartogràfica i una base de dades alfanumèrica

A l’exemple veiem el camp Codi d’illa cadastral de la base cartogràfica al qual li enllacem la taula que conté les dades agregades segons el mateix camp, en el cas de l’exemple són dades sobre recomptes de població i immigració. Ara bé, ficada aquesta informació dintre de les illes cadastrals podem procedir a fer mapes temàtics segons un d’aquests camp li hem afegit:

Mapa temàtic de padró continu sobre base cartogràfica del cadastre

Com aquest exemple, podem aconseguir passar grans quantitats de dades estadístiques per treballar amb el SIG i fer-les servir segons diferents tipus de nivells territorial (illes cadastrals, parcel·les cadastrals, seccions censals, districtes administratius, etc.) segons el tipus d’informació o escala que volem representar.

En definitiva, el valor afegit del SIG és el fet de poder treballar de manera conjunta el què, el on i el quan. Així podem arribar a fer consultes sobre la informació que poden ser més o menys complexes segons els criteris de la recerca. És a dir, podem fer una consulta condicionada, seguint l’exemple de la segona imatge, que el programa ens faci una selecció de les illes cadastrals (on) que tenen més de 30 habitants però menys de 80 (què) i a quin tall del padró correspon aquesta dada (quan).

Aleshores, podem dir que gairebé tota la informació amb la que tractem als Observatoris és susceptible de ser cartografiada i, per tant, afegir aquesta visió geogràfica i molt més gràfica que ens atorguen les mapes a l’hora de comprendre la estadística. A més a més, aquesta manera de treballar ens permet tenir un format dinàmic i fàcil de modificar per a generar futura informació, les dades són fàcil manipulació i anàlisi, tenint en compte també que podem escollir què i com volem representar la nostra informació sobre el territori.

[1] Per aquest projecte hem utilitzat un soft molt potent, i molt extès a les administracions i universitats catalanes, desenvolupat a Catalunya: Miramón.

Alejandro A. Martín Barraza, Geògraf expert en GIS.

(Col·laborador a l’Observatori de la Ciutat de l’Ajuntament de Rubí)

L’atur juvenil, treballar en el present per millorar el futur

L’efecte de la crisi econòmica s’ha deixat notar en totes les capes de la societat, des dels menys preparats fins els que més, en els pares de família i en els joves, i tot i que els homes l’han patit en major mesura que les dones (també la taxa d’activitat d’ells és major que la de les dones), ambdós sexes l’han viscut sense remei.

En l’actual post ens centrarem, però, en l’atur juvenil, que agafaria el rang d’edat des dels 16 fins els 24 anys. Es tracta d’un problema amb unes casuístiques ben diferents i atomitzades, ja que un gran grup de l’atur juvenil es concentra en els joves sense massa o cap formació, i un altre gran grup important són els que estan molt formats però no troben sortida en els sectors en els que han estudiat. I és que, malgrat que el fet de posseir una titulació superior fa disminuir les probabilitats d’entrar en l’atur, actualment, a Catalunya i a la resta de l’Estat espanyol, el fet d’estar més format no significa que estiguis treballant. Per això, per un costat tenim a les persones aturades que, com a tònica general, tenen la formació mínima obligatòria (graduats en ESO) i que necessiten començar a formar-se en diferents sectors dels que treballaven abans de la crisi o bé especialitzar-se i desenvolupar noves aptituds en el sector en el que treballaven abans d’engrossir les llistes d’atur. Pel costat dels joves amb formació superior el principal problema el trobaríem en la incapacitat del mercat laboral d’oferir llocs de treball de qualitat i que els permetin desenvolupar les capacitats adquirides en el procés formatiu.

Els resultats globals del que significa en xifres, a data de setembre del 2010, aquest atur juvenil per als municipis integrants del Perfil de Ciutat, els presentem en la següent taula ordenats de major a menor taxa d’atur juvenil, sent Vic i Vilanova i la Geltrú els que es desmarquen per damunt de la resta, mentre que en sentit menys negatiu està Granollers que queda clarament per sota del la mitjana d’atur dels municipis del Perfil.