Lo que he encontrado ahora, MediaCloud.org, se parece mucho más a mi idea original (que aún quiero llevar a cabo): llevan un año rastreando feeds de medios online de habla inglesa, sobre todo americanos, y almacenando esos datos para mostrarlos luego en tres tipos de visualizaciones diferentes:

• Top 10 de términos más mencionados en ese medio
• Top 10 de términos más mencionados en las noticias que contengan un término de búsqueda
• Un mapa mundial que recoge la cobertura sobre ese país según el medio.

De momento éstas son las opciones de visualización que hay, aunque es previsible que en breve incorporen más posibilidades, y aumenten el límite de 3 medios para visualizar simultáneamente. Una de las pegas es que no hay mucha información acerca de la base de datos sobre la cual crean las visualizaciones: cuál es el rango de tiempo, si  se calcula sobre todo lo publicado en ese medio, o sobre ciertas secciones concretas, los límites sobre los que juzgan la cobertura de un país por un medio, son relativos (de X número de noticias, Y fueron sobre éste país y Z sobre este otro), o absolutos.

Luego vi que se podría hacer mucho más con eso: cantidad y frecuencia de publicación, nubes de tags al estilo wordle por día o por rango, una búsqueda de palabras al estilo google trends… Parece mentira, pero de un simple feed se pueden extraer un montón de posibilidades de visualización.

De hecho, hace poco he descubierto Kill The Cliché, que parte de una idea parecida: también analiza feeds de periódicos online, en este caso americanos, pero lo que hace es buscar en el texto de la noticia ciertos clichés, palabras o frases que se suelen repetir hasta la saciedad, y cruzarlos con los autores de las noticias. Con estos datos configuran un ranking de clichés más repetidos y de los periodistas que más los usan. Además permite a los visitantes de Kill The Cliché configurar la búsqueda de clichés: se pueden sugerir nuevas palabras y frases típicas y votar las que ya se están monitorizando.

Su lema es: More data = better media y resulta un experimento interesante para comprobar lo que da de sí un feed de texto con un poco de imaginación. Seguramente veamos más servicios de este tipo a medida que los medios online comiencen a publicar más APIs y la interacción y el procesado de los datos que generan sea más sencillo.

Lo que he hecho con Yahoo! Pipes es una prueba de concepto de esta idea, una especie de prototipo que agrupa los feeds de Adn.es, Publico, El Pais, El Mundo y Soitu.es y extrae el autor de cada noticia. El resultado es un feed que nos muestra las noticias con un título siguiento este formato: [Medio] Autor, lo que nos permite de un vistazo ver los autores de las últimas noticias publicadas en los principales medios online españoles y ver, por ejemplo, cuál es la prevalencia de las agencias en cada uno, o de las noticias de redacción, las que por un motivo u otro el autor ha declinado firmar. La utilidad de los datos es limitada, claro, ya que el feed recoje sólo los últimos 5 items de cada medio, de hecho, lo de prototipo le viene un poco grande.

Lo que yo pretendo hacer va un poco más allá tanto en visualizaciones como en datos a presentar, con posibilidades de comparativas entre medios y entre el mismo medio, en dos rangos de tiempo diferentes. Para ello necesito, además de capturar los feeds, programar el script que diseccionará los feeds y que grabará el contenido en una base de datos. La parte más divertida será, mientras se van guardando los datos, ir creando las visualizaciones. De hecho, es la excusa perfecta que estoy esperando para comprarme un libro de Processing.

Durante estos días he tenido la oportunidad de entrevistar a Mar Canet, uno de los miembros de Derivart responsables de Casas Tristes. Ha sido mi primera entrevista a través de Google Docs. La verdad es que ha sido curioso poder asistir al proceso de respuesta de preguntas y correciones de otros creadores del proyecto.

¿Por qué la vivienda? ¿Qué era lo que más os interesaba del tema o qué os permitía hacer mejor que otros asuntos?

La idea original es del colectivo Derivart: hacemos proyectos que exploran el universo financiero desde el mundo del arte. En España uno de los acontecimientos financieros más importantes de la última década es sin duda la burbuja inmobiliaria. Evidentemente ser un grupo de jóvenes nos ha hecho vivir más de cerca problema del acceso de la vivienda.

¿Qué otros proyectos os sirvieron de inspiración? Veo que en el wiki de preproducción citáis sobre todo proyectos artísticos, aunque desde mi punto de vista, la web puede ser definida sobre todo en términos periodísticos o activistas.

Citamos más proyectos para no sentirnos solos en nuestro animo de colaboración. Era un tema que nos tenía interesados desde el inicio que creamos Derivart en 2004. Para nosotros Idealista fue una fuente de inspiración. Ir leyendo su boletín semanal y los abundantes comentarios que la gente hace sobre las noticias nos sirvió de fuente de ideas e irreflexión para pensar qué podíamos hacer. Pero la mayor inspiración ha sido la sinergia surgida en Madrid en la fase de producción con mis coautores Jordi Puig, Gerald Kogler y los colaboradores.

Además de la aparición en adn.es dentro del reportaje sobre el seminario del Medialab-Prado, ¿habéis tenido algún otro contacto desde otros medios de comunicación?

Sí. Después de esa noticia, apareció en 20minutos, y estuvo todas las navidades en su web a causa de los días festivos, obteniendo 78 comentarios. Y más recientemente, el día 4 de enero fuimos a una entrevista en IcatFM en el programa “Cabaret Elèctric” amb la Txell Bonet.

La integración de visualizaciones de datos en contextos periodísticos está teniendo un importante momento de auge, gracias al trabajo de, entre otros, Adrian Holovaty, que estuvo presente en el seminario del Medialab. Supongo que chicagocrime.org habrá sido un punto importante de referencia.

Sí, trabajamos mucho juntos durante la segunda semana del taller a nivel técnico y conceptual. Además, su experiencia en Google Maps fue de gran ayuda para realizar el mashup de las casastristes con la oficina del Catastro. Su proyecto ha sido de gran inspiración.

Ninguno de vosotros tiene formación periodística, sois programadores, diseñadores y economistas. ¿Vosotros percibís Casas Tristes como un trabajo periodístico?

Pues creemos que por primera vez estamos entre el arte y el periodismo. Estamos haciendo en cierta manera periodismo de investigación. En el taller de Medialab pasamos una semana y media buscando sólo datos. Las fuentes son muy diversas y hubo mucho trabajo de investigación.

¿Cuáles son las necesidades más apremiantes del proyecto ahora mismo, a nivel de colaboradores?

Nos gustaría activar el blog de la página y buscamos un equipo de gente interesada en escribir y controlar los posts que vayan surgiendo.

¿Cómo pensáis financiar el proyecto a medio-largo plazo, ya que no ponéis publicidad, aún? ¿Pensáis hacerlo en el futuro, aunque sólo sea para que el proyecto se autofinancie?

Sí, seguramente tendremos que poner publicidad para autofinanciar el proyecto. Aunque primero priorizamos poner esfuerzo en hacer más visualizaciones. La verdad es que la página al estar llena de visualizaciones y no ser html plano consume tasa de transferencia cuando viene una avalancha de usuarios.

Al basar gran parte del contenido en la participación del usuario, contar con una base de usuarios grande es fundamental. ¿Cómo valoráis el estado actual del proyecto?

A pesar que estamos teniendo bastantes visitas a la página (una media que oscila entre 100 y 800 diarias). La verdad es que no estamos consiguiendo que la gente introduzca demasiadas casas vacías a nuestra base de datos.

¿Cuál es el esquema que seguís para valorarlo?

Las casas introducidas, la cantidad de visitas y el debate producido en prensa son un buenos indicadores para valorar el proyecto.

¿Qué condiciones se tienen que dar, o qué objetivos se tienen que cumplir para que valoréis el proyecto como exitoso?

La verdad es que si logra suscitar debate será exitoso, pero para nosotros ya estamos muy contentos con los pequeños logros alcanzados.

El hecho de pedir registro previo para poder subir casas tristes puede resultar un freno. Actualmente existe cierto debate en foros periodísticos acerca de qué es mejor, si usuarios registrados o comentarios anónimos. ¿Cuál fue vuestra lógica para tomar la decisión de pedir registro previo?

Sí, creo que es mejor poder hacer cosas anónimamente. Nosotros tenemos que mejorar el flujo de navegación e interacción para no frenar los usuarios y captar al máximo sus opiniones.

Hace pocos días habéis celebrado un taller en Hangar. ¿Cómo ha ido? ¿Han surgido nuevas fuentes de datos, ideas o propuestas de visualización?

Lo valoramos muy positivamente, aunque la asistencia no fuese muy grande, ya que entendemos que las fechas no eran las mejores. Pero como la mitad del grupo vive en el extranjero, eran unas buenas fechas para nosotros. De esos días ha salido varias ideas de visualizaciones y una visualización nueva titulada capacidad de consumo. Un día hablando con un propietario de un bar de copas nos dijo que la burbuja había hecho cambiar el consumo de cocktels en los bares nocturnos y esto nos hizo pensar.

En esta nueva visualización, se muestra históricamente el dinero que queda disponible en un hogar después de pagar la casa, donde hay una pareja en la que ambos trabajan y cobran un sueldo medio. Hemos usado los datos estadísticos del banco de España de esfuerzo de pago de los hogares españoles y las estadísticas del INE sobre el sueldo bruto medio de los españoles. Interactivamente los usuarios pueden ver como entre 1997 y 2006 no ha aumentado muy sustancialmente el dinero para ocio al subir del 37% el esfuerzo de pago de la vivienda al 43%.

Además de los datos introducidos por los usuarios, contáis con una serie de visualizaciones de datos procedentes de diversas fuentes. ¿Cómo fue el proceso de documentación para el proyecto?

Empezamos un poco de cero sin gran experiencia en la búsqueda de datos. Pero en el Medialab-Prado tuvimos mucha ayuda de nuestros colaboradores que pusieron mucho empeño en la búsqueda de datos.

¿Decidísteis a priori qué datos os interesaba buscar o una vez recopilados los datos buscásteis la forma de organizarlos?

El modo de producción fue muy dinámico, incluso a veces caótico. Inicialmente pensábamos en posibles visualizaciones y datos a buscar, pero en el proceso, como duraba horas, nos desviábamos y surgían datos en el camino que nos daban ideas para nuevas visualizaciones.

¿Cómo de difícil fue localizar y recuperar todos los datos que habéis utilizado?

Se podría decir que fue la tarea más difícil para nosotros. No teníamos experiencia en la búsqueda de estos tipos de datos y los datos parecen que estén escondidos en las páginas gubernamentales. Y por desgracia a veces buscamos 2 veces los mismos datos por falta de coordinación.

¿Cómo valoráis la disponibilidad de datos de organismos públicos?

La disponibilidad de datos de las administraciones españolas deja mucho de desear. Los datos están poco actualizados y la información es difícil de encontrar. Por ejemplo se hacen estadísticas de casas vacías, pero solo se realizan cada 4 años junto con los censos. Además los sistemas estadísticos para consultar y exportar los datos no pasarían ningún estándar de usabilidad. El peor caso es sin duda el de Fomento que para consultar su base de datos, una de las mas extensas, se tiene que instalar un software propio (sólo para windows) y de una usabilidad horrible.

Al provenir de fuentes diversas, ¿tuvísteis que procesarlos de alguna manera para uniformizar los datos?

Sí, hemos uniformizado los datos en hojas de cálculo (CSV), donde las columnas son los años, y las filas los datos disponibles. Y por ejemplo siempre intentamos trabajar con provincias en vez de comunidades y en los archivos casi siempre las encontramos mezcladas con las comunidades.

Holovaty es un híbrido entre periodista y programador. Comenzó a ser conocido gracias a uno de los primeros mashups, chicagocrime.org, que ubicaba en Google Maps la base de datos de delitos de la policía local de Chicago. Las múltiples posibilidades de visualización permiten ver la evolución de la criminalidad de una zona a lo largo del tiempo, los delitos cometidos en una zona la semana pasada, o hace un par de años, y ver la cobertura periodística local de cada delito, si existe. El propio mashup es un ejercicio periodístico: contextualiza y ayuda a comprender un fenómeno social, el delito, mucho mejor que estadísticas, porcentajes o informes anuales. Es un ejemplo de los nuevos géneros que están naciendo y que están por nacer.

Everyblock, su nuevo proyecto, nace gracias a una beca de la Knight Foundation, una organización sin ánimo de lucro dedicada al avance del periodismo (qué envidia y qué necesidad de algo así por aquí). El objetivo de Everyblock es responder a la pregunta: ¿qué está pasando en mi barrio? Y lo hace agregando información geolocalizada por calles, barrios, distritos y ciudades, de forma que puedas ver fotos, anuncios, posts en blogs, noticias, datos públicos municipales, como inspecciones de restaurantes y más cosas que hayan pasado cerca de tu casa. La idea es excelente de por sí, e irá aumentando de valor a medida que se genere más información geolocalizada.

On EveryBlock, “Somebody reviewed the new Italian restaurant down the street on Yelp” is news. “Somebody took a photo of that cool house on your block and posted it to Flickr” is news. “The NYPD posted its weekly crime report for your neighborhood” is news. If it’s in your neighborhood and it happened recently, it’s news on EveryBlock.

En el blog de Juan Freire podéis leer un resumen de la intervención de Holovaty en el seminario de visualización de datos que tuvo lugar en el Medialab-Prado de Madrid en noviembre del 2007.

Lo que más me llamó la atención es que prácticamente todos los mashups presentados tienen un carácter casi exclusivamente lúdico: juegos, visualizaciones curiosas y llamativas, o propuestas de interfaces alternativas, pero pocas veces la recontextualización de los datos tiene una intención crítica o la mezcla de varias fuentes permite extraer información nueva o que no fuese evidente al principio.

La excepción, y uno de los que más me gustó, es esta reformulación del feed de Google News que muestra de forma visual el peso de cada noticia en los medios, dotando de una mayor área a aquellas noticias con más artículos relacionados, por tanto, a aquellas que más cobertura están obteniendo. El resultado es una cartografía del sesgo de los medios, pero que tampoco está libre de sesgos propios al aceptar el feed de Google News como una representación fiable de todo lo que se publica en medios de comunicación. Tampoco, creo, tiene en cuenta la distinta capacidad de influencia de cada medio. Pero ambas son limitaciones que vienen impuestas desde la propia fuente de datos utilizada, y no anulan ni le quitan efectividad al proyecto.

Otros mashups acabaron teniendo más posibilidades de las inicialmente planteadas por sus creadores, como esta aplicación, hecha por el propio equipo que impartía el taller, que permite crear una tira de varias viñetas a partir de fotos de flickr, añadiendo bocadillos de varias formas y textos. Aunque lo hicieron como un juego, comenzaron a ver en los archivos que algunos profesores lo usaban como un ejercicio en sus clases de idiomas.

También se hizo mucho hincapié en la visualización de datos. La mayor parte de los proyectos presentados tenían una interfaz realizada en flash, a pesar de los problemas de indexación en buscadores que presenta, y a la necesidad de disponer de un plugin adicional para visualizar los datos.

Con todo, fue una experiencia interesante e inspiradora. Lo suficiente como para añadir un ítem más a la lista de cosas para hacer durante este año. Ahora sólo tengo que refrescar y mejorar lo suficiente mis nociones de PHP y mySQL, algo que de todos modos ya estaba en la lista. Para los curiosos, podéis ver las notas en las que basaron las presentaciones de los tres días.

El taller me ayudará sin duda a avanzar en más de uno de los propósitos de año nuevo, así que tengo muchas ganas de que empiece. También me interesa a nivel de currículum comenzar a aprender a manejar APIs, a interactuar de forma creativa con bases de datos y a reflexionar sobre formas de visualizar datos. Son tres áreas que creo que van a ser (o deberían ser) importantes dentro del periodismo digital, si no lo son ya.