Observatoire ODR

DEFINITIONS, FONCTIONNEMENT, GUIDE D'UTILISATION

---

L'observatoire des programmes communautaires de développement rural (ODR) est un système d'information au service, de la préparation, du suivi et de l'évaluation des politiques publiques regroupées sous l'appellation "développement rural" (second pilier de la PAC).

Accessible par internet, il s'agit essentiellement d'un SERVEUR DE DONNEES pour des utilisateurs disposant de droits d'accès. Les utilisateurs n'ont pas des droits identiques. Les données sont soit libres (données publiques), soit réservées avec un accès contrôlé par leur propriétaire. Le fonctionnement de ce serveur est donc régi par des règles, définies par les partenaires de l'observatoire, consignées dans la convention signée entre les partenaires fondateurs et dans les décisions du comité de pilotage créé par cette convention.

Les données disponibles sont rattachées à des codes géographiques, en particulier aux communes ou groupes de communes, mais aussi à d'autres types d'entités géographiques comme les zones Natura 2000, les programmes d'action territoriaux pour l'eau, les unités de distribution d'eau potables, etc.

Le serveur de données permet soit l'accès à des données pour en réaliser un traitement (calcul et cartographie), soit la simple visualisation de données (cartes et tableaux déjà préparés). Il s'agit d'une visualisation dynamique (actualisation des calculs à chaque affichage) avec de larges possibilités de navigation entre échelles et types de territoires.

Les principales notions utiles à la compréhension du fonctionnement et à l'utilisation de l'observatoire sont développées dans cet article et précisées dans les articles liés à celui-ci. L'ensemble constitue le guide d'utilisation de l'observatoire

Principales règles de fonctionnement de l'observatoire

L'observatoire est régi par une convention et un comité de pilotage. Il est administré et développé par un chef de projet et une équipe opérationnelle, de l'INRA (Toulouse), globalement cette équipe sera désignée comme "ADMINISTRATION" dans la suite. Les règles concernent l'accès à l'utilisation de l'observatoire, l'accès aux données (par agrément de projets), l'accés aux fonctionnalités de l'observatoire (selon le statut de l'utilisateur) et enfin la publication des résultats obtenus avec des données de l'observatoire.

Les utilisateurs sont désignées par les partenaires (membres fondateurs, nouveaux partenaires, tiers agréés). Les login sont attribués par l'administration.

L'action des utilisateurs se déroule dans le cadre de projets. Un projet est créé par un utilisateur qui en devient responsable. Il peut y associer d'autres utilisateurs dont des propriétaires de données qui pourront donner un droits d'accés à certaines données. Les données gérées par les partenaires de l'observatoire peuvent être référencées (et donc utilisables) dans un projet, une fois seulement le projet et la demande de données validées par le comité de pilotage.

La publication de résultats, sur l'observatoire (dans des "dossiers thématiques") ou hors de l'observatoire, doit respecter le secret statistique et mentionner les sources de données (article convention cadre).

Un système d'information collaboratif géré en partenariat

L'observatoire ODR est un système d'information, que l'on peut représenter par le schéma 1.

Les relations entre les entités du système sont :

- soit directement gérées par le système informatique et de façon collaborative par les utilisateurs via les interfaces mises à leur disposition, les possibilités de collaboration dépendant de leur statut,

- soit elles résultent de décisions (des partenaires qui désignent des utilisateurs, du comité de pilotage qui valide les projets et émet des demandes, de l'administration qui attribue les logins et développe la partie "publique"). Ces décisions sont mises en oeuvre par l'administration.

Les rectangles noirs du schéma sont des ensembles ou classes d'entités, définies par des attributs listés dans les bases associées (en vert). Les relations sont décrites en rouge. Le circuit détaillé des données et métadonnées est représenté dans le schéma 2. Les différentes classes d'entités et leurs attributs sont décrits ci-après. Le principe général de traitement des données de l'observatoire et de construction d'indicateurs est présenté sur le schéma 3.

Les partenaires sont représentés dans un comité de pilotage. L'administration est assurée par une équipe opérationnelle, qui gère directement plusieurs projets préparatoires à l'évaluation du RDR1 ou au suivi du RDR2 (pour le compte du CNASEA et du MAP), qui administre le serveur (INRA), l'application "carto dynamique" et l'ensemble de la plateforme de logiciels. La mise à disposition et la mise à jour des données géographiques (géoréférencées) sont réservées à l'administration, ainsi que la publication dans les parties publiques de l'observatoire (ouvertes à tout visiteur : projet "visite observatoire" et répertoires des métadonnées).

Les données sont déposées (voir zone de dépôt) par les utilisateurs désignés et agréés par les partenaires. Ces données sont nécessairement des données localisées, au niveau des communes ou d'ensembles de communes, soit "agrégées" (voir agrégation), une valeur par entité géographique, soit "individuelles", plusieurs valeurs par entité géographique (il existe dans ce cas une ou plusieurs clés ou index, autres que géographiques, permettant de distinguer si nécessaire ces valeurs). Les comptes "utilisateur" des partenaires principaux fournisseurs de données (CNASEA notamment) sont gérés par l'équipe d'administration. Toutefois, tout utilisateur titulaire peut déposer des données dans des zones de dépôts réservées (sous sa seule administration) et peut référencer ces données dans tout projet dont il est membre ou inscrit comme donateur (voir schéma 2). Les règles de dépôt et de référencement sont les mêmes pour tous les utilisateurs. La création de projet est libre.

"La mise à disposition des métadonnées sur les entités de l'observatoire dans des répertoires pour les visiteurs"

Toute l'information sur l'observatoire, ce que l'on y trouve, ce qu'on peut y faire et ne pas faire, se trouve sur la page d'accueil du serveur et dans l'encyclopédie cartowiki, une fois connecté comme utilisateur, visiteur ou titulaire.

Les entités documentées (voir schéma 1) sont:
-	les partenaires,
-	les utilisateurs et leurs zones de dépôts,
-	les projets,
-	les bases de données localisées (voir détail ci-après),
-	les index secondaires, non géographiques 
-	les entités géographiques,
-	les résultats.

Remarque: les index définissent des domaines, ensembles de tables comprenant une même clé secondaire, ex: la base des données "CNASEA RDR1". NB: les tables CNASEA RDR1 sont aujourd'hui les seules tables de données individuelles dans l'observatoire (les tables anciennes ne sont pas répertoriées).

Les résultats comprennent :
o	les traitements (sauvegardes),
o	les indicateurs en tant que nouvelles variables 
o	les dossiers thématiques (ensembles de thèmes)
o	les thèmes (traitement validé ) 

Les bases de données localisées en entrée de l'observatoire et les résultats sous forme d'indicateurs en sortie

Une base de données est un ensemble d'informations (ou données) entre lesquelles on peut établir des relations. Le concept est général : toute fraction de base de données est elle-même une base de données et des bases de données associées forment une base de données plus large. Un système d'information complexe, comme l'observatoire ODR, peut-être considéré comme un ensemble de base de données caractérisant toutes les entités du système. Pour fixer le vocabulaire, nous réserverons le terme de base de données pour les entités géographiques et statistiques (bénéficiaires, dossiers, exploitants agricoles…) qui sont manipulées par les utilisateurs de l'observatoire pour créer des résultats (indicateurs).

Les données qui peuvent être déposées dans l'observatoire par un utilisateur, puis utilisées par lui-même ou par un autre (selon les règles établies pour la circulation des données dans l'observatoire), sont des données LOCALISEES, dite GEOCODEES. Elles se rapportent à une classe d'entité géographique, dont l'index est (par définition) un géocode.

NB1. La clé géographique universelle de l'observatoire est le référentiel communal INSEE/IGN 1999 (BD "géofla" 1999, licence IGN INRA). Lors du dépôt de données par un utilisateur, la table importée est calée sur ce référentiel et si nécessaire re-indexée avant de pouvoir être référencée. D'autres niveaux géographiques, formés par des ensembles de communes, peuvent être utilisés pour entrer des données, pour peu que ces zonages communaux soit référencés dans l'observatoire (voir : entité géographique), ce qui est du ressort de l'administration. Dans ce cas, les traitements doivent être effectués au niveau de découpage géographique correspondant (ex le canton si ce sont des données cantonales) ; pour les communes qui appartiennent à un même découpage (géocode), la donnée peut être considérée comme une constante.

NB2. On peut déposer dans l'observatoire des données se rapportant à d'autres entités géographiques que les communes pour peu qu'une table de correspondances existe c'est-à-dire que chaque entité de la classe communales soit rattachée à une commune et une seule (une commune pouvant se voir rattacher aucune, une ou plusieurs entités). On a alors un index géographique secondaire qui fonctionne comme un index de données individuelles. Ce système est mis en œuvre pour fonctionner dans le cas de NATURA 2000. Voir NATURA 2000 dans l'observatoire.

L'accès aux données réservées (non déclarées publique par le dépositaire) et aux résultats est limité et contrôlé. Chaque projet dispose de son propre dictionnaire de données utilisables par les membres du projet pour des traitements (selon leurs droits). Il est constitué par les données référencées dans ce projet par les membres du projet ou par des donateurs qui ont préalablement été inscrits dans le projet par son responsable (voir schéma 2). Seul l'utilisateur qui a déposé des données peut les référencer dans un projet. Elles apparaissent alors dans le dictionnaire du projet (avec les métadonnées les concernant) et peuvent être utilisées dans des formules. Lors du premier référencement dans un projet, les données sont renseignées par le "créateur" (l'utilisateur qui les a déposées et qui les référence), elles sont alors référencées, avec les métadonnées les concernant, dans un dictionnaire global et affectées au projet à partir duquel elles sont référencées, éventuellement avec des restrictions spécifiques. Le référencement des mêmes données dans un autre projet s'effectue par une nouvelle affectation de ces données.

Une interface de traitement permet aux membres titulaires d'effectuer des calculs sur les données et d'organiser les résultats du projet. Cette interface permet, aujourd'hui, de produire un indicateur, c'est-à-dire un résultat sous la forme d'une variable géocodée, à partir d'opérations arithmétiques et booléennes courantes effectuées sur des variables définies au niveau géographique voulu et d'en produire une carte. Si les variables entrant dans le calcul sont individuelles ou d'un niveau géographique inférieur à celui du calcul, elles sont agrégées, selon des modalités précisées dans la formule de calcul et par défaut lors de l'enregistrement des variables primaires. Une extension en cours de réalisation permettra de calculer en une seule opération plusieurs indicateurs. Voir schéma 3.

L'interface de traitement permet aussi de sauvegarder et d'exporter le résultat. Le traitement peut être simplement sauvegarder (comme un brouillon) à la disposition des membres du projet ou sauvegarder comme une "nouvelle variable" qui entrera dans le dictionnaire global des variables ou encore comme "thème" qui sera visible par les visiteurs du projet. Les thèmes sont classés dans un des dossiers thématiques ouverts (ou dans un nouveau) dans le projet, la liste de ces dossiers est visible dans le menu visiteur (les menus à gauche de l'écran). Au sens de la chartre créant l'observatoire ODR, les thèmes et dossiers thématiques sont des publications.

Les résultats et publications comprennent :

- les traitements (sauvegarde formule et paramètres carte), ce sont des brouillons, ils ne sont accessibles qu'aux membres des projets concernés, ce ne sont pas des publications ;

- les indicateurs sont des traitements sauvegardés en tant que nouvelles variables (la valeur pour un niveau géographique donné est sauvegardée dans une base de dépôt du créateur, le lien avec le traitement est conservé (actualisation possible) et notamment les sources de données utilisées, la sensibilité de l'indicateur au secret statistique en est déduite) (A METTRE EN ŒUVRE). Ce sont des données secondaires ;

- les dossiers thématiques, ceux-ci comprennent un ensemble de thèmes correspondant à la cartographie d'un indicateur et (le cas échéant) un "tableau de bord", c'est-à-dire un ensemble d'indicateurs présentés dans des tableaux statistiques géographiques ou des fiches descriptives ad hoc). Ce sont des publications (éventuellement confidentielles si peu de visiteurs inscrits au projet…), soumises notamment au secret statistique ;

- les thèmes (traitement validé comme thème avec les paramètres de contrôle affichage) (idem indicateur plus les paramètres d'affichage dans le dossier où cet indicateur est présent comme thème). Ce sont des publications.

Dans le cas des indicateurs sauvegardés comme thèmes ou comme nouvelles variables, plusieurs champs de métadonnées doivent être nécessairement renseignés par les créateurs de ces thèmes ou variables.

Dans le cas d'un indicateur devenant une nouvelle variable, celle-ci doit être référencée dans le dictionnaire du projet pour être réutilisable. Son créateur la déclare alors comme personnelle, privée, publiable ou non, ou encore publique (si la formule ne comprend que des données publiques, les propriétaires des données primaires réservées gardent leurs droits sur les données secondaires) ; voir référencement, la règle des 4 "P". Il doit fournir un minimum de renseignements méthodologiques sur l'indicateur, qui apparaîtront dans la fiche d'identité de la variable si celle-ci est "publiable" (répertoriée pour les visiteurs).

Dans le cas d'un thème, une documentation méthodologique peut (doit pour le projet "visite observatoire") aussi être attachée au thème (par un lien avec un article de cartowiki), la procédure d'enregistrement précise également les conditions d'application des règles de confidentialité (voir secret statistique). L'interface de visualisation des thèmes ne permet d'exporter les données. Toutefois une exportation des valeurs des indicateurs d'un dossier thématique est possible via la mise à disposition des visiteurs de tableaux géographiques et de tableaux de bord statistique par territoire (quelque soit le découpage). Actuellement un simple titulaire peut seulement créer des dossiers thématiques et y classer des thèmes (cartes). L'insertion d'un tableau géographique ou d'un tableau de bord nécessite l'intervention de l'administration.

L'ensemble des opérations d'enregistrement et de référencement des données primaires (déposées par les utilisateurs) et des indicateurs forme le circuit des métadonnées. Toutes les variables publiables sont référencées dans le répertoire des données, accessible sur la page d'accueil. La fiche d'identité des données rassemble les métadonnées, dont : les indicateurs statistiques habituels (moyenne, maxi, mini, nombre d'occurrences non null, etc.), le propriétaire dans l'observatoire (l'utilisateur qui a effectué le référencement), la date de création, son lien avec diverses entités (voir ci-après les entités secondaires auxquelles rattacher les données), son statut au regard des règles de diffusion (les 4 "P" : privées, personnelles, publiques, publiables), sa sensibilité au secret statistique.

Entités secondaires à renseigner pour décrire les bases de données localisées de l'observatoire

1- Les fournisseurs de données : Ils peuvent être : partenaires de l’observatoire, tiers agréés, ou simples utilisateurs titulaires.

Un fournisseur est le créateur primaire de la donnée. Le fournisseur (à renseigner lors du référencement) est distinct du propriétaire (utilisateur effectuant le référencement, qui en quelque sorte représente le fournisseur.) Ainsi, par exemple, quelque soit le nom de l'utilisateur qui a importé les données en provenance du CNASEA, celles-ci sont avec comme fournisseur "CNSAEA RDR1". Les données publiques (par exemple téléchargées du site de l'INSEE ou de SANDRE sont indiquées avec INSEE ou SANDRE comme fournisseurs. Les données fournies par des équipes de l'INRA sont répertoriées ainsi.

La liste des fournisseurs est la première entrée du répertoire de données.

2- Les ensembles de données correspondant à un même dispositif de recueil de données, à un même dispositif de gestion des mesures publiques (voir: RDR1, les dispositifs de mise en œuvre du RDR au sens du CNASEA), ou encore à une même enquête statistique. Cette rubrique est nommée "enquête", dans la procédure de référencement de carto dynamique.

Les enquêtes sont classées par fournisseurs de données et forme une deuxième entrée du répertoire des données. Chaque enquête est décrite dans un article de cartowiki, le lien étant fourni dans la fiche d'identité des variables correspondantes.

3- Les données sont présentes (physiquement) dans des tables, qui ont été enregistrées dans des zones de dépôt, c'est leur adresse dans le dictionnaire. Chaque zone de dépôt est administrée par l'utilisateur (unique) auquel elle est attachée, seul celui-ci peut référencer ces tables et les variables qu'elles contiennent. Il en est le créateur ou le propriétaire au sens de carto dynamique. Il pourra donner accès à ces données à divers projet en tant que donateur. La notion de propriétaire/créateur est à distinguer de celle de fournisseur.

Les tables de données localisées se rapportent à un niveau géographique, elles comprennent une ou plusieurs variables (attributs des entités géographiques de ce niveau en un ou plusieurs exemplaires). Si la table contient plusieurs variables celles-ci peuvent avoir des attributs de référencement propres (chaque variable de la table dispose de sa fiche d'identité). Si la table comprend plusieurs exemplaires (par exemple plusieurs dossiers d'aide publique par commune), la ou les clés secondaires sont référencées ainsi que les règles d'agrégation.

4. Les tables de données secondaires produites par l'application ("nouvelles variables") sont référencées comme les tables importées. Mais à chacune de ces variables sont associés une formule et les attributs correspondant aux variables de la formule. Les indicateurs présentés dans des thèmes ne sont nécessairement sauvegardés comme nouvelles variables.

5. Dans la mesure où plusieurs index peuvent concurremment servir à agréger des données, chaque clé "individuelle" fait l'objet d'une fiche documentaire (cartowiki). (A METTRE EN ŒUVRE)