From 9f4efb40420a2e93edd928669c68060ea5b19b31 Mon Sep 17 00:00:00 2001 From: MaelReboux Date: Tue, 22 Oct 2019 22:59:29 +0200 Subject: [PATCH] phase 5 --- scripts/create_tables.sql | 56 ++++++++++++++++ scripts/traitements_phase_5.sh | 117 +++++++++++++++++++++++++++++++++ 2 files changed, 173 insertions(+) create mode 100755 scripts/traitements_phase_5.sh diff --git a/scripts/create_tables.sql b/scripts/create_tables.sql index c155f5f..b8b1a3a 100644 --- a/scripts/create_tables.sql +++ b/scripts/create_tables.sql @@ -622,3 +622,59 @@ CREATE VIEW phase_4_pk_auto_4326 AS ALTER TABLE phase_4_pk_auto_4326 OWNER TO redadeg; + + +/* +========================================================================== + + phase 5 : gestion manuelle + +========================================================================== +*/ + +-- la table des PK avant modifications manuelles +-- en WGS85 / EPSG:4326 pour se simplier les contrôles +DROP TABLE IF EXISTS phase_5_pk_ref ; +CREATE TABLE phase_5_pk_ref +( + pk_id integer, + pk_x numeric(8,1), + pk_y numeric(8,1), + pk_long numeric(10,8), + pk_lat numeric(10,8), + length_real numeric(6,2), + length_theorical integer, + secteur_id integer, + municipality_admincode text, + municipality_postcode text, + municipality_name_fr text, + municipality_name_br text, + way_osm_id bigint, + way_highway text, + way_type text, + way_oneway text, + way_ref text, + way_name_fr text, + way_name_br text, + the_geom geometry, + CONSTRAINT phase_5_pk_ref_pkey PRIMARY KEY (pk_id), + CONSTRAINT enforce_geotype_the_geom CHECK (geometrytype(the_geom) = 'POINT'::text), + CONSTRAINT enforce_srid_the_geom CHECK (st_srid(the_geom) = 4326) +) ; +ALTER TABLE phase_5_pk_ref OWNER TO redadeg; + +-- on charge cette table avec les données finales de la phase 3 +INSERT INTO phase_5_pk_ref SELECT * FROM phase_4_pk_auto_4326 ; + + + + + + + + + + + + + diff --git a/scripts/traitements_phase_5.sh b/scripts/traitements_phase_5.sh new file mode 100755 index 0000000..0ab9198 --- /dev/null +++ b/scripts/traitements_phase_5.sh @@ -0,0 +1,117 @@ +#!/bin/bash + +# ce traitement consiste à charger les données des 10 cartes umap +# à les contrôler par rapport aux données de référence +# à les agréger +# puis les exporter pour merour + + +set -e +set -u + +PSQL=/usr/bin/psql +DB_HOST=192.168.56.131 +DB_NAME=redadeg +DB_USER=redadeg +DB_PASS=redadeg + + +#cd /data/www/vhosts/ar-redadeg_openstreetmap_bzh/htdocs/scripts/ + + +echo "++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++" +echo " Chargement des données des cartes umap" +echo "" +echo "" + + + # OK ! + #dernierFichierCmd="ls -l1dt phase_5_pk_secteur_"$secteur"_* | head -1" + #eval $dernierFichierCmd + + +# on procède secteur par secteur +# on récupère les données umap et on les charge dans la même couche + +# on commence donc par vider la couche cible +# géré avec l'option -overwrite sur le secteur 1 + + +echo " secteur 1" +curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027042/ > data/phase_5_pk_umap_tmp.geojson +# chargement initial +ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ +data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -lco GEOMETRY_NAME=the_geom -explodecollections -overwrite + + +echo " secteur 2" +curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027081/ > data/phase_5_pk_umap_tmp.geojson +# on rajoute à la couche +ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ +data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append + + +echo " secteur 3" +curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027101/ > data/phase_5_pk_umap_tmp.geojson +# on rajoute à la couche +ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ +data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append + + +echo " secteur 4" +curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027104/ > data/phase_5_pk_umap_tmp.geojson +# on rajoute à la couche +ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ +data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append + + +echo " secteur 5" +curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027107/ > data/phase_5_pk_umap_tmp.geojson +# on rajoute à la couche +ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ +data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append + + +echo " secteur 6" +curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027110/ > data/phase_5_pk_umap_tmp.geojson +# on rajoute à la couche +ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ +data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append + + +echo " secteur 7" +curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027114/ > data/phase_5_pk_umap_tmp.geojson +# on rajoute à la couche +ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ +data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append + + +echo " secteur 8" +curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027117/ > data/phase_5_pk_umap_tmp.geojson +# on rajoute à la couche +ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ +data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append + + +echo " secteur 9" +curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027120/ > data/phase_5_pk_umap_tmp.geojson +# on rajoute à la couche +ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ +data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append + + +echo " secteur 10" +curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027123/ > data/phase_5_pk_umap_tmp.geojson +# on rajoute à la couche +ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ +data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append + + + + +echo "" +echo "" +echo "++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++" +echo " F I N" +echo "++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++" +echo ""