From a6cd7b08a475329483f2d2cff021421470ae7b41 Mon Sep 17 00:00:00 2001 From: MaelReboux Date: Wed, 23 Oct 2019 19:36:08 +0200 Subject: [PATCH] =?UTF-8?q?phase=205=20fonctionnel=20mais=20export=20donn?= =?UTF-8?q?=C3=A9es=20PK=20r=C3=A9f=C3=A9rence?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- scripts/create_tables.sql | 30 ++++++++- scripts/traitements_phase_5.sh | 111 +++++++++++++++++++++++--------- scripts/traitements_phase_5.sql | 33 ++++++++++ 3 files changed, 143 insertions(+), 31 deletions(-) create mode 100644 scripts/traitements_phase_5.sql diff --git a/scripts/create_tables.sql b/scripts/create_tables.sql index b8b1a3a..c85939a 100644 --- a/scripts/create_tables.sql +++ b/scripts/create_tables.sql @@ -668,7 +668,35 @@ INSERT INTO phase_5_pk_ref SELECT * FROM phase_4_pk_auto_4326 ; - +-- la table finale +DROP TABLE IF EXISTS phase_5_pk ; +CREATE TABLE phase_5_pk +( + pk_id integer, + pk_x numeric(8,1), + pk_y numeric(8,1), + pk_long numeric(10,8), + pk_lat numeric(10,8), + length_real numeric(6,2), + length_theorical integer, + secteur_id integer, + municipality_admincode text, + municipality_postcode text, + municipality_name_fr text, + municipality_name_br text, + way_osm_id bigint, + way_highway text, + way_type text, + way_oneway text, + way_ref text, + way_name_fr text, + way_name_br text, + the_geom geometry, + CONSTRAINT phase_5_pk_pkey PRIMARY KEY (pk_id), + CONSTRAINT enforce_geotype_the_geom CHECK (geometrytype(the_geom) = 'POINT'::text), + CONSTRAINT enforce_srid_the_geom CHECK (st_srid(the_geom) = 4326) +) ; +ALTER TABLE phase_5_pk OWNER TO redadeg; diff --git a/scripts/traitements_phase_5.sh b/scripts/traitements_phase_5.sh index d1b6e84..0350966 100755 --- a/scripts/traitements_phase_5.sh +++ b/scripts/traitements_phase_5.sh @@ -39,73 +39,73 @@ echo "" echo " secteur 1" -# curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027042/ > data/phase_5_pk_umap_tmp.geojson +curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027042/ > data/phase_5_pk_umap_tmp.geojson # chargement initial -# ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ -# data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -lco GEOMETRY_NAME=the_geom -explodecollections -overwrite +ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ +data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -lco GEOMETRY_NAME=the_geom -explodecollections -overwrite echo " secteur 2" -# curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027081/ > data/phase_5_pk_umap_tmp.geojson +curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027081/ > data/phase_5_pk_umap_tmp.geojson # on rajoute à la couche -# ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ -# data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append +ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ +data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append echo " secteur 3" -# curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027101/ > data/phase_5_pk_umap_tmp.geojson +curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027101/ > data/phase_5_pk_umap_tmp.geojson # on rajoute à la couche -# ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ -# data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append +ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ +data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append echo " secteur 4" -# curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027104/ > data/phase_5_pk_umap_tmp.geojson +curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027104/ > data/phase_5_pk_umap_tmp.geojson # on rajoute à la couche -# ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ -# data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append +ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ +data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append echo " secteur 5" -# curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027107/ > data/phase_5_pk_umap_tmp.geojson +curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027107/ > data/phase_5_pk_umap_tmp.geojson # on rajoute à la couche -# ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ -# data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append +ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ +data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append echo " secteur 6" -# curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027110/ > data/phase_5_pk_umap_tmp.geojson +curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027110/ > data/phase_5_pk_umap_tmp.geojson # on rajoute à la couche -# ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ -# data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append +ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ +data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append echo " secteur 7" -# curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027114/ > data/phase_5_pk_umap_tmp.geojson +curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027114/ > data/phase_5_pk_umap_tmp.geojson # on rajoute à la couche -# ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ -# data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append +ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ +data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append echo " secteur 8" -# curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027117/ > data/phase_5_pk_umap_tmp.geojson +curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027117/ > data/phase_5_pk_umap_tmp.geojson # on rajoute à la couche -# ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ -# data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append +ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ +data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append echo " secteur 9" -# curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027120/ > data/phase_5_pk_umap_tmp.geojson +curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027120/ > data/phase_5_pk_umap_tmp.geojson # on rajoute à la couche -# ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ -# data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append +ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ +data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append echo " secteur 10" -# curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027123/ > data/phase_5_pk_umap_tmp.geojson +curl -sS http://umap.openstreetmap.fr/fr/datalayer/1027123/ > data/phase_5_pk_umap_tmp.geojson # on rajoute à la couche -# ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ -# data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append +ogr2ogr -f "PostgreSQL" PG:"host=$DB_HOST user=$DB_USER password=$DB_PASS dbname=$DB_NAME" \ +data/phase_5_pk_umap_tmp.geojson -nln phase_5_pk_umap -explodecollections -append @@ -191,6 +191,57 @@ do done +# ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ +echo "" +echo "" +echo " 2 : si replacement : test de distance" +echo "" + + +# ici une requête PostGIS sortira les PK qui auront été trop déplacés + + + + + +echo "++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++" +echo " Application des traitements SQL phase 5" +echo "" + +$PSQL -h $DB_HOST -U $DB_USER -d $DB_NAME < traitements_phase_5.sql + +echo " fait" +echo "" + + + + + +# ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ +# et on exporte en geojson pour umap et merour + +echo "" +echo "++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++" +echo " Exports" +echo "" + +echo " exports geojson" +echo "" + +rm data/phase_5_pk.geojson +ogr2ogr -f "GeoJSON" data/phase_5_pk.geojson PG:"host=$DB_HOST user=redadeg password=redadeg dbname=redadeg" phase_5_pk + +echo " fait" +echo "" + +echo " pousse vers serveur" +echo "" + +rsync -av -z data/phase_5_pk.geojson breizhpovh2:/data/www/vhosts/ar-redadeg_openstreetmap_bzh/htdocs/scripts/data/ + +echo "" +echo " fait" +echo "" echo "" diff --git a/scripts/traitements_phase_5.sql b/scripts/traitements_phase_5.sql new file mode 100644 index 0000000..a98eeee --- /dev/null +++ b/scripts/traitements_phase_5.sql @@ -0,0 +1,33 @@ + + + +-- on vide puis on remplit à nouveau la couche finale des PK +TRUNCATE phase_5_pk ; + +-- pour le moment avec les données de référence +INSERT INTO phase_5_pk +SELECT + r.pk_id, + r.pk_x, + r.pk_y, + r.pk_long, + r.pk_lat, + r.length_real, + r.length_theorical, + r.secteur_id, + r.municipality_admincode, + r.municipality_postcode, + r.municipality_name_fr, + r.municipality_name_br, + r.way_osm_id, + r.way_highway, + r.way_type, + r.way_oneway, + r.way_ref, + r.way_name_fr, + r.way_name_br, + r.the_geom +FROM phase_5_pk_ref r FULL JOIN phase_5_pk_umap u ON r.pk_id = u.pk_id +WHERE u.pk_id IS NOT NULL +ORDER BY r.pk_id ; +