phase_2 routing : bash -> python
This commit is contained in:
MaelREBOUX
parent
c98a580bab
commit
dd5f5581ff
254
scripts_v2/phase_2_routing_compute.py
Executable file
254
scripts_v2/phase_2_routing_compute.py
Executable file
|
|
@ -0,0 +1,254 @@
|
|||
#!/usr/bin/python
|
||||
# -*- coding: utf-8 -*-
|
||||
|
||||
#
|
||||
# Libraries
|
||||
#
|
||||
|
||||
import os
|
||||
import sys
|
||||
import datetime
|
||||
import time
|
||||
import configparser
|
||||
import psycopg2
|
||||
import math
|
||||
|
||||
# from logguer import log_verif
|
||||
|
||||
|
||||
# ==============================================================================
|
||||
|
||||
# répertoire courant
|
||||
script_dir = os.path.dirname(os.path.abspath(__file__))
|
||||
|
||||
# jour courant
|
||||
date = datetime.datetime.now()
|
||||
|
||||
# lecture du fichier de configuration qui contient les infos de connection
|
||||
config = configparser.ConfigParser()
|
||||
config.read(script_dir + '/config.ini')
|
||||
|
||||
# fichier_log = str(date.year)+str(date.month)+str(date.day)+"_"+str(date.hour)+str(date.minute)
|
||||
fichier_log = str(date.year) + str(date.month) + str(date.day)
|
||||
|
||||
|
||||
# ==============================================================================
|
||||
|
||||
def initConnRedadegDB():
|
||||
# connexion à la base postgresql
|
||||
try:
|
||||
global db_redadeg_pg_conn
|
||||
db_redadeg_pg_conn = psycopg2.connect(db_redadeg_conn_str)
|
||||
db_redadeg_pg_conn.set_session(autocommit=True)
|
||||
|
||||
print(" Connexion à la base " + db_redadeg_db + " sur " + db_redadeg_host + " réussie ")
|
||||
|
||||
|
||||
except Exception as err:
|
||||
print(" Connexion à la base " + db_redadeg_db + " sur " + db_redadeg_host + " impossible ")
|
||||
try:
|
||||
err.pgcode
|
||||
print(" PostgreSQL error code : " + err.pgcode)
|
||||
sys.exit()
|
||||
except:
|
||||
print(" " + str(err), 0)
|
||||
sys.exit()
|
||||
|
||||
|
||||
# ==============================================================================
|
||||
|
||||
def closeConnRedadegDB():
|
||||
try:
|
||||
db_redadeg_pg_conn.close()
|
||||
print(" Fermeture de la connexion à la base " + db_redadeg_db + " sur " + db_redadeg_host)
|
||||
except:
|
||||
pass
|
||||
|
||||
|
||||
# ==============================================================================
|
||||
|
||||
|
||||
# ==============================================================================
|
||||
# ==============================================================================
|
||||
# ==============================================================================
|
||||
# Start processing
|
||||
#
|
||||
|
||||
startTime = time.perf_counter()
|
||||
|
||||
# on récupère les arguments passés
|
||||
list_of_args = sys.argv
|
||||
|
||||
millesime = ""
|
||||
secteur = ""
|
||||
typemaj = ""
|
||||
|
||||
# et on fait des tests
|
||||
|
||||
try:
|
||||
if len(list_of_args[1]) != 4:
|
||||
print("Pas de millésime en argument")
|
||||
sys.exit()
|
||||
else:
|
||||
millesime = list_of_args[1]
|
||||
|
||||
# millesime ok : on passe au secteur
|
||||
if len(list_of_args[2]) != 3:
|
||||
print("Pas d'id secteur en argument")
|
||||
sys.exit()
|
||||
else:
|
||||
secteur = list_of_args[2]
|
||||
|
||||
# ok : tout est bon on peut commencer
|
||||
# sortie des tests
|
||||
|
||||
|
||||
except SystemExit:
|
||||
print("Erreur dans les arguments --> stop")
|
||||
sys.exit()
|
||||
except:
|
||||
print("oups : vérifiez vos arguments passés au script !")
|
||||
print("stop")
|
||||
sys.exit()
|
||||
|
||||
print("+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++")
|
||||
print("+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++")
|
||||
print("")
|
||||
print(f" Calcul d'un l'itinéraire pour le secteur {secteur} pour le millésime {millesime}")
|
||||
print("")
|
||||
|
||||
print(" Lecture du fichier de configuration ")
|
||||
print("")
|
||||
|
||||
# BD Ar Redadeg
|
||||
global db_redadeg_host
|
||||
global db_redadeg_db
|
||||
db_redadeg_host = config.get('redadeg_database', 'host')
|
||||
db_redadeg_port = config.get('redadeg_database', 'port')
|
||||
db_redadeg_db = config.get('redadeg_database', 'db') + "_" + str(millesime)
|
||||
db_redadeg_user = config.get('redadeg_database', 'user')
|
||||
db_redadeg_passwd = config.get('redadeg_database', 'passwd')
|
||||
# chaîne de connection
|
||||
global db_redadeg_conn_str
|
||||
db_redadeg_conn_str = "host=" + db_redadeg_host + " port=" + db_redadeg_port + " dbname=" + db_redadeg_db + " user=" + db_redadeg_user + " password=" + db_redadeg_passwd
|
||||
|
||||
initConnRedadegDB()
|
||||
|
||||
# le cursor
|
||||
db_redadeg_cursor = db_redadeg_pg_conn.cursor()
|
||||
|
||||
print("")
|
||||
|
||||
# ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
|
||||
|
||||
try:
|
||||
|
||||
print(f" vidage de la couche de routage pour le secteur {secteur}")
|
||||
sql_truncate_secteur = f"DELETE FROM phase_2_trace_pgr WHERE secteur_id = {secteur} ;"
|
||||
db_redadeg_cursor.execute(sql_truncate_secteur)
|
||||
print(" fait")
|
||||
|
||||
#
|
||||
|
||||
print(" Recherche du node_id du PK de début et du node_id du PK de fin")
|
||||
sql_get_nodes = """
|
||||
SELECT id, secteur_id, pgr_node_id
|
||||
FROM phase_2_pk_secteur
|
||||
WHERE secteur_id >= 900
|
||||
ORDER BY id
|
||||
LIMIT 2;"""
|
||||
db_redadeg_cursor.execute(sql_get_nodes)
|
||||
start_node = db_redadeg_cursor.fetchone()[2]
|
||||
end_node = db_redadeg_cursor.fetchone()[2]
|
||||
# print(start_node, end_node)
|
||||
print(" fait")
|
||||
|
||||
#
|
||||
|
||||
print(f" calcul d'un itinéraire entre les nœuds {start_node} et {end_node}")
|
||||
sql_route = f"""
|
||||
INSERT INTO phase_2_trace_pgr
|
||||
SELECT
|
||||
{secteur} AS secteur_id,
|
||||
-- info de routage
|
||||
a.path_seq,
|
||||
a.node,
|
||||
a.cost,
|
||||
a.agg_cost,
|
||||
-- infos OSM
|
||||
b.osm_id,
|
||||
b.highway,
|
||||
b."type",
|
||||
b.oneway,
|
||||
b.ref,
|
||||
CASE
|
||||
WHEN b.name_fr IS NULL AND b.ref IS NOT NULL THEN b.ref
|
||||
ELSE b.name_fr
|
||||
END AS name_fr,
|
||||
CASE
|
||||
WHEN b.name_br IS NULL AND b.name_fr IS NULL AND b.ref IS NOT NULL THEN b.ref
|
||||
WHEN b.name_br IS NULL AND b.name_fr IS NOT NULL THEN '# da dreiñ e brezhoneg #'
|
||||
ELSE b.name_br
|
||||
END AS name_br,
|
||||
b.the_geom
|
||||
FROM pgr_dijkstra(
|
||||
'SELECT id, source, target, cost, reverse_cost FROM osm_roads_pgr', {start_node}, {end_node}) as a
|
||||
JOIN osm_roads_pgr b ON a.edge = b.id ;"""
|
||||
|
||||
db_redadeg_cursor.execute(sql_route)
|
||||
|
||||
# ménage pour les performances
|
||||
db_redadeg_cursor.execute("VACUUM FULL phase_2_trace_pgr ;")
|
||||
|
||||
# on fait une requête pour voir la longueur insérée
|
||||
# en fait : la longueur totale - la longueur totale lors du précédent calcul
|
||||
sql_controle = f"""
|
||||
SELECT
|
||||
CASE
|
||||
WHEN trunc(SUM(ST_Length(the_geom))/1000) IS NULL THEN 0
|
||||
ELSE trunc(SUM(ST_Length(the_geom))/1000)
|
||||
END AS longueur
|
||||
FROM phase_2_trace_pgr WHERE secteur_id = {secteur};"""
|
||||
|
||||
db_redadeg_cursor.execute(sql_controle)
|
||||
result_controle = db_redadeg_cursor.fetchone()
|
||||
|
||||
if result_controle == 0:
|
||||
print(" >>> aucun itinéraire n'a pu être calculé <<<")
|
||||
print("STOP")
|
||||
sys.exit(1)
|
||||
else:
|
||||
print(f" fait : {result_controle[0]} km calculés pour le secteur {secteur}")
|
||||
|
||||
#
|
||||
|
||||
print("")
|
||||
|
||||
except Exception as err:
|
||||
print(" ERREUR : " + str(err))
|
||||
closeConnRedadegDB()
|
||||
sys.exit()
|
||||
|
||||
# ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
|
||||
|
||||
db_redadeg_cursor.close()
|
||||
|
||||
closeConnRedadegDB()
|
||||
|
||||
# pour connaître le temps d'exécution
|
||||
print("")
|
||||
print("+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++")
|
||||
print("F I N")
|
||||
print("")
|
||||
|
||||
stopTime = time.perf_counter()
|
||||
|
||||
# version simple en secondes
|
||||
# print(f"Exécuté en {stopTime - startTime:0.4f} secondes")
|
||||
|
||||
# version en h min s
|
||||
hours, rem = divmod(stopTime - startTime, 3600)
|
||||
minutes, seconds = divmod(rem, 60)
|
||||
print("Exécuté en {:0>2}:{:0>2}:{:05.2f}".format(int(hours), int(minutes), seconds))
|
||||
|
||||
|
||||
|
|
@ -1,135 +0,0 @@
|
|||
#! /bin/bash
|
||||
|
||||
# exit dès que qqch se passe mal
|
||||
set -e
|
||||
# sortir si "unbound variable"
|
||||
#set -u
|
||||
|
||||
|
||||
if [ -z "$1" ]
|
||||
then
|
||||
echo "Pas de millésime en argument --> stop"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
# lecture du fichier de configuration
|
||||
. config.sh
|
||||
|
||||
|
||||
# contrôle si argument secteur_id
|
||||
if [ -z "$2" ]
|
||||
then
|
||||
echo "Pas de secteur_id en argument --> stop"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
secteur_id=$2
|
||||
# on calcule le code du secteur suivant
|
||||
# ex : 200 -> 300
|
||||
secteur_id_next="$(( ${secteur_id:0:1} + 1 ))00"
|
||||
|
||||
|
||||
|
||||
# ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
|
||||
# ici on va calculer un itinéraire pour chaque secteur
|
||||
# en utilisant les PK de début (ou fin) de chaque secteur
|
||||
|
||||
# https://www.manniwood.com/postgresql_and_bash_stuff/index.html
|
||||
|
||||
|
||||
echo "++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++"
|
||||
echo " Calcul de l'itinéraires pour le secteur $secteur_id"
|
||||
echo ""
|
||||
|
||||
|
||||
# on commence par vider la table qui contiendra les calculs d'itinéraires
|
||||
echo " vidage de la couche de routage"
|
||||
PGPASSWORD=$DB_PASSWD $PSQL -h $DB_HOST -p $DB_PORT -U $DB_USER -d $DB_NAME -c \
|
||||
"DELETE FROM phase_2_trace_pgr WHERE secteur_id = $secteur_id ;" >> /dev/null
|
||||
echo " fait"
|
||||
echo ""
|
||||
|
||||
|
||||
# on cherche le node_id du PK de début et le node_id du PK de fin
|
||||
read pk_start_node <<< $(PGPASSWORD=$DB_PASSWD $PSQL -h $DB_HOST -p $DB_PORT -U $DB_USER -d $DB_NAME --no-align -t --quiet -c \
|
||||
"SELECT pk.pgr_node_id
|
||||
FROM phase_2_pk_secteur pk JOIN secteur s ON pk.secteur_id = s.id
|
||||
WHERE secteur_id IN ($secteur_id,$secteur_id_next)
|
||||
ORDER BY s.id
|
||||
LIMIT 1 OFFSET 0" )
|
||||
|
||||
read pk_end_node <<< $(PGPASSWORD=$DB_PASSWD $PSQL -h $DB_HOST -p $DB_PORT -U $DB_USER -d $DB_NAME --no-align -t --quiet -c \
|
||||
"SELECT pk.pgr_node_id
|
||||
FROM phase_2_pk_secteur pk JOIN secteur s ON pk.secteur_id = s.id
|
||||
WHERE secteur_id IN ($secteur_id,$secteur_id_next)
|
||||
ORDER BY s.id
|
||||
LIMIT 1 OFFSET 1" )
|
||||
|
||||
|
||||
|
||||
echo " calcul d'un itinéraire entre les nœuds $pk_start_node et $pk_end_node"
|
||||
|
||||
|
||||
PGPASSWORD=$DB_PASSWD $PSQL -h $DB_HOST -p $DB_PORT -U $DB_USER -d $DB_NAME -c \
|
||||
"INSERT INTO phase_2_trace_pgr
|
||||
SELECT
|
||||
$secteur_id AS secteur_id,
|
||||
-- info de routage
|
||||
a.path_seq,
|
||||
a.node,
|
||||
a.cost,
|
||||
a.agg_cost,
|
||||
-- infos OSM
|
||||
b.osm_id,
|
||||
b.highway,
|
||||
b.\"type\",
|
||||
b.oneway,
|
||||
b.ref,
|
||||
CASE
|
||||
WHEN b.name_fr IS NULL AND b.ref IS NOT NULL THEN b.ref
|
||||
ELSE b.name_fr
|
||||
END AS name_fr,
|
||||
CASE
|
||||
WHEN b.name_br IS NULL AND b.name_fr IS NULL AND b.ref IS NOT NULL THEN b.ref
|
||||
WHEN b.name_br IS NULL AND b.name_fr IS NOT NULL THEN '# da dreiñ e brezhoneg #'
|
||||
ELSE b.name_br
|
||||
END AS name_br,
|
||||
b.the_geom
|
||||
FROM pgr_dijkstra(
|
||||
'SELECT id, source, target, cost, reverse_cost FROM osm_roads_pgr', $pk_start_node, $pk_end_node) as a
|
||||
JOIN osm_roads_pgr b ON a.edge = b.id ;" >> /dev/null
|
||||
|
||||
|
||||
# ménage pour performances
|
||||
PGPASSWORD=$DB_PASSWD $PSQL -X -h $DB_HOST -p $DB_PORT -U $DB_USER -d $DB_NAME -c \
|
||||
"VACUUM FULL phase_2_trace_pgr ;" >> /dev/null
|
||||
|
||||
# on fait une requête pour voir la longueur insérée
|
||||
# en fait : la longueur totale - la longueur totale lors du précédent calcul
|
||||
read longueur_inseree <<< $(PGPASSWORD=$DB_PASSWD $PSQL -h $DB_HOST -p $DB_PORT -U $DB_USER -d $DB_NAME --no-align -t --quiet -c \
|
||||
"SELECT
|
||||
CASE
|
||||
WHEN trunc(SUM(ST_Length(the_geom))/1000) IS NULL THEN 0
|
||||
ELSE trunc(SUM(ST_Length(the_geom))/1000)
|
||||
END AS longueur
|
||||
FROM phase_2_trace_pgr WHERE secteur_id = $secteur_id;")
|
||||
|
||||
|
||||
# une alerte si 0 km insérés
|
||||
if [ $longueur_inseree -eq 0 ] ;
|
||||
then
|
||||
echo " >>> aucun itinéraire n'a pu être calculé <<<"
|
||||
echo " :("
|
||||
echo ""
|
||||
exit 0
|
||||
else
|
||||
echo " fait : $longueur_inseree km calculés"
|
||||
fi
|
||||
|
||||
|
||||
echo ""
|
||||
echo ""
|
||||
echo "+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++"
|
||||
echo " F I N calcul de l'itinéraire pour le secteur $secteur_id"
|
||||
echo "+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++"
|
||||
echo ""
|
||||
|
|
@ -42,7 +42,7 @@ def phase_2():
|
|||
try:
|
||||
subprocess.call(["./phase_2_get_data.sh "+millesime+" "+secteur],shell=True,stderr=subprocess.STDOUT)
|
||||
subprocess.call(["./phase_2_routing_prepare.sh "+millesime+" "+secteur],shell=True,stderr=subprocess.STDOUT)
|
||||
subprocess.call(["./phase_2_routing_compute.sh "+millesime+" "+secteur],shell=True,stderr=subprocess.STDOUT)
|
||||
subprocess.call(["python phase_2_routing_compute.py "+millesime+" "+secteur],shell=True,stderr=subprocess.STDOUT)
|
||||
subprocess.call(["./phase_2_post_traitements.sh "+millesime+" "+secteur],shell=True,stderr=subprocess.STDOUT)
|
||||
|
||||
print("")
|
||||
|
|
|
|||
Loading…
Reference in a new issue