#!/usr/bin/python # -*- coding: utf-8 -*- # # Libraries # import os import sys import datetime import time import configparser import psycopg2 #from logguer import log_verif # ============================================================================== # répertoire courant script_dir = os.path.dirname(os.path.abspath(__file__)) # jour courant date = datetime.datetime.now() # lecture du fichier de configuration qui contient les infos de connection config = configparser.ConfigParser() config.read( script_dir + '/config.ini') #fichier_log = str(date.year)+str(date.month)+str(date.day)+"_"+str(date.hour)+str(date.minute) fichier_log = str(date.year)+str(date.month)+str(date.day) # ============================================================================== def initConnRedadegDB(): # connexion à la base postgresql try: global db_redadeg_pg_conn db_redadeg_pg_conn = psycopg2.connect(db_redadeg_conn_str) db_redadeg_pg_conn.set_session(autocommit=True) print(" Connexion à la base "+db_redadeg_db+" sur "+db_redadeg_host+" réussie ") except Exception as err: print(" Connexion à la base "+db_redadeg_db+" sur "+db_redadeg_host+ " impossible ") try: err.pgcode print(" PostgreSQL error code : " + err.pgcode) sys.exit() except: print(" " + str(err),0) sys.exit() # ============================================================================== def closeConnRedadegDB(): try: db_redadeg_pg_conn.close() print(" Fermeture de la connexion à la base "+db_redadeg_db+" sur "+db_redadeg_host) except: pass # # Functions # # # Start processing # startTime = time.perf_counter() # on récupère les arguments passés list_of_args = sys.argv millesime="" secteur="" typemaj="" # et on fait des tests try: if len(list_of_args[1]) != 4: print("Pas de millésime en argument") sys.exit() else: millesime = list_of_args[1] # millesime ok : on passe au secteur if len(list_of_args[2]) != 3: print("Pas d'id secteur en argument") sys.exit() else: secteur = list_of_args[2] # ok : tout est bon on peut commencer # sortie des tests except SystemExit: print("Erreur dans les arguments --> stop") sys.exit() except: print("oups : vérifiez vos arguments passés au script !") print("stop") sys.exit() print("+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++") print("+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++") print("") print(" Préparation des données phase 3 du secteur "+str(secteur)+" pour le millésime "+str(millesime)) print("") print(" Lecture du fichier de configuration ") print("") # BD Ar Redadeg global db_redadeg_host global db_redadeg_db db_redadeg_host = config.get('redadeg_database', 'host') db_redadeg_port = config.get('redadeg_database', 'port') db_redadeg_db = config.get('redadeg_database', 'db')+"_"+str(millesime) db_redadeg_user = config.get('redadeg_database', 'user') db_redadeg_passwd = config.get('redadeg_database', 'passwd') # chaîne de connection global db_redadeg_conn_str db_redadeg_conn_str = "host="+db_redadeg_host+" port="+db_redadeg_port+" dbname="+db_redadeg_db+" user="+db_redadeg_user+" password="+db_redadeg_passwd initConnRedadegDB() # le cursor db_redadeg_cursor = db_redadeg_pg_conn.cursor() print("") # ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ try: # longueur de découpage des tronçons de la phase 2 longueur_densification = config.get('redadeg', 'longueur_densification') # ------------------------------------------------------ print(" Suppression des données du secteur "+secteur) sql_delete = "DELETE FROM phase_3_troncons_pgr WHERE secteur_id = "+secteur +" ;" db_redadeg_cursor.execute(sql_delete) print(" fait") print("") # ------------------------------------------------------ print(" Chargement de tronçons découpés tous les "+longueur_densification+" m depuis la couche des tronçons phase 2") # on charge, pour le secteur concerné des tronçons courts découpés tous les x mètres # (densification avec ST_LineSubstring ) sql_insert = """ INSERT INTO phase_3_troncons_pgr (secteur_id, osm_id, highway, type, oneway, ref, name_fr, name_br, the_geom) SELECT secteur_id, osm_id, highway, type, oneway, ref, name_fr, name_br, ST_LineSubstring(the_geom, """+longueur_densification+"""*n/length, CASE WHEN """+longueur_densification+"""*(n+1) < length THEN """+longueur_densification+"""*(n+1)/length ELSE 1 END) As the_geom FROM ( SELECT secteur_id, osm_id, highway, type, oneway, ref, name_fr, name_br, ST_Length(the_geom) AS length, the_geom FROM phase_2_trace_troncons WHERE secteur_id = """+secteur+""" ) AS t CROSS JOIN generate_series(0,10000) AS n WHERE n*"""+longueur_densification+"""/length < 1;""" db_redadeg_cursor.execute(sql_insert) print(" fait") print("") print(" Calcul des coûts...") # calcul des attributs de support du calcul pour PGR sql_update_costs = """ UPDATE phase_3_troncons_pgr SET cost = CASE WHEN trunc(st_length(the_geom)::numeric,2) = """ + str( float(longueur_densification) - 0.01 ) + """ THEN """ + longueur_densification + """ ELSE trunc(st_length(the_geom)::numeric,2) END, reverse_cost = CASE WHEN trunc(st_length(the_geom)::numeric,2) = """ + str( float(longueur_densification) - 0.01 ) + """ THEN """ + longueur_densification + """ ELSE trunc(st_length(the_geom)::numeric,2) END WHERE secteur_id = """ + secteur + """ ;""" db_redadeg_cursor.execute(sql_update_costs) print(" fait") print("") # ------------------------------------------------------ print(" Création / maj de la topologie pgRouting pour les tronçons nouvellement créés") sql_nb_edges = f"SELECT count(*) FROM phase_3_troncons_pgr WHERE secteur_id = {secteur} ;" db_redadeg_cursor.execute(sql_nb_edges) nb_edges = db_redadeg_cursor.fetchone()[0] # estimation du temps de traitement avec 400 edges / s temps_sec = round(nb_edges/400) minutes, seconds = divmod(temps_sec, 60) print(f" temps de traitement évalué à {minutes} min et {seconds} sec") now = datetime.datetime.now() fin_sec = now.second + seconds fin_min = now.minute + minutes + 1 fin_heure = now.hour print(f" donc fin estimée à {fin_heure}h{fin_min} maximum") sql_create_pgr_topology = f"SELECT pgr_createTopology('phase_3_troncons_pgr', 0.001, rows_where:='secteur_id={secteur}', clean:=false);" db_redadeg_cursor.execute(sql_create_pgr_topology) print(" fait") print("") # optimisation print(" vacuum") db_redadeg_cursor.execute("VACUUM FULL phase_3_troncons_pgr ;") print(" fait") print("") # ------------------------------------------------------ print(" Récupération id des nœuds de début et fin du secteur, et la longueur") # récupération id node début et fin de secteur secteurs_in_clause = secteur+","+str(int(secteur)+100) sql_get_nodes = """ SELECT v.id, s.the_geom FROM phase_2_pk_secteur s, phase_3_troncons_pgr_vertices_pgr v WHERE s.secteur_id IN ("""+secteurs_in_clause+""") AND ST_INTERSECTS(s.the_geom, v.the_geom) ORDER BY s.secteur_id;""" db_redadeg_cursor.execute(sql_get_nodes) # fetchone() fait passer d'un enregistrement à un autre # donc : nœud de début du secteur node_start = db_redadeg_cursor.fetchone() node_start_id = node_start[0] node_start_geom = node_start[1] # nœud de fin du secteur node_end = db_redadeg_cursor.fetchone() node_end_id = node_end[0] node_end_geom = node_end[1] # la longueur sql_longueur_secteur = """ SELECT sum(COST) AS longueur FROM phase_3_troncons_pgr WHERE secteur_id = """ + secteur + """ GROUP BY secteur_id ;""" db_redadeg_cursor.execute(sql_longueur_secteur) longueur_secteur = db_redadeg_cursor.fetchone()[0] longueur_km_secteur = longueur_secteur / 1000 # on maj les infos dans la table secteurs sql_update_nodes_infos = "UPDATE secteur SET " sql_update_nodes_infos += "node_start = " + str(node_start_id) + ", node_stop = " + str(node_end_id) + ", " sql_update_nodes_infos += "longueur = " + str(longueur_secteur) + ", longueur_km = " + str(longueur_km_secteur) + " " sql_update_nodes_infos += "WHERE id = " + secteur + " ;" db_redadeg_cursor.execute(sql_update_nodes_infos) print(" fait : "+str(node_start_id)+" -> "+str(node_end_id)) print("") print("") except Exception as err: print(" ERREUR : " + str(err)) closeConnRedadegDB() sys.exit() # ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ db_redadeg_cursor.close() closeConnRedadegDB() # pour connaître le temps d'exécution print("") print("+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++") print("F I N") print("") stopTime = time.perf_counter() # version simple en secondes #print(f"Exécuté en {stopTime - startTime:0.4f} secondes") # version en h min s hours, rem = divmod(stopTime - startTime, 3600) minutes, seconds = divmod(rem, 60) print("Exécuté en {:0>2}:{:0>2}:{:05.2f}".format(int(hours),int(minutes),seconds))