Skip to content

Conversation

@lsorba
Copy link
Collaborator

@lsorba lsorba commented Sep 14, 2025

Closes #37

Première version : prend un à trois geoJSON provenant de différentes sources, utilise le centroïde ou le médioïde pour afficher une carte avec les différences entre les arrêts.

A terme utiliser geoParquet lorsque les données seront disponibles.

@lsorba lsorba self-assigned this Sep 14, 2025
…th clustering and mapping features. Updated process.mermaid.
…t data, add agency handling, and expand cluster details.
@lsorba lsorba force-pushed the feat-37-visualise-diff-stops branch from 355de09 to c7ead6b Compare September 25, 2025 09:54
@lsorba
Copy link
Collaborator Author

lsorba commented Oct 9, 2025

@NicolasGrosjean la version de pydantic n'est pas gelé, il est passé à la version 2.12 ce qui fait que les tests OSM ne passent plus car le message d'erreur testé contient la version For further information visit https://errors.pydantic.dev/2.11/v/int_parsing

@lsorba
Copy link
Collaborator Author

lsorba commented Oct 9, 2025

@NicolasGrosjean la version de pydantic n'est pas gelé, il est passé à la version 2.12 ce qui fait que les tests OSM ne passent plus car le message d'erreur testé contient la version For further information visit https://errors.pydantic.dev/2.11/v/int_parsing

J'ai fait une adaptation, je te laisse regarder.

@lsorba lsorba marked this pull request as ready for review October 9, 2025 09:13
@lsorba lsorba requested review from NicolasGrosjean and RiwsPy and removed request for NicolasGrosjean and RiwsPy October 9, 2025 09:14
@lsorba lsorba marked this pull request as draft October 9, 2025 09:30
@NicolasGrosjean
Copy link
Collaborator

@NicolasGrosjean la version de pydantic n'est pas gelé, il est passé à la version 2.12 ce qui fait que les tests OSM ne passent plus car le message d'erreur testé contient la version For further information visit https://errors.pydantic.dev/2.11/v/int_parsing

J'ai fait une adaptation, je te laisse regarder.

Effectivement en copiant le message complet je n'avais pas vu que ça contenait la version, merci beaucoup pour le correctif.

pyproject.toml Outdated
"pandas-stubs==2.3.0.250703",
"pyarrow>=20.0.0",
"pydantic>=2.11.9,<3.0.0",
"scikit-learn>=1.7.2",
Copy link
Collaborator

@NicolasGrosjean NicolasGrosjean Oct 9, 2025

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Pour chaque package en version N.X.X, ça peut être intéressant d'ajouter un <N+1.0.0 afin d'éviter de se automatiquement mettre à jour sur une nouvelle version majeure qui pourra casser le code.

"metadata": {},
"source": [
"# Set the input GeoJSONs (can be 1 to 3 sources), can be also geoParquet files\n",
"a_path = Path(\"../data/transportdatagouv/stops_38.parquet\")\n",
Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Le nom du fichier a changé on dirait.

" ]\n",
"]\n",
"\n",
"m = plot_clusters_interactive(out_nb, title=\"Stops diff clusters (coloured by presence)\")\n",
Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Je serai d'avis de mettre le plot dans une autre cellule pour découpler la construction du dataset et de la visualisation (notamment pour ne pouvoir relancer que le traitement dont on a besoin en cas de changements)

Copy link
Collaborator

@NicolasGrosjean NicolasGrosjean left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

J'ai fini par exécuter le notebook et ai vu sur la carte avec des outliers bien loin de la France ...

Par contre ma machine s'est mise à swapper car l'exécution du notebook m'a pris plus de 7.5Go !

Est-ce que c'est possible de filtrer géographiquement les données avant d'afficher la carte ?

@lsorba
Copy link
Collaborator Author

lsorba commented Oct 10, 2025

J'ai fini par exécuter le notebook et ai vu sur la carte avec des outliers bien loin de la France ...

Par contre ma machine s'est mise à swapper car l'exécution du notebook m'a pris plus de 7.5Go !

Est-ce que c'est possible de filtrer géographiquement les données avant d'afficher la carte ?

Tu as du prendre le parquet 'all' essaie stops_38.parquet. Dans mon autre PR, j'ai normalisé les noms des fichiers.

image

J'en profite pour dire que bus_stops_isere.parquet n'a pas de CRS défini, je dois le forcer

    if not gdf.crs:
        # OSM data has no CRS defined, so we assume it's WGS84
        gdf.set_crs(EPSG_WGS84, inplace=True)

Le PR est en draft, j'attends de finir #85 pour le mettre en fusionnable, mais merci pour la revue :)

@NicolasGrosjean
Copy link
Collaborator

Tu as du prendre le parquet 'all' essaie stops_38.parquet. Dans mon autre PR, j'ai normalisé les noms des fichiers.

Effectivement j'ai pris 2025-09-08_stops_all.parquet une fois que j'ai fini de mettre en place git-lfs pour le récupérer.

J'en profite pour dire que bus_stops_isere.parquet n'a pas de CRS défini, je dois le forcer

Merci , je vais appliquer ce code dans le pipeline

Le PR est en draft, j'attends de finir #85 pour le mettre en fusionnable, mais merci pour la revue :)

Désolé j'ai fait la review suite à l'email de demande de review, je n'avais pas fait attention que tu avais enlevé la demande 😊

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

Visibiliser les arrêts de l'Isère de toutes les sources

2 participants