02_TIDE.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "c7c62426",
   "metadata": {},
   "source": [
    "# Conférences Python Master TIDE #2\n",
    "\n",
    "## A) US baby names\n",
    "\n",
    "Télécharger le dataset national des prénoms US :\n",
    "- Site : https://www.ssa.gov/oact/babynames/limits.html\n",
    "- Fichier : https://www.ssa.gov/oact/babynames/names.zip\n",
    "\n",
    "**Data Preparation**\n",
    "- Avec une boucle et en utilisant la fonction `concat()` de **pandas** constituer un DataFrame avec l'ensemble des fichiers en ajoutant une colonne avec l'année.\n",
    "- Ordre et noms des colonnes du DataFrame créé : \"year\", \"name\", \"gender\", \"births\"\n",
    "\n",
    "**Data Analysis**\n",
    "- Quel est le top 16 de la fréquence des prénoms dans le fichier ? Expliquer.\n",
    "- Calculer la fréquence des genres dans le fichier. Expliquer.\n",
    "- Ecrire une fonction qui affiche l'évolution des naissances d'un prénom et d'un genre dans le temps.\n",
    "- Calculer l'évolution du nombre de naissances par année et par genre et afficher un graphique.\n",
    "- Calculer l'évolution de la diversité des prénoms par année et par genre et afficher un graphique.\n",
    "\n",
    "**Data Viz**\n",
    "- Quels sont les 10 prénoms qui ont été les plus donnés.\n",
    "- Produire un graphique de type `stripplot` avec en x les naissances, en y les 10 prénoms les plus donnés et une couleur différente par nuages de points.\n",
    "\n",
    "## B) Prénoms français\n",
    "\n",
    "Télécharger le dataset Fichiers France hors Mayotte de l'INSEE :\n",
    "- https://www.insee.fr/fr/statistiques/8205621\n",
    "- https://www.insee.fr/fr/statistiques/fichier/8205621/prenoms-2023-nat_csv.zip\n",
    "\n",
    "L'idée est de charger les données et ensuite de les conformer au DataFrame des prénoms US. Ainsi, toute manipulation sur le DataFrame des prénoms US pourra être directement réutilisée avec le DataFrame des prénoms français.\n",
    "\n",
    "**Data Preparation**\n",
    "- Charger les données dans un DataFrame.\n",
    "- Utiliser les mêmes noms de colonnes que pour le DataFrame US.\n",
    "- Eliminer les données inutilisables et les prénoms d'une seule lettre.\n",
    "- Passer les prénoms en minuscules sauf les initiales qui doivent rester en majuscules. Attention aux prénoms composés.\n",
    "- Utiliser les mêmes catégories pour le genre.\n",
    "- Passer les nombres de naissances en entiers.\n",
    "- Trier le DataFrame à l'identique : années croissantes, genres croissants, naissances décroissantes, prénoms croissants.\n",
    "- Remettre un index allant de 0 à N-1.\n",
    "\n",
    "**Data Analysis**\n",
    "- Ecrire une fonction qui affiche l'évolution des naissances d'un prénom dans le temps.\n",
    "- Calculer l'évolution du nombre de naissances par année et par genre et afficher un graphique.\n",
    "- Calculer l'évolution de la diversité des prénoms par année et par genre et afficher un graphique.\n",
    "\n",
    "## C) Villes du monde et pays\n",
    "\n",
    "Télécharger le dataset avec les villes du monde de plus de 500 habitants :\n",
    "- http://www.geonames.org/\n",
    "- http://download.geonames.org/export/dump/cities500.zip\n",
    "\n",
    "\n",
    "**Data Preparation**\n",
    "- Dans un premier temps, charger les données dans un DataFrame avec comme noms de colonnes <code>['geonameid', 'name', 'asciiname', 'alternatenames', 'latitude', 'longitude', 'feature class', 'feature code', 'country code', 'cc2', 'admin1 code', 'admin2 code', 'admin3 code', 'admin4 code', 'population', 'elevation', 'dem', 'timezone', 'modification date']</code>\n",
    "- On obtient un warning sur des types mixtes : parmi les colonnes qui sont des chaînes de caractères, quelles sont celles qui comportent également des nombres ? (appliquer la méthode de chaîne `isdigit()` sur les colonnes de type `object`).\n",
    "- Compter le nombre de valeurs manquantes dans chaque colonne : quelle colonnes ne devraient pas avoir de valeurs manquantes ?\n",
    "- Appliquer `describe()` sur le DataFrame complet, quelle valeur semble être également une valeur manquante ?\n",
    "- Recharger les données en passant en `str` les colonnes mixtes et en précisant les valeurs manquantes.\n",
    "\n",
    "**Split-apply-combine strategy**\n",
    "- Ecrire une fonction qui trouve le nombre de `alternatenames` de chaque ville.\n",
    "```python\n",
    "def average_alternate_names(group):\n",
    "    pass\n",
    "```\n",
    "- Calculer la moyenne du nombre de `alternatenames` par `feature code`.\n",
    "\n",
    "**Jointure**\n",
    "\n",
    "- Charger le tableau de la page https://www.geonames.org/countries/ avec la fonction **pandas** <code>read_html</code> en prenant garde aux valeurs manquantes par défaut.\n",
    "- Joindre le DataFrame des villes avec celui des pays.\n",
    "- Ecrire une fonction qui retourne le nom de la ville la plus peuplée et la tester sur le DataFrame obtenu.\n",
    "- Appliquer la fonction en groupant par continent.\n",
    "\n",
    "&copy; Francis Wolinski 2024"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.9"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}