From 295f8cbd261cf588f1f5f8eb2b0d82b1ae9c1fe0 Mon Sep 17 00:00:00 2001 From: Alban Gruin Date: Thu, 5 Oct 2017 09:35:14 +0200 Subject: On ne supprime pas les cours qui commencent avant le début du traitement --- management/commands/timetables.py | 9 +++++---- 1 file changed, 5 insertions(+), 4 deletions(-) (limited to 'management/commands/timetables.py') diff --git a/management/commands/timetables.py b/management/commands/timetables.py index 76f0a7c..8b37a5d 100644 --- a/management/commands/timetables.py +++ b/management/commands/timetables.py @@ -27,6 +27,7 @@ from ._private import delete_courses_in_week, get_events, get_update_date, get_w @transaction.atomic def process_timetable_week(timetable, soup, weeks_in_soup, force, year=None, week=None): criteria = {} + today = timezone.make_aware(datetime.now()) if year is not None and week is not None: begin, end = get_week(year, week) criteria["begin__gte"] = begin @@ -42,12 +43,12 @@ def process_timetable_week(timetable, soup, weeks_in_soup, force, year=None, wee return if year is not None and week is not None: - delete_courses_in_week(timetable, year, week) + delete_courses_in_week(timetable, year, week, today) else: - Course.objects.filter(timetable=timetable, - begin__gte=min(weeks_in_soup.values())).delete() + delete_from = max(min(weeks_in_soup.values()), today) + Course.objects.filter(timetable=timetable, begin__gte=delete_from).delete() - for course in get_events(timetable, soup, weeks_in_soup, year, week): + for course in get_events(timetable, soup, weeks_in_soup, today, year, week): course.save() timetable.last_update_date = new_update_date -- cgit v1.2.1 From ccfedd0bbb8f9e5229b4007157fb0c2aa8484668 Mon Sep 17 00:00:00 2001 From: Alban Gruin Date: Thu, 5 Oct 2017 12:45:01 +0200 Subject: Mauvais module --- management/commands/timetables.py | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) (limited to 'management/commands/timetables.py') diff --git a/management/commands/timetables.py b/management/commands/timetables.py index 8b37a5d..8ba8768 100644 --- a/management/commands/timetables.py +++ b/management/commands/timetables.py @@ -27,7 +27,7 @@ from ._private import delete_courses_in_week, get_events, get_update_date, get_w @transaction.atomic def process_timetable_week(timetable, soup, weeks_in_soup, force, year=None, week=None): criteria = {} - today = timezone.make_aware(datetime.now()) + today = timezone.make_aware(datetime.datetime.now()) if year is not None and week is not None: begin, end = get_week(year, week) criteria["begin__gte"] = begin -- cgit v1.2.1 From 76e344f68c1616693e93791f55348272cc61267e Mon Sep 17 00:00:00 2001 From: Alban Gruin Date: Thu, 5 Oct 2017 22:02:05 +0200 Subject: Simplification du filtrage de process_timetable_week() (pourquoi réinventer la roue carrée ?…) Ajout de commentaires --- management/commands/timetables.py | 34 ++++++++++++++++++++++++++-------- 1 file changed, 26 insertions(+), 8 deletions(-) (limited to 'management/commands/timetables.py') diff --git a/management/commands/timetables.py b/management/commands/timetables.py index 8ba8768..8945950 100644 --- a/management/commands/timetables.py +++ b/management/commands/timetables.py @@ -26,31 +26,49 @@ from ._private import delete_courses_in_week, get_events, get_update_date, get_w @transaction.atomic def process_timetable_week(timetable, soup, weeks_in_soup, force, year=None, week=None): - criteria = {} today = timezone.make_aware(datetime.datetime.now()) + + # On récupère la mise à jour la plus ancienne dans les cours de l’emploi du temps + # commençant à partir de maintenant + last_update_date = Course.objects.filter(timetable=timetable, begin__gte=today) if year is not None and week is not None: - begin, end = get_week(year, week) - criteria["begin__gte"] = begin - criteria["begin__lt"] = end + # Si jamais on traite une semaine spécifique, on limite les cours sélectionnés + # à ceux qui commencent entre le début du traitement et la fin de la semaine + _, end = get_week(year, week) + last_update_date = last_update_date.filter(begin__lt=end) + + last_update_date = last_update_date.aggregate(Min("last_update")) \ + ["last_update__min"] - last_update_date = Course.objects.filter(timetable=timetable, **criteria) \ - .aggregate(Min("last_update")) \ - ["last_update__min"] + # Date de mise à jour de Celcat, utilisée à des fins de statistiques new_update_date = get_update_date(soup) + # On ne fait pas la mise à jour si jamais la dernière date de MàJ est plus récente + # que celle indiquée par Celcat. + # Attention, le champ last_update de la classe Course représente l’heure à laquelle + # le cours a été inséré dans la base de données, et non pas la date indiquée par + # Celcat. if not force and last_update_date is not None and new_update_date is not None and \ last_update_date >= new_update_date: return if year is not None and week is not None: + # On efface la semaine à partir de maintenant si jamais + # on demande le traitement d’une seule semaine delete_courses_in_week(timetable, year, week, today) else: - delete_from = max(min(weeks_in_soup.values()), today) + # Sinon, on efface tous les cours à partir de maintenant. + # Précisément, on prend la plus grande valeur entre la première semaine + # présente dans Celcat et maintenant. + delete_from = max(min(weeks_in_soup.values()), today) # Vraiment utile ? Course.objects.filter(timetable=timetable, begin__gte=delete_from).delete() + # Tous les cours commençant sur la période traitée + # sont parsés, puis enregistrés dans la base de données. for course in get_events(timetable, soup, weeks_in_soup, today, year, week): course.save() + # On renseigne la date de mise à jour de Celcat, à des fins de statistiques timetable.last_update_date = new_update_date timetable.save() -- cgit v1.2.1 From 7f0dac074465ef838788202b80988005c35c0833 Mon Sep 17 00:00:00 2001 From: Alban Gruin Date: Fri, 6 Oct 2017 18:52:52 +0200 Subject: Si on force une mise à jour, on efface les cours autant qu’on peut au lieu de le faire à partir du lancement du traitement --- management/commands/timetables.py | 14 +++++++++++--- 1 file changed, 11 insertions(+), 3 deletions(-) (limited to 'management/commands/timetables.py') diff --git a/management/commands/timetables.py b/management/commands/timetables.py index 8945950..a152f9e 100644 --- a/management/commands/timetables.py +++ b/management/commands/timetables.py @@ -26,7 +26,13 @@ from ._private import delete_courses_in_week, get_events, get_update_date, get_w @transaction.atomic def process_timetable_week(timetable, soup, weeks_in_soup, force, year=None, week=None): - today = timezone.make_aware(datetime.datetime.now()) + begin, end = get_week(year, week) + # Si on force la mise à jour, on définit de moment + # de la mise à jour au début de la semaine + if force: + today = begin + else: + today = timezone.make_aware(datetime.datetime.now()) # On récupère la mise à jour la plus ancienne dans les cours de l’emploi du temps # commençant à partir de maintenant @@ -34,7 +40,6 @@ def process_timetable_week(timetable, soup, weeks_in_soup, force, year=None, wee if year is not None and week is not None: # Si jamais on traite une semaine spécifique, on limite les cours sélectionnés # à ceux qui commencent entre le début du traitement et la fin de la semaine - _, end = get_week(year, week) last_update_date = last_update_date.filter(begin__lt=end) last_update_date = last_update_date.aggregate(Min("last_update")) \ @@ -60,7 +65,10 @@ def process_timetable_week(timetable, soup, weeks_in_soup, force, year=None, wee # Sinon, on efface tous les cours à partir de maintenant. # Précisément, on prend la plus grande valeur entre la première semaine # présente dans Celcat et maintenant. - delete_from = max(min(weeks_in_soup.values()), today) # Vraiment utile ? + delete_from = min(weeks_in_soup.values()) + if not force: + # Si jamais on force la MàJ, on efface tout à partir de la première semaine + delete_from = max(delete_from, today) Course.objects.filter(timetable=timetable, begin__gte=delete_from).delete() # Tous les cours commençant sur la période traitée -- cgit v1.2.1 From 640496deb262349101567de12d2476cbfe5065b3 Mon Sep 17 00:00:00 2001 From: Alban Gruin Date: Sat, 14 Oct 2017 11:25:46 +0200 Subject: timezone.now() retourne l’heure UTC, ce qui empêche la mise à jour de la semaine prochaine le samedi à minuit. Remplacement de ces appels par une fonction qui retourne la bonne heure dans le bon fuseau horaire. --- management/commands/timetables.py | 10 +++++----- 1 file changed, 5 insertions(+), 5 deletions(-) (limited to 'management/commands/timetables.py') diff --git a/management/commands/timetables.py b/management/commands/timetables.py index a152f9e..35fb26e 100644 --- a/management/commands/timetables.py +++ b/management/commands/timetables.py @@ -21,7 +21,7 @@ from django.db.models import Min from django.utils import timezone from edt.models import Course, Timetable -from edt.utils import get_week +from edt.utils import get_week, tz_now from ._private import delete_courses_in_week, get_events, get_update_date, get_weeks, get_xml @transaction.atomic @@ -32,7 +32,7 @@ def process_timetable_week(timetable, soup, weeks_in_soup, force, year=None, wee if force: today = begin else: - today = timezone.make_aware(datetime.datetime.now()) + today = tz_now() # On récupère la mise à jour la plus ancienne dans les cours de l’emploi du temps # commençant à partir de maintenant @@ -107,16 +107,16 @@ class Command(BaseCommand): if options["all"]: weeks = None elif options["week"] is None: - _, week, day = timezone.now().isocalendar() + _, week, day = tz_now().isocalendar() if day >= 6: - year, week, _ = (timezone.now() + datetime.timedelta(weeks=1)).isocalendar() + year, week, _ = (tz_now() + datetime.timedelta(weeks=1)).isocalendar() weeks = [week] else: weeks = options["week"] if not options["all"]: if options["year"] is None and year is None: - year = timezone.now().year + year = tz_now().year elif year is None: year = options["year"][0] -- cgit v1.2.1 From 00bd85d3d19ad829566835d20cb04fecf324a6c1 Mon Sep 17 00:00:00 2001 From: Alban Gruin Date: Wed, 18 Oct 2017 13:37:36 +0200 Subject: Suppression des imports inutiles --- management/commands/timetables.py | 1 - 1 file changed, 1 deletion(-) (limited to 'management/commands/timetables.py') diff --git a/management/commands/timetables.py b/management/commands/timetables.py index 35fb26e..2d8a17e 100644 --- a/management/commands/timetables.py +++ b/management/commands/timetables.py @@ -18,7 +18,6 @@ import datetime from django.core.management.base import BaseCommand from django.db import transaction from django.db.models import Min -from django.utils import timezone from edt.models import Course, Timetable from edt.utils import get_week, tz_now -- cgit v1.2.1 From c476a83d3c92d705d0bdea8b37a9aa6f10cb50ac Mon Sep 17 00:00:00 2001 From: Alban Gruin Date: Sat, 4 Nov 2017 12:24:25 +0100 Subject: Correction d’un bug qui empêche la mise à jour complète de l’emploi du temps Lorsqu’on demande une mise à jour, la semaine et le mois à mettre à jour sont passés en paramètre de la fonction de mise à jour. Mais quand on demande la mise à jour de tout l’emploi du temps, ces deux paramètres sont à None, faisant planter la fonction qui calcul le début et la fin de la semaine. --- management/commands/timetables.py | 19 +++++++++++++++---- 1 file changed, 15 insertions(+), 4 deletions(-) (limited to 'management/commands/timetables.py') diff --git a/management/commands/timetables.py b/management/commands/timetables.py index 2d8a17e..d0bf0bd 100644 --- a/management/commands/timetables.py +++ b/management/commands/timetables.py @@ -25,17 +25,28 @@ from ._private import delete_courses_in_week, get_events, get_update_date, get_w @transaction.atomic def process_timetable_week(timetable, soup, weeks_in_soup, force, year=None, week=None): - begin, end = get_week(year, week) + if year is not None and week is not None: + begin, end = get_week(year, week) + # Si on force la mise à jour, on définit de moment # de la mise à jour au début de la semaine - if force: + if force and year is not None and week is not None: today = begin + elif force: + # Si la mise à jour est faite sur tout l’emploi du temps, + # alors la date de début est indéfinie. + today = None else: today = tz_now() # On récupère la mise à jour la plus ancienne dans les cours de l’emploi du temps - # commençant à partir de maintenant - last_update_date = Course.objects.filter(timetable=timetable, begin__gte=today) + last_update_date = Course.objects.filter(timetable=timetable) + + if today is not None: + # Cette date concerne les éléments commençant à partir d’aujourd’hui si la valeur + # n’est pas nulle. + last_update_date = last_update_date.filter(begin__gte=today) + if year is not None and week is not None: # Si jamais on traite une semaine spécifique, on limite les cours sélectionnés # à ceux qui commencent entre le début du traitement et la fin de la semaine -- cgit v1.2.1 From 37a95855076035470e7484804ed48b779ed22277 Mon Sep 17 00:00:00 2001 From: Alban Gruin Date: Sat, 4 Nov 2017 12:32:26 +0100 Subject: Affichage de la pile d’exécution lors d’une erreur de màj d’emploi du temps --- management/commands/timetables.py | 7 +++++-- 1 file changed, 5 insertions(+), 2 deletions(-) (limited to 'management/commands/timetables.py') diff --git a/management/commands/timetables.py b/management/commands/timetables.py index d0bf0bd..b254788 100644 --- a/management/commands/timetables.py +++ b/management/commands/timetables.py @@ -14,6 +14,7 @@ # along with celcatsanitizer. If not, see . import datetime +import traceback from django.core.management.base import BaseCommand from django.db import transaction @@ -135,9 +136,11 @@ class Command(BaseCommand): try: process_timetable(timetable, options["force"], year, weeks) - except Exception as exc: + except Exception: self.stderr.write( - self.style.ERROR("Failed to process {0}: {1}".format(timetable, exc))) + self.style.ERROR("Failed to process {0}:".format(timetable)) + ) + self.stderr.write(self.style.ERROR(traceback.format_exc())) errcount += 1 if errcount == 0: -- cgit v1.2.1 From 9447e0865c9d8a374ff6feb1bcf501c5eb73faf2 Mon Sep 17 00:00:00 2001 From: Alban Gruin Date: Tue, 7 Nov 2017 17:40:44 +0100 Subject: La commande `timetables` n’affiche pas de trace d’erreur lorsqu’on l’arrête avec un Ctrl-C. --- management/commands/timetables.py | 2 ++ 1 file changed, 2 insertions(+) (limited to 'management/commands/timetables.py') diff --git a/management/commands/timetables.py b/management/commands/timetables.py index b254788..ff00c8f 100644 --- a/management/commands/timetables.py +++ b/management/commands/timetables.py @@ -136,6 +136,8 @@ class Command(BaseCommand): try: process_timetable(timetable, options["force"], year, weeks) + except KeyboardInterrupt: + break except Exception: self.stderr.write( self.style.ERROR("Failed to process {0}:".format(timetable)) -- cgit v1.2.1