aboutsummaryrefslogtreecommitdiff
path: root/management/commands/timetables.py
diff options
context:
space:
mode:
authorAlban Gruin2018-09-06 21:46:51 +0200
committerAlban Gruin2018-09-06 21:46:51 +0200
commit676345434415d40363c80960484abf0295ca800a (patch)
tree76c0f71fd86f19962812a63da109bf79ebd2d43c /management/commands/timetables.py
parent6b8ea6615de6000ea14396fc2d31eb5c6cb159f9 (diff)
parentb4fde18263de491650c71bd31dffe3c324e97879 (diff)
Merge branch 'stable/0.14.z' into prod/pa1ch/0.y.zv0.14.0-pa1chprod/pa1ch/0.y.z
Diffstat (limited to 'management/commands/timetables.py')
-rw-r--r--management/commands/timetables.py79
1 files changed, 48 insertions, 31 deletions
diff --git a/management/commands/timetables.py b/management/commands/timetables.py
index f92ad4e..ee33f7e 100644
--- a/management/commands/timetables.py
+++ b/management/commands/timetables.py
@@ -13,9 +13,12 @@
# You should have received a copy of the GNU Affero General Public License
# along with celcatsanitizer. If not, see <http://www.gnu.org/licenses/>.
+from importlib import import_module
+
import datetime
import traceback
+from django.conf import settings
from django.core.management.base import BaseCommand
from django.db import transaction
from django.db.models import Min
@@ -23,13 +26,17 @@ from django.db.models import Min
from ...models import Course, Source
from ...utils import get_week, tz_now
-from ._private import delete_courses_in_week, get_events, get_update_date, \
- get_weeks, get_xml
+DEFAULT_PARSER = "edt.management.parsers.ups2017"
+
+
+def delete_courses_in_week(source, year, week, today):
+ start, end = get_week(year, week)
+ Course.objects.filter(begin__gte=max(start, today), begin__lt=end,
+ source=source).delete()
@transaction.atomic
-def process_timetable_week(source, soup, weeks_in_soup, force,
- year=None, week=None):
+def process_timetable_week(source, force, parser, year=None, week=None):
if year is not None and week is not None:
begin, end = get_week(year, week)
@@ -63,7 +70,7 @@ def process_timetable_week(source, soup, weeks_in_soup, force,
Min("last_update"))["last_update__min"]
# Date de mise à jour de Celcat, utilisée à des fins de statistiques
- new_update_date = get_update_date(soup)
+ new_update_date = parser.get_update_date()
# On ne fait pas la mise à jour si jamais la dernière date de MàJ
# est plus récente que celle indiquée par Celcat. Attention, le
@@ -74,41 +81,45 @@ def process_timetable_week(source, soup, weeks_in_soup, force,
new_update_date is not None and last_update_date >= new_update_date:
return
- if year is not None and week is not None:
- # On efface la semaine à partir de maintenant si jamais
- # on demande le traitement d’une seule semaine
- delete_courses_in_week(source, year, week, today)
- else:
- # Sinon, on efface tous les cours à partir de maintenant.
- # Précisément, on prend la plus grande valeur entre la première semaine
- # présente dans Celcat et maintenant.
- delete_from = min(weeks_in_soup.values())
- if not force:
- # Si jamais on force la MàJ, on efface tout à partir de la
- # première semaine
- delete_from = max(delete_from, today)
- Course.objects.filter(source=source, begin__gte=delete_from).delete()
-
- # Tous les cours commençant sur la période traitée
- # sont parsés, puis enregistrés dans la base de données.
- for course in get_events(source, soup, weeks_in_soup, today, year, week):
- course.save()
+ # Pas de traitement si il n’y a pas de semaine dans l’emploi du temps
+ if len(parser.weeks.values()):
+ if year is not None and week is not None:
+ # On efface la semaine à partir de maintenant si jamais
+ # on demande le traitement d’une seule semaine
+ delete_courses_in_week(source, year, week, today)
+ else:
+ # Sinon, on efface tous les cours à partir de maintenant.
+ # Précisément, on prend la plus grande valeur entre la
+ # première semaine présente dans Celcat et maintenant.
+ delete_from = min(parser.weeks.values())
+ if not force:
+ # Si jamais on force la MàJ, on efface tout à partir de la
+ # première semaine
+ delete_from = max(delete_from, today)
+
+ Course.objects.filter(
+ source=source, begin__gte=delete_from).delete()
+
+ # Tous les cours commençant sur la période traitée
+ # sont parsés, puis enregistrés dans la base de données.
+ for course in parser.get_events(today, year, week):
+ course.save()
# On renseigne la date de mise à jour de Celcat, à des fins de statistiques
source.last_update_date = new_update_date
source.save()
-def process_timetable(source, force, year=None, weeks=None):
- soup = get_xml(source.url)
- weeks_in_soup = get_weeks(soup)
+def process_timetable(source, force, parser_cls, year=None, weeks=None):
+ parser = parser_cls(source)
+ parser.get_source()
+ parser.get_weeks()
if year is not None and weeks is not None:
for week in weeks:
- process_timetable_week(source, soup, weeks_in_soup, force,
- year, week)
+ process_timetable_week(source, force, parser, year, week)
else:
- process_timetable_week(source, soup, weeks_in_soup, force)
+ process_timetable_week(source, force, parser)
class Command(BaseCommand):
@@ -123,9 +134,14 @@ class Command(BaseCommand):
nargs="+")
parser.add_argument("--year", type=int, nargs=1)
+ def __get_parser(self):
+ parser_module = getattr(settings, "CS_PARSER", DEFAULT_PARSER)
+ return getattr(import_module(parser_module), "Parser")
+
def handle(self, *args, **options):
year = None
errcount = 0
+ parser = self.__get_parser()
if options["all"]:
weeks = None
@@ -149,7 +165,8 @@ class Command(BaseCommand):
source.formatted_timetables))
try:
- process_timetable(source, options["force"], year, weeks)
+ process_timetable(source, options["force"], parser,
+ year, weeks)
except KeyboardInterrupt:
break
except Exception: