| Age | Commit message (Collapse) | Author |
|---|
|
Il arrive que les pages retournées par la source sont incomplètes et
ne contiennent pas d’événement, et parfois des mois entiers sont
vides.
On tente donc de récupérer une page trois fois au maximum, et, si cela
échoue toujours, on abandonne en renvoyant une exception.
Signed-off-by: Alban Gruin <alban@pa1ch.fr>
|
|
Signed-off-by: Alban Gruin <alban@pa1ch.fr>
|
|
Pour l’instant, on ne souhaite pas enregistrer les événement globaux.
On vérifie donc si l’événement est global, et, si c’est le cas, on ne
traite pas l’événement. Or, on insérait un cours dans la base de
données avant de faire ce test. Un cours avec aucun attribut était
donc laissé dans la base de données.
Ce commit déplace donc la création du cours après avoir vérifié si un
événement est global.
Signed-off-by: Alban Gruin <alban@pa1ch.fr>
|
|
La plupart des cours contiennent un élément correspondant à l’heure de
début et de fin du cours. Lorsqu’un cours ne possède pas de nom, il
se peut que cet élément soit utilisé comme type, ce qui n’a pas de
sens. On va donc détecter la présence de cet élément à la première
place à l’aide d’une regex, et, si jamais il est présent, on n’utilise
pas le premier élément de la liste.
À l’origine, cet élément ne devait pas être utilisé pour cette raison,
mais ce comportement a été changé avec le commit ab6ca3c ("parsers:
correction de l’index du premier élément à analyser"), après la
détection de cours n’ayant pas cet élément.
Signed-off-by: Alban Gruin <alban@pa1ch.fr>
|
|
set() ne conserve pas nécessairement l’ordre des données, ce qui a
plusieurs conséquences. Premièrement, un cours avec plusieurs noms
séparés par un point-virgule peut changer de nom dans celcatsanitizer
d’une mise à jour à une autre. Deuxièmement, cette fonctionnalité
devient intestable de manière certaine.
Pour remédier à cela, on utilise la structure OrderedDict à la place.
Signed-off-by: Alban Gruin <alban@pa1ch.fr>
|
|
Commencer au premier élément fait planter l’étape de déduction des
éléments des cours si jamais un cours n’a ni nom, ni type.
Signed-off-by: Alban Gruin <alban@pa1ch.fr>
|
|
Signed-off-by: Alban Gruin <alban@pa1ch.fr>
|
|
Signed-off-by: Alban Gruin <alban@pa1ch.fr>
|
|
Signed-off-by: Alban Gruin <alban@pa1ch.fr>
|
|
Signed-off-by: Alban Gruin <alban@pa1ch.fr>
|
