Pull en laine

@Philippe Huysmans, Complotologue
Soit 162.003 lignes à la seconde
Prends-nous encore pour des cons, on adoooore ça...

Log de l’import des données 2020 sur ma babasse :

Query OK, 679924 rows affected (3.67 sec)
Records : 679924 Deleted : 0 Skipped : 0 Warnings : 0

679924/3,67= ?

OK, on n’est pas à 25M de lignes, mais en enchaînant les années ça doit le faire.

Lorsque vous vous adressez à Pemile, vous perdez en objectivité.

@Pemile

(version lisible sans le copié/collé qui a dérapé)

Linux ou Windows ?

Windows. Je ne suis pas seul à utiliser la bête... mais dieu que l’auto-complétion du shell mysql me manque !

Pas sûr que la durée d’import soit linéaire avec la taille de la base qui s’accroît. J’essaierai un de ces jours.

Un peu comme le confinement : soit on confine à la chinoise, soit on fait comme en France, on essaie de soupeser, de contenter les uns, puis les autres, puis on fait des listes en s’enfermant dans des délires qu’on a montés soi-même ; on assouplit l’extrême en supposant que ça fonctionnera certes moins bien, mais que ça fonctionnera quand même un peu. Pour autant, pas sûr que les effets du confinement soient linéaires, eux aussi (linéarité = biais cognitif courant). Quant à appeler confinement strict l’ensemble des contraintes qu’on a connues en France et bramer à la dictature...

Il faudrait que je retrouve le témoignage issu d’un intervenant sur linuxfr dont la belle-famille est chinoise. C’était assez décalé, à lire : si tu es pris à sortir, c’est pas 135€ d’amende, mais la maison murée avec toi à l’intérieur pendant toute la durée du confinement. Tu as oublié les croquettes pour le chien ou le PQ ? Rien à battre... fallait t’organiser. L’hôtel de quarantaine promis à ceux qui arrivent en touriste ? Ben ce sont les touristes eux-mêmes qui le paient, pas de raison. Cela ne convient pas ? Tu peux repartir. Et je vous laisse imaginer comment se serait terminée une manifestation contre le port du masque à Wuhan... Voilà le ton qui s’en dégageait, avec le côté dubitatif des beaux-parents chinois se demandant, alors qu’au début de l’épidémie ça tergiversait pas mal en occident pour savoir si on allait fermer les stades, puis les écoles etc., se demandant donc si en Europe on n’était pas un peu profondément demeurés et que finalement, une vraie bonne dictature ça n’était diablement plus efficace. (Je brosse vite fait, mais c’était l’idée).

Ceci histoire de remettre deux sous dans le bastringue. Je repars...

@pemile
Linux ou WIndows ?

Windows. Je ne suis pas seul à utiliser la bête... mais dieu que l’auto-complétion du shell mysql me manque !

Pas sûr que la durée d’import soit linéaire avec la taille de la base qui s’accroît. J’essaierai un de ces jours.

Un peu comme le confinement : soit on confine à la chinoise, soit on fait comme en France, on essaie de soupeser, de contenter les uns, puis les autres, puis on fait des listes en s’enfermant des délires qu’on a monté soi-même ; on assouplit l’extrême en supposant que ça fonctionnera certes moins bien, mais que ça fonctionnera quand même un peu. Pour autant, pas sûr que les effets du confinement soient linéaires, eux aussi (linéarité = biais cogTu a oublié les croquettes pour le chat ? Rien à battre...

nitif courant). Quant à appeler confinement strict l’ensemble des contraintes qu’on a connues en France et bramer à la dictature...

Il faudrait que je retrouve le témoignage issu d’un intervenant sur linuxfr dont la belle-famille est chinoise. C’était assez décalé, à lire : si tu es pris à sortir, c’est pas 135€ d’amende, mais la maison murée avec toi à l’intérieur pendant toute la durée du confinement. Tu as oublié les croquettes pour le chien ou le PQ ? Rien à battre... fallait t’organiser. L’hôtel de quarantaine promis à ceux qui arrivent en touriste ? Ben ce sont les touristes eux-mêmes qui le paient, pas de raison. Cela ne convient pas ? Tu peux repartir. Et je vous laisse imaginer comment se serait terminée une manifestation contre le port du masque à Wuhan... Voilà le ton qui s’en dégageait, avec le côté dubitatif des beaux-parents chinois se demandant, alors qu’au début de l’épidémie ça tergiversait pas mal en occident pour savoir si on allait fermer les stades, puis les écoles etc., se demandant donc si en Europe on n’était pas un peu profondément demeurés et que finalement, une vraie bonne dictature ça n’était diablement plus efficace. (Je brosse vite fait, mais c’était l’idée).

Ceci histoire de remettre deux sous dans le bastringue. Je repars...

@pemile
Ce que j’aimerai bien savoir c’est pourquoi l’import chez lui prend 2 heures alors qu’avec PostreSQL cela ne prend que 3 minutes et avec MySQL 9 minutes sur mon vieux portable !

Mes propres benchmarks (à la louche) : moins de 10s pour importer les données 2020 (load data local infile est assez efficace). Idem pour 2019.

J’ai eu la flemme de chercher comment scripter l’import de l’ensemble des données parce que pour découvrir le domaine, 2019/2020 suffisait comme échantillon de test. Mais 2h pour les 50 ans de données, je trouve aussi ça un peu long.

L’historique... je le connais : je lis vos aventures (et vos prises de bec) de loin en loin depuis plus d’un an. Le personnage Huysmans semble en mission... je ne suis pas vraiment en accord avec ses ses conclusions, apprécie moyennement le ton qu’il prend volontiers. Mais il a été honnête, dans son article. Et franchement, je ne pensais pas que quelqu’un arriverait à rendre intéressant les livres des morts...

@pemile

Non, ce que je peux comprendre c’est que l’article de Huysmans vous a roulé dans la farine ?

Oui. J’ai découvert aujourd’hui (merci mysql) que la base de rechange made in Belgium n’est pas encore tout à fait au point...

Contrairement à vous, je pense que Huysmans est sincère, dans son trip.