Mais avant d\u2019arriver \u00e0 la mise \u00e0 disposition de cette premi\u00e8re version LTS, la 2.7, nous avons d\u00fb repenser un certain nombre de choses dans notre organisation interne. Ce projet a fait faire un pas en avant aux \u00e9quipes de Combodo, et nous allons voir dans cet article comment nous nous sommes organis\u00e9s pour relever le d\u00e9fi.<\/p>\n
Un projet de d\u00e9veloppement ambitieux<\/h2>\n
Comment r\u00e9aliser la premi\u00e8re version LTS de l\u2019histoire de Combodo ? Voil\u00e0 un projet bien ambitieux, et comme nous l\u2019expliquions dans le\u00a0pr\u00e9c\u00e9dent volet<\/a>, soumis \u00e0 des contraintes contradictoires\u2026<\/p>\n Ce projet s\u2019est \u00e9tal\u00e9 sur un peu plus d\u2019un an, mobilisant plusieurs \u00e9quipes au sein de Combodo. Quelques chiffres r\u00e9sument bien cette ann\u00e9e de d\u00e9veloppement :<\/p>\n Face \u00e0 nos ambitions, nous avons revu notre mani\u00e8re de travailler au fur et \u00e0 mesure que le projet avan\u00e7ait.<\/p>\n Les r\u00e9trospectives effectu\u00e9es sur les pr\u00e9c\u00e9dentes version d\u2019iTop nous ont montr\u00e9 l\u2019augmentation des demandes au cours du\u00a0 temps. Vu la dimension du projet, nous avons d\u00e9cid\u00e9 de mettre en place un suivi hebdomadaire du backlog : cela nous a permis d\u2019identifier rapidement les d\u00e9rapages et d\u2019agir en cons\u00e9quence pour limiter les retards.<\/p>\n Comme le monde entier au d\u00e9but de l\u2019ann\u00e9e 2020, nous avons subi l\u2019\u00e9pid\u00e9mie de COVID-19 et du jour au lendemain, toute notre organisation a due \u00eatre chang\u00e9e. Nous aimons faire de la programmation en paire et les revues de code, et nous avons d\u00e9couvert les avantages et inconv\u00e9nients du t\u00e9l\u00e9travail :<\/p>\n \ud83e\udd14 Ce changement de fonctionnement subi par les \u00e9quipes, ajout\u00e9 au retard par rapport au planning initial a n\u00e9cessit\u00e9 de la souplesse, afin de trouver la meilleure fa\u00e7on de fonctionner.<\/p>\n Nous avons donc cherch\u00e9 les outils adapt\u00e9s (chat et visio : \u00e0 terme Combodo a adopt\u00e9\u00a0Rocket Chat<\/a>) et \u00e9chang\u00e9 sur la mani\u00e8re de bien les utiliser, afin de garantir un fonctionnement valid\u00e9 par tous.<\/p>\n En vue d\u2019am\u00e9liorer la qualit\u00e9 du code de l\u2019application, la\u00a0programmation \u00e0 deux personnes<\/strong>\u00a0(pair programming ou peer programming) a \u00e9t\u00e9 g\u00e9n\u00e9ralis\u00e9e. Il y a plusieurs avantages \u00e0 cette pratique :<\/p>\n Cette pratique a aussi quelques inconv\u00e9nients :<\/p>\n Mais pour nous les b\u00e9n\u00e9fices ont largement supplant\u00e9 ces quelques inconv\u00e9nients. Cette m\u00e9thode a donc \u00e9t\u00e9 d\u00e9finitivement adopt\u00e9e.<\/p>\n Nous avons mis en place \u00e9galement des revues de code \u00e0 post\u00e9riori. C\u2019est un exercice qui n\u2019est pas forc\u00e9ment simple.<\/p>\n iTop \u00e9tant une application vaste, il est difficile pour les d\u00e9veloppeurs de connaitre l\u2019ensemble de la base de code, ou simplement d\u2019\u00e9valuer l\u2019impact d\u2019une modification sur l\u2019ensemble de l\u2019application. Cependant, toute l\u2019\u00e9quipe travaillant sur cette version au m\u00eame moment, l\u2019\u00e9mulation permet de trouver des connexions entre des sujets (fonctionnels comme techniques) connexes.<\/p>\n Cela a \u00e9t\u00e9 l\u2019occasion de commencer \u00e0 cr\u00e9er des\u00a0pull request<\/a>\u00a0internes afin de faciliter ce travail de revue, et de permettre une int\u00e9gration meilleure de la fonctionnalit\u00e9 dans l\u2019historique Git. Sur cette version 2.7.0\u00a016 pull request internes<\/a>\u00a0ont ainsi \u00e9t\u00e9 int\u00e9gr\u00e9es !<\/p>\n Avec le d\u00e9veloppement de la version 2.7, les tests\u00a0PHPUnit<\/a>\u00a0qui \u00e9taient balbutiants chez Combodo ont connu un essor important puisque l\u2019on est pass\u00e9 de quelques dizaines de tests \u00e0 plusieurs milliers ! Pour compl\u00e9ter ces tests PHPUnit (qui couvrent essentiellement des fonctions du c\u0153ur d\u2019iTop), des tests de l\u2019interface graphique ont aussi \u00e9t\u00e9 r\u00e9alis\u00e9s \u00e0 l\u2019aide de\u00a0Behat<\/a>\u00a0et \u00e9galement ex\u00e9cut\u00e9s quotidiennement.<\/p>\n Cette couche bien plus importante de tests a grandement facilit\u00e9 la vie et donn\u00e9 confiance \u00e0 l\u2019\u00e9quipe qualit\u00e9 en charge de la validation du produit.<\/p>\n Une fois cette organisation mise en place, il faut la p\u00e9renniser, et il faut \u00e9galement anticiper le futur et les \u00e9volutions notamment technologiques qui font partie des challenges importants d\u2019une LTS.<\/p>\n Le\u00a0calendrier des versions support\u00e9es de PHP<\/a>\u00a0\u00e9voluant vite, il faut concilier des aspects contradictoires :<\/p>\n En cons\u00e9quence, nous avons retenu une plage allant de\u00a0PHP 5.6 comme version minimale \u00e0 7.4<\/strong>\u00a0comme version maximale.<\/p>\n La sortie de MySQL 8.0 a aussi fait planer un doute sur les performances d\u2019iTop puisqu\u2019une des modifications importantes de cette version \u00e9tait la suppression du cache de requ\u00eates. Nous avons consid\u00e9r\u00e9 qu\u2019impl\u00e9menter un cache de requ\u00eates SQL dans iTop \u00e9tait en dehors du p\u00e9rim\u00e8tre de l\u2019application, mais nous avons malgr\u00e9 tout rendu iTop compatible avec cette version !<\/p>\n Nous avons ainsi d\u00fb intervenir sur plusieurs aspects :<\/p>\n Les incompatibilit\u00e9s ayant \u00e9t\u00e9 corrig\u00e9es, nous avons men\u00e9 des tests de performance qui ont confirm\u00e9 l\u2019impact tr\u00e8s n\u00e9gatif de la disparition du cache de requ\u00eates. iTop embarque plusieurs librairies PHP. Ces librairies \u00e9taient auparavant g\u00e9r\u00e9es manuellement. La version LTS \u00e9tant planifi\u00e9e pour durer plus longtemps il nous a fallu un m\u00e9canisme efficace pour g\u00e9rer les failles de s\u00e9curit\u00e9 et bug dans ces librairies. Nous avons naturellement choisi Composer<\/a>, un outil tr\u00e8s r\u00e9pandu dans le monde PHP et qui a fait ses preuves. La pr\u00e9sence du fichier\u00a0composer.json dans notre d\u00e9p\u00f4t<\/a>\u00a0nous apporte de\u00a0l\u2019efficacit\u00e9<\/strong>\u00a0gr\u00e2ce au support par notre outil de d\u00e9veloppement PHPStorm, et assure \u00e9galement de\u00a0ne pas manquer d\u2019informations importantes<\/strong>\u00a0gr\u00e2ce \u00e0 l\u2019outil\u00a0Dependabot<\/a>\u00a0int\u00e9gr\u00e9 \u00e0 GitHub.<\/p>\n Nous avons aussi adapt\u00e9 nos processus pour ajouter, avant chaque version majeure, une nouvelle phase\u00a0\u00ab\u00a0fondations\u00a0\u00bb<\/strong>\u00a0incluant en particulier la v\u00e9rification des librairies et leur mise \u00e0 jour.<\/p>\n Nous avons d\u00fb remplacer la librairie Silex (arriv\u00e9e en\u00a0fin de maintenance en juin 2018<\/a>) par\u00a0Symfony<\/a>. Cette nouvelle librairie a aussi un calendrier de support calqu\u00e9 sur PHP. Nous \u00e9tions donc limit\u00e9 sur la version Symfony utilisable dans iTop 2.7.0.<\/p>\n Silex a donc \u00e9t\u00e9 remplac\u00e9e par Symfony 3 tout en pr\u00e9voyant le passage \u00e0 Symfony 4 et 5.<\/p>\n Une bonne partie du code d\u2019iTop est constitu\u00e9 d\u2019API : effectivement, les cr\u00e9ateurs d\u2019extensions utilisent beaucoup de nos classes et m\u00e9thodes ! Or si l\u2019\u00e9quipe de d\u00e9veloppement Combodo a besoin de pouvoir restructurer parfois le code de iTop, il faut aussi garantir de la stabilit\u00e9 \u00e0 ces d\u00e9veloppeurs, et faciliter les migrations des extensions.<\/p>\n Nous avons donc men\u00e9 plusieurs chantiers :<\/p>\n Les m\u00e9thodes d\u00e9pr\u00e9ci\u00e9es sont marqu\u00e9es avec le tag\u00a0phpdoc @deprecated<\/strong>, avec l\u2019indication de la version de iTop o\u00f9 cela a \u00e9t\u00e9 fait et autant que possible une indication sur le code \u00e0 utiliser \u00e0 la place. Pour chacune des d\u00e9pr\u00e9ciations, un ticket de suppression est saisi et planifi\u00e9 pour une des prochaines versions d\u2019iTop. L\u2019ensemble est document\u00e9 dans les notes de migration (exemple pour la 2.7.0 dans\u00a0un chapitre du What\u2019s new<\/a>, et pour la 3.0.0 dans\u00a0une page d\u00e9di\u00e9e<\/a>).<\/p>\n Par exemple la documentation de la m\u00e9thode \\DBObject::DBInsertTracked a \u00e9t\u00e9 modifi\u00e9e pour iTop 2.7.0 :<\/p>\n Et cette m\u00e9thode DBObject::DBInsertTracked a \u00e9t\u00e9 supprim\u00e9e en 3.0.0 (commit\u00a080161b9<\/a>).<\/p>\n Plusieurs de nos clients avaient fait r\u00e9aliser un audit de s\u00e9curit\u00e9 par un cabinet externe pour leur propre version d\u2019iTop et nous avaient remont\u00e9 quelques failles.<\/p>\n Nous avons pris la d\u00e9cision de faire r\u00e9aliser un\u00a0audit de s\u00e9curit\u00e9 sur la version beta de la 2.7.0<\/strong>\u00a0pour identifier et aider \u00e0 la correction du maximum de failles avant la sortie officielle de iTop 3.0.0.<\/p>\n Afin que les failles soient remont\u00e9es au plus vite et corrig\u00e9es le mieux possible, nous avons aussi d\u00e9fini ensemble puis\u00a0publi\u00e9 notre politique de s\u00e9curit\u00e9<\/strong>\u00a0sur nos d\u00e9p\u00f4ts GitHub (pas exemple\u00a0ici sur iTop<\/a>).<\/p>\n Les failles sont publi\u00e9es 3 mois apr\u00e8s la sortie de la premi\u00e8re version contenant la correction afin de permettre \u00e0 nos utilisateurs et clients de mettre \u00e0 jour leurs instances. La publication est effectu\u00e9e par le biais de\u00a0GitHub security advisories<\/a>\u00a0et de CVE.<\/p>\n L\u2019audit de s\u00e9curit\u00e9 et la remont\u00e9e des failles gr\u00e2ce \u00e0 la politique mise en \u0153uvre ont permis de corriger\u00a030 probl\u00e8mes de s\u00e9curit\u00e9 sur la version 2.7.0<\/strong>.<\/p>\n Cette extension a \u00e9t\u00e9 ajout\u00e9e aux packages souscription (iTop Professional et Essential) pour prot\u00e9ger l\u2019application des attaques par force brute sur les mots de passe. C\u2019est en effet une attaque connue sur les application web accessibles sur internet.<\/p>\n Une attaque par force brute est ainsi d\u00e9finie par Wikipedia :<\/p>\n L\u2019attaque par force brute<\/b>\u00a0est une m\u00e9thode utilis\u00e9e en\u00a0cryptanalyse<\/a>\u00a0pour\u00a0trouver un mot de passe<\/a>\u00a0ou une\u00a0cl\u00e9<\/a>. Il s\u2019agit de tester, une \u00e0 une, toutes les combinaisons possibles.<\/p>\n .Source\u00a0https:\/\/fr.wikipedia.org\/wiki\/Attaque_par_force_brute<\/a><\/em><\/p>\n<\/blockquote>\n L\u2019extension limite le nombre d\u2019essais possibles pour la connexion, ce qui emp\u00eache ce type d\u2019attaque. Elle propose aussi de nombreuses autres protections (filtrage par IP, captcha, \u2026) comme l\u2019indique\u00a0sa documentation<\/a>.<\/p>\n Pour compliquer encore le travail des hackers, il ne faut pas autoriser les utilisateurs de l\u2019application \u00e0 avoir des mots de passe trop courts ou trop simples. L\u2019authentification locale a \u00e9t\u00e9 modifi\u00e9e pour permettre de contr\u00f4ler les mots de passe et \u00e9viter la validation de mots de passe trop simples et non s\u00e9curis\u00e9s. Plus de d\u00e9tails dans le What\u2019s new iTop 2.7.0 :\u00a0Password Policy<\/a><\/p>\n Certaines\u00a0fonctionnalit\u00e9s<\/a>\u00a0devaient \u00eatre r\u00e9alis\u00e9es absolument dans cette LTS. Effectivement il nous fallait :<\/p>\n Voici ci-dessous quelques exemples de fonctionnalit\u00e9s r\u00e9alis\u00e9es pour remplir ces objectifs :<\/p>\n Puisque cette version est pr\u00e9vue pour durer, il a fallu pr\u00e9voir l\u2019extensibilit\u00e9 de certaines parties. La page de connexion a fait parti des am\u00e9liorations apport\u00e9es \u00e0 la version 2.7.0.<\/p>\n Nous avons ajout\u00e9 les fonctionnalit\u00e9s suivantes :<\/p>\n Pour pouvoir assurer le support de la version LTS pendant un temps assez long, il faut que l\u2019\u00e9quipe support ait des outils int\u00e9gr\u00e9s \u00e0 iTop pour leur permettre de gagner en efficacit\u00e9. Un effort tout particulier a \u00e9t\u00e9 fait dans ce domaine.<\/p>\n L\u2019application iTop utilise, pour manipuler les donn\u00e9es du client, un langage de requ\u00eates propre \u00e0 iTop, l\u2019OQL (Object Query Language<\/a>). Ce langage permet d\u2019acc\u00e9der au donn\u00e9es en effectuant des requ\u00eates sur les objets \u00e0 la mani\u00e8re du langage SQL. Le c\u0153ur d\u2019iTop convertit ensuite l\u2019OQL en SQL pour effectuer les traitements attendus par l\u2019utilisateur.<\/p>\n Avant iTop 2.7, le m\u00e9canisme utilis\u00e9 pour la g\u00e9n\u00e9ration de ces requ\u00eates SQL garantissait la coh\u00e9rence des donn\u00e9es remont\u00e9es dans les r\u00e9sultats, ce qui \u00e9tait rassurant pour l\u2019utilisateur, mais au prix de performances d\u00e9grad\u00e9es. Nous devions faire face aux questions de nos clients au moindre soucis de performance.<\/p>\n Cette partie de l\u2019application a \u00e9t\u00e9 revue avec comme objectifs d\u2019am\u00e9liorer la maintenabilit\u00e9, gr\u00e2ce \u00e0 une architecture plus explicite, et la performance de la g\u00e9n\u00e9ration des requ\u00eates SQL, avec un gain en nombre de\u00a0jointures<\/a>\u00a0(pouvant se monter \u00e0 plusieurs dizaines sur les op\u00e9rations de d\u00e9nombrement).<\/p>\n\n
\n
Changer l\u2019organisation pour optimiser la qualit\u00e9 !<\/h2>\n
Suivi de projet<\/h3>\n
Confinement et Covid-19<\/h3>\n
\n
Pair programming
![\"pair](\"https:\/\/blog.combodo.com\/wp-content\/uploads\/2022\/08\/Strips-Pair-coding-550-final-300x195.jpg\")
<\/h3>\n\n
\n
Revues de code<\/h3>\n
Tests automatis\u00e9s<\/h3>\n
\nDe plus les tests qui \u00e9taient seulement manuels jusque l\u00e0 ont \u00e9t\u00e9 automatis\u00e9s \u00e0 l\u2019aide de Jenkins et sont lanc\u00e9s \u00e0 chaque commit pour une partie d\u2019entre eux, et quotidiennement pour l\u2019ensemble.<\/p>\nPr\u00e9voir le futur<\/h2>\n
Plage de compatibilit\u00e9 PHP<\/h3>\n
\n
MySQL 8<\/h3>\n
\n
\nEn cons\u00e9quence une communication sp\u00e9cifique a \u00e9t\u00e9 faite pour pr\u00e9venir nos utilisateurs sur ces probl\u00e8mes de performances avec MySQL 8, et leur conseiller de privil\u00e9gier une version ant\u00e9rieure du serveur de base de donn\u00e9es.<\/p>\nGestion des d\u00e9pendances<\/h3>\n
\nNous avons ensuite men\u00e9 un travail d\u2019inventaire, puis pour chaque librairie v\u00e9rifi\u00e9 s\u2019il y avait lieu de la mettre \u00e0 jour.<\/p>\nSilex vers Symfony<\/h4>\n
Politique de d\u00e9pr\u00e9ciation \/ suppression des API<\/h3>\n
\n
\/**<\/span><\/span><\/pre>\n * @internal<\/span><\/span><\/pre>\n *<\/span><\/span><\/pre>\n * @deprecated 2.7.0 N\u00b02361 simply use {@see DBObject::DBInsert()} instead, that will automatically create and persist a CMDBChange object.<\/span><\/span><\/pre>\n * If you need to persist your own, call {@see CMDBObject::SetCurrentChange()} before.<\/span><\/span><\/pre>\n *<\/span><\/span><\/pre>\n * @param CMDBChange $oChange<\/span><\/span><\/pre>\n *<\/span><\/span><\/pre>\n * @return int|null<\/span><\/span><\/pre>\n * @throws CoreException<\/span><\/span><\/pre>\n *\/<\/span><\/span><\/pre>\n public<\/span> function<\/span> DBInsertTracked<\/span>(CMDBChange<\/span> $oChange<\/span>)<\/span><\/pre>\n\u200b<\/span><\/pre>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\nAm\u00e9liorer la s\u00e9curit\u00e9, maintenant et demain !<\/h2>\n
Audit de s\u00e9curit\u00e9<\/h3>\n
Public security policy<\/h3>\n
Extension Brute force protection<\/h3>\n
\n
Password policy<\/h3>\n
Fonctionnalit\u00e9s<\/h2>\n
\n
<\/a>Extensibilit\u00e9 login<\/h3>\n
\n
<\/a>Supportabilit\u00e9<\/h3>\n
\n
<\/a>Performance<\/h2>\n
<\/a>G\u00e9n\u00e9ration SQL<\/h3>\n