Le concept 🧪
Le scraper universel est l’un des derniers outils que notre équipe a développé. Celui-ci permet de récupérer plusieurs champs de n’importe quel site et de les exporter soit au format JSON (permet l’utilisation d’API) soit en CSV en récupérant automatiquement le nom des colonnes que vous aurez indiqués pour chaque champ.
L’outil gère également la pagination, la récupération de page internes ainsi qu’un temps de pause entre chaque page parcourue.
Remarque : l’interface graphique (interface utilisateur graphique) n’a pas fonctionné car cet outil nous est privé.
Il s’agit d’un outil interne non-publique, réservé uniquement pour nos clients.
Notre travail 🔨
- Développement web (from scratch en PHP)
- Webdesign
Les challenges de ce projet 💪
Le plus gros challenge d’un tel outil, et de faire en sorte qu’il soit réellement « universel ». En effet, chaque site dispose d’une architecture qui lui est propre, et l’outil doit par conséquent savoir comment interagir avec chacunes d’entre-elles, complexifiant ainsi l’intégralité du code.
