Trouver le flux RSS d'un site d'actualité via robots.txt et sitemaps en Python

Un article technique explique comment découvrir le flux d'un site d'actualité lorsqu'il n'est pas évident, sans recourir au scraping fragile de la page d'accueil. La méthode suggérée commence par robots.txt et les sitemaps, que les sites publient eux-mêmes, avant de consulter les balises link alternate de la page d'accueil. L'auteur présente un script Python utilisant uniquement la bibliothèque standard, avec des garde-fous de politesse : une requête à la fois, une pause d'une seconde, un plafond de requêtes par site et le respect de robots.txt. Le script a été testé sur huit sites d'actualité, avec un suivi du nombre de requêtes et du point d'arrivée pour chacun. Le code est présenté comme la version Python d'une procédure déjà implémentée en Rust dans l'application osFoundry.