đť•Ź-scraper

Logo

(English version)

Une extension pour extraire et télécharger des tweets à des fins de fouille textuelle.

Citer ce programme

Si vous utilisez cette extension pour votre recherche, veuillez la référencer comme suit :

Moncomble, F. (2024). 𝕏-Scraper (Version 0.4) [JavaScript]. Arras, France : Université d’Artois. Disponible à l’adresse : https://fmoncomble.github.io/X-scraper/

Installation

Firefox

Firefox add-on

Chrome/Edge

available-chrome-web-store4321

Pensez à épingler l’extension à la barre d’outils

Mode d’emploi

Limites et problèmes connus

Nombre excessif de requĂŞtes

L’extension collecte les tweets en faisant défiler automatiquement la page des résultats de la recherche. Cela envoie des appels répétés au serveur 𝕏/Twitter, qui finit par ne plus régénérer la page avec une réponse 429 (nombre excessif de requêtes). Lorsque cela se produit (généralement après avoir collecté ~900 tweets), téléchargez le fichier, réinitialisez (bouton Reset), patientez quelques minutes, puis ajustez vos paramètres de recherche pour éviter de collecter des doublons et reprenez la collecte.

Refonte de l’interface

⚠️ Important! Dans la v0.2, la fenêtre popup de l’extension doit rester ouverte pour que l’extension se comporte correctement. Cliquer en dehors de la fenêtre, passer à un autre onglet/fenêtre ou à une autre application entraine sa fermeture, empêchant ainsi l’utilisateur d’interagir avec l’extension pendant ou après le processus de scraping.
Ce problème a été résolu dans la version 0.3 grâce à une interface remaniée: assurez-vous de télécharger la dernière version.

Créer un compte 𝕏/Twitter dédié

Bien qu’Elon Musk ait exprimé à plusieurs reprises son opposition au scraping des données de 𝕏/Twitter, la collecte de données publiques à des fins de recherche est légale dans la plupart des pays. Toutefois, par précaution, il est conseillé de créer un compte ad hoc pour récupérer du contenu.