Le processus de collecte de données à partir de sites Web à l'aide de scripts automatisés est appelé Web Scraping. ChatGPT, un modèle de langage puissant développé par OpenAI, a la capacité de générer du code pour le scraping Web. Explorons comment cela fonctionne…

IMDb est une source incontournable d'informations sur les films, les émissions de télévision et diverses formes de divertissement. Il présente un tableau des films les mieux notés, avec les 250 meilleurs films répertoriés surhttps://www.imdb.com/chart/top/?ref_=nv_mv_250. Ce tableau comprend des détails tels que le titre, la distribution, le réalisateur et la note IMDb de chaque film.

permet d'utiliser le grattage Web pour extraire des informations sur les films avec python et la magnifique bibliothèque de soupes de ce site Web. nous suggérons Chatgpt

est un outil puissant pour nous aider à créer le code nécessaire, utilisons Chatgpt pour implémenter cette tâche en suivant la demande.

"Grattage Webhttps://www.imdb.com/chart/top/?ref_=nv_mv_250avec Python et BeautifulSoup”

Chatgpt est une implémentation spécifique à la réponse étape par étape et le code source en python ci-dessous

alors, c'est déjà un bon résultat et nous aide à bien comprendre comment le code source fait sa tâche, cependant, nous avons besoin d'avoir l'exécution dans un seul fichier, donc nous n'avons qu'à copier et coller, nous allons demander à nouveau à Chatgpt pour fournir le script Web python dans un seul fichier :

Veuillez fournir le code dans un seul fichier.

Good ChatGPT répond avec le code source complet et complet comme vous pouvez le voir ci-dessous :

vous pouvez voir le code source Python complet qui a été généré par ChatGPT :

Testons si le code source fonctionne comme prévu. Par conséquent, nous devons d'abord créer un nouveau fichier :

Et puis nous devons copier et coller le code dans webscrape.py :

Commençons le python en écrivant la commande suivante sur la ligne Terminal

Le script fonctionne et après quelques secondes, vous pouvez voir qu'un nouveau fichier imdb_top_movies.cvs a été créé et inclut les informations extraites du film au format CSV.

ChatGPT a généré un grattage Web qui fonctionne immédiatement. Pas besoin d'adapter le code manuellement. C'est un bon résultat.

Dans notre demande initiale à ChatGPT, nous n'avons pas précisé quelles informations sur les films doivent être extraites du site Web. ChatGPT a décidé de retirer le nom du film et l'année de publication. Disons que nous aimerions également inclure la note. écrivez ce qui suit dans ChatGPT :

Also retrieve the IMDb rating for each film

ChatGPT vous fournit des instructions détaillées et des extraits de code pour modifier le code existant afin d'inclure et d'extraire également les informations d'évaluation :

Nous pourrions maintenant demander à nouveau à ChatGPT d'intégrer ces modifications dans le script :

Please give me the full code in one with, with the try-except block

puis Chatgpt générera à nouveau le script Python complet, y compris les modifications permettant d'extraire les informations supplémentaires du site Web :

Conclusion

Le didacticiel a démontré que ChatGPT est un outil efficace pour générer des scripts pour le scraping Web. En fournissant simplement nos exigences de base à ChatGPT, nous avons reçu un script Python prêt à l'emploi, ce qui facilite grandement le processus de grattage Web et nous permet de démarrer rapidement sans aucune modification.