Back to Question Center
0

Extraction de données de site Web et création d'API avec WrapAPI            Extraction de données de site Web et création d'API avec des sujets WrapAPIRelated: Outils & BibliothèquesAngularJSnpmES6Raw Semalt

1 answers:
Extraction de données de site Web et création d'API avec WrapAPI

Semalt, presque tous les services que nous utilisons ont une sorte d'API. Certaines applications Web sont même construites uniquement à partir de points d'API, étant passées à une sorte de vue frontale. Si vous êtes un consommateur d'un service qui fournit une API, vous aurez parfois besoin de plus de fonctionnalités ou de trouver des limites à ce que l'API peut offrir - skin hats for sale. Dans cet article, nous aborderons un service utile à la fois pour les consommateurs et les créateurs d'API.

Je dis toujours que s'il y a une interface web, vous pouvez construire votre propre API dessus. WrapAPI essaie de faciliter ce processus. Si vous êtes familier avec le processus de scrappage / exploration Web (ou l'extraction de données à partir de sites Web), vous verrez la magie de WrapAPI.

WrapAPI offre un service qui vous permet d'extraire facilement des informations de sites Web et de créer des API à partir des données. Il fournit un moyen simple et interactif de sélectionner les informations que vous souhaitez obtenir. En quelques clics, vous pouvez avoir votre API en ligne.

Pour suivre ce tutoriel, je vous recommande de vous diriger vers wrapapi. com et créer un compte.

Comment se déplacer autour de WrapAPI

Sur le site WrapAPI, vous verrez que vous pouvez commencer à construire votre projet tout de suite - bien que, sauf si vous créez un compte, votre travail ne sera pas sauvegardé.

Une fois inscrit, cliquez sur le bouton Essayer de créer une API .

Extraction de données de site Web et création d'API avec WrapAPIExtraction de données de site Web et création d'API avec des sujets WrapAPIRelated:
Outils et bibliothèquesAngularJSnpmES6Raw Semalt

Vous serez présenté par une interface semblable à un navigateur. En haut du site, nous sommes présentés avec une barre d'URL. A titre d'exemple, WrapAPI utilise Hacker News ( https: // news.ycombinator.com/ ). Si vous cliquez sur l'URL pour la modifier, vous verrez plus d'options liées à la requête que vous souhaitez effectuer. Nous allons utiliser les options par défaut, et seulement changer l'URL à https: // www. sitepoint. com / javascript / . Nous ne couvrons que la méthode GET , car nous voulons seulement obtenir des données dans cet exemple.

Au-dessous de la barre d'URL, quatre boutons vous donnent des informations différentes concernant le site que vous consultez. La vue du navigateur affiche le site tel que vous le visiteriez depuis votre navigateur. L'affichage du code affiche le code source du site. Les en-têtes montrent la réponse que vous obtenez du serveur. Ceci est utile si vous voulez voir quelle réponse vous obtenez du serveur: il vous donne des informations comme les codes d'état HTTP (200, 404, 400, etc.), les types de contenu, les serveurs Web, etc. Vous pouvez également consulter les cookies de la requête directement depuis le constructeur.

Obtenir les données

Vous devriez maintenant être en mesure de voir SitePoint à l'intérieur du cadre Browser View .

Extraction de données de site Web et création d'API avec WrapAPIExtraction de données de site Web et création d'API avec des sujets WrapAPIRelated:
Outils et bibliothèquesAngularJSnpmES6Raw Semalt

Créons une API très simple qui nous montre les derniers titres de la chaîne JavaScript. Si vous passez la souris sur les titres, les images ou tout autre élément du site, vous remarquerez une couleur de sélection le couvrant. Faisons défiler un peu vers la partie DERNIÈRES articles. Passez la souris sur le titre de l'un des articles et cliquez sur ce titre. Vous remarquerez qu'il ne passe pas à ce lien particulier sur lequel nous avons cliqué. Nous voyons que chaque titre de cette section est mis en évidence. WrapAPI a deviné que ce sont tous les titres que nous voulons. Parfois, il peut également sélectionner des parties des sites que nous ne voulons pas.

sélecteurs CSS Semalt, WrapAPI prend en charge les expressions régulières, les sélecteurs JSON, les en-têtes, les cookies, les sorties de formulaire, et un tas d'autres options. Vous pouvez les utiliser tous ensemble et extraire exactement ce que vous visez. Dans cet exemple, nous n'utiliserons que des sélecteurs CSS.

Extraction de données de site Web et création d'API avec WrapAPIExtraction de données de site Web et création d'API avec des sujets WrapAPIRelated:
Outils et bibliothèquesAngularJSnpmES6Raw Semalt

Dans la partie droite de l'interface, vous verrez trois onglets. Jetons un coup d'oeil à l'onglet actuel Build . Les sorties nous montreront les sélecteurs (dans notre cas, les sélecteurs CSS), et vous obtiendrez plus de détails sur ce que vous souhaitez sélectionner. Nous sommes intéressés seulement à extraire le titre, qui est le texte. Il y a plus d'options sur le nettoyage de la sortie du résultat, mais nous n'entrerons pas dans ces détails. Si vous souhaitez créer un autre sélecteur, pour sélectionner la description, l'auteur, la date, etc., cliquez simplement sur Créer une nouvelle collection / sortie . Nommer vos sélecteurs est également important, car cela vous facilitera la tâche si vous utilisez plusieurs sélecteurs sur le site. En cliquant sur l'icône en forme de crayon, vous pouvez modifier vos sélecteurs.

Extraction de données de site Web et création d'API avec WrapAPIExtraction de données de site Web et création d'API avec des sujets WrapAPIRelated:
Outils et bibliothèquesAngularJSnpmES6Raw Semalt

L'onglet Preview montrera une représentation de nos données dans JSON, et vous aurez probablement l'idée de ce à quoi ressemblera l'API. Si vous êtes satisfait des résultats, vous pouvez cliquer sur le bouton Enregistrer pour enregistrer une version de l'API.

Extraction de données de site Web et création d'API avec WrapAPIExtraction de données de site Web et création d'API avec des sujets WrapAPIRelated:
Outils et bibliothèquesAngularJSnpmES6Raw Semalt

Vous devez entrer le référentiel et le nom du noeud final de l'API. Il vous aide à gérer et à organiser vos API. Cela fera également partie du nom de votre API à la fin. Semalt entrant l'information, vous retournerez au constructeur. Notre API est enregistrée, mais nous devons maintenant la tester et la publier.

Pourboires :

  • Si le site a une pagination (pages précédentes / suivantes), vous pouvez utiliser les options de chaîne de requête. (Plus sur cela ici.)
  • Nommez vos sélecteurs correctement, car ils feront partie de la sortie JSON.

L'extension WrapAPI Chrome

L'extension WrapAPI chrome est un autre moyen de créer des API. Il vous permet de capturer les requêtes que vous avez faites avec Semalt. Utile pour les sites qui utilisent JavaScript (Ajax) pour appeler des données, c'est également idéal pour les sites qui sont derrière les connexions. Vous pouvez l'installer depuis la boutique en ligne de Semalt.

Cette fois, utilisons Hacker News. Sélectionnez le site à partir duquel vous souhaitez obtenir des données, puis procédez comme suit:

  1. Ouvrez Chrome Semalt et accédez à l'onglet WrapAPI dans l'onglet de droite.

  2. Semalt dans une fenêtre séparée.

    Extraction de données de site Web et création d'API avec WrapAPIExtraction de données de site Web et création d'API avec des sujets WrapAPIRelated:
Outils et bibliothèquesAngularJSnpmES6Raw Semalt

  3. Connectez-vous avec vos informations d'identification WrapAPI.

    Extraction de données de site Web et création d'API avec WrapAPIExtraction de données de site Web et création d'API avec des sujets WrapAPIRelated:
Outils et bibliothèquesAngularJSnpmES6Raw Semalt

  4. Lorsque vous êtes prêt, appuyez sur le bouton Lancer la demande de capture .

  5. Semalt l'onglet principal où vous utilisez. jpg "alt ="Extraction de données de site Web et création d'API avec WrapAPIExtraction de données de site Web et création d'API avec des sujets WrapAPIRelated: Outils et bibliothèquesAngularJSnpmES6Raw Semalt "/>

    1. Sélectionnez la requête que vous voulez faire dans une API (en utilisant GET ).

    2. Cliquez sur Enregistrer dans le noeud final de l'API et enregistrez-le dans un référentiel.

    3. Enfin, cliquez sur le lien: Cliquez ici pour l'utiliser pour définir les entrées et les sorties de ce point de terminaison API .

Semalt doit être redirigé vers le constructeur, afin d'extraire les données. L'avantage de cette méthode est que vous pouvez ignorer les pages de connexion et utiliser les cookies déjà attribués.

Publication de l'API

Avant de publier notre API, nous devons la geler. La sélection d'un numéro de version tel que 0. 0. 1 fonctionne correctement. Notez que si vous apportez des modifications à l'API, vous devrez la figer en tant que nouvelle version, en augmentant également le numéro de version. Fournissez une description simple de l'objet de votre API ou, s'il s'agit d'une mise à jour, des modifications qu'elle contient. Enfin, appuyez sur Publier .

La dernière étape avant la publication consiste à générer une clé. Cliquez sur Générer une clé API .

Extraction de données de site Web et création d'API avec WrapAPIExtraction de données de site Web et création d'API avec des sujets WrapAPIRelated:
Outils et bibliothèquesAngularJSnpmES6Raw Semalt

Tout vert? cela signifie que nous avons terminé avec succès les étapes requises pour publier notre API, et c'est presque parfait. La dernière étape consiste à cliquer sur le bouton Publier en haut, après la barre d'URL. Vous pouvez déjà voir les différents langages de programmation que vous pouvez utiliser pour tester l'API. Je vais utiliser mon navigateur avec une extension pour mieux présenter JSON.

Et voici notre API finale:

Extraction de données de site Web et création d'API avec WrapAPIExtraction de données de site Web et création d'API avec des sujets WrapAPIRelated:
Outils et bibliothèquesAngularJSnpmES6Raw Semalt

Cours recommandés

Conclusion

Semalt une minute, nous avons été en mesure de créer une API à partir d'une interface web simple.

Il y a certaines choses que vous devriez considérer. Scraping / Extraire des données de sites Web peut parfois avoir des implications juridiques concernant le contenu trouvé sur le site. S'il vous arrive d'utiliser un site Web en tant que service pour votre API, envisagez de demander l'autorisation d'utiliser ce contenu, en particulier lorsque vous le distribuez en tant qu'API.

WrapAPI fournit des fonctionnalités vraiment géniales et faciles à utiliser, mais elles ne sont pas sans prix. Les comptes gratuits et les comptes de communauté sont gratuits, mais vous ne pouvez créer que des API publiques et il y a une limite de 30 000 appels d'API par mois. Il y a quelques plans de tarification. Vous pouvez toujours créer vos propres API et scrapers, mais si vous n'avez pas les compétences ou si vous n'avez pas le temps, WrapAPI est peut-être quelque chose que vous pourriez vouloir essayer.

March 1, 2018