Bien que GitHub Copilot offre des avantages significatifs, il est essentiel de comprendre ses limites et de mesurer avec précision son impact sur les processus de développement. Cette unité explore les contraintes du codage assisté par l’IA et présente des méthodes pour quantifier l’influence de GitHub Copilot sur la productivité.

Identifier les limites de GitHub Copilot

GitHub Copilot est un outil puissant, mais il présente certaines limites que les développeurs doivent connaître :

Qualité et exactitude du code

• Potentiel d’erreurs : GitHub Copilot peut parfois suggérer du code contenant des bugs ou ne répondant pas entièrement aux exigences.
• Problèmes de sécurité : Le code généré ne respecte pas toujours les meilleures pratiques de sécurité, ce qui nécessite une révision attentive.
• Mauvaise interprétation du contexte : Il peut mal comprendre le contexte global, entraînant des suggestions inappropriées.

Spécificité des langages et frameworks

• Performance variable : L’efficacité de GitHub Copilot peut varier selon les langages de programmation et les frameworks utilisés.
• Technologies de niche : Pour les technologies moins courantes ou récentes, les suggestions peuvent être moins précises ou pertinentes.

Dépendance aux données d’entraînement

• Biais dans les suggestions : Les suggestions reflètent les modèles présents dans les données d’entraînement, qui peuvent inclure des biais ou des pratiques obsolètes.
• Problèmes de droits d’auteur : Le code généré soulève des débats en cours sur les implications en matière de propriété intellectuelle.

Résolution de problèmes complexes

• Limites en conception de haut niveau : GitHub Copilot est performant pour les tâches de bas niveau, mais peut ne pas saisir les décisions architecturales complexes.
• Contraintes de créativité : Bien qu’utile, il ne peut remplacer la créativité humaine dans la résolution de problèmes inédits.

Mesurer les gains de productivité

Comprendre les gains de productivité offerts par GitHub Copilot est essentiel pour en maximiser les bénéfices. L’API REST pour les métriques d’utilisation de GitHub Copilot et l’enquête développeur GitHub Copilot offrent des moyens puissants pour mesurer et analyser son influence sur votre flux de travail.

Utiliser les points de terminaison de l’API REST pour les métriques d’utilisation

GitHub propose une API REST permettant d’accéder aux métriques d’utilisation de GitHub Copilot pour les membres d’une entreprise, les équipes et les organisations. Ces métriques fournissent des informations sur l’utilisation quotidienne de GitHub Copilot, y compris les complétions, les interactions avec le chat, et l’engagement des utilisateurs selon les éditeurs et les langages.

Obtenir un résumé de l’utilisation de GitHub Copilot pour les membres d’une entreprise

• Point de terminaison : GET /enterprises/{enterprise}/GitHub Copilot/usage

Ce point de terminaison fournit une ventilation quotidienne des métriques d’utilisation agrégées pour les complétions et les interactions avec GitHub Copilot Chat, pour tous les utilisateurs d’une entreprise. Il inclut des détails sur les suggestions, les acceptations et les utilisateurs actifs, avec une répartition par éditeur et par langage.

curl -L \
  -H "Accept: application/vnd.github+json" \
  -H "Authorization: Bearer <YOUR-TOKEN>" \
  https://api.github.com/enterprises/ENTERPRISE/GitHub Copilot/usage

curl -L \
  -H "Accept: application/vnd.github+json" \
  -H "Authorization: Bearer <YOUR-TOKEN>" \
  https://api.github.com/enterprises/ENTERPRISE/GitHub Copilot/usage

Réponse :

• Code de statut : 200 OK
• Corps : Tableau JSON contenant les métriques quotidiennes, incluant les suggestions, les acceptations, les utilisateurs actifs, ainsi qu’une répartition par éditeur et par langage.

Obtenir un résumé de l’utilisation de GitHub Copilot pour une équipe d’entreprise

• Point de terminaison : GET /enterprises/{enterprise}/team/{team_slug}/GitHub Copilot/usage

Ce point de terminaison fournit une ventilation quotidienne des métriques d’utilisation agrégées pour les complétions GitHub Copilot et les interactions avec GitHub Copilot Chat au sein d’une équipe spécifique d’une entreprise.

Exemple de requête :

curl -L \
  -H "Accept: application/vnd.github+json" \
  -H "Authorization: Bearer <YOUR-TOKEN>" \
  https://api.github.com/enterprises/ENTERPRISE/team/TEAM_SLUG/GitHub Copilot/usage

curl -L \
  -H "Accept: application/vnd.github+json" \
  -H "Authorization: Bearer <YOUR-TOKEN>" \
  https://api.github.com/enterprises/ENTERPRISE/team/TEAM_SLUG/GitHub Copilot/usage

Réponse :

• Code de statut : 200 OK
• Corps : Tableau JSON contenant les métriques quotidiennes de l’équipe, incluant les suggestions, les acceptations, les utilisateurs actifs, ainsi qu’une répartition par éditeur et par langage.

Obtenir un résumé de l’utilisation de GitHub Copilot pour les membres d’une organisation

• Point de terminaison : GET /orgs/{org}/GitHub Copilot/usage

Ce point de terminaison fournit une ventilation quotidienne des métriques d’utilisation agrégées pour les complétions GitHub Copilot et les interactions avec GitHub Copilot Chat à l’échelle d’une organisation.

Exemple de requête :

curl -L \
  -H "Accept: application/vnd.github+json" \
  -H "Authorization: Bearer <YOUR-TOKEN>" \
  https://api.github.com/orgs/ORG/GitHub Copilot/usage

curl -L \
  -H "Accept: application/vnd.github+json" \
  -H "Authorization: Bearer <YOUR-TOKEN>" \
  https://api.github.com/orgs/ORG/GitHub Copilot/usage

Réponse :

• Code de statut : 200 OK
• Corps : Tableau JSON contenant les métriques quotidiennes pour l’organisation, incluant les suggestions, les acceptations, les utilisateurs actifs, ainsi qu’une répartition par éditeur et par langage.

Mettre en œuvre un cadre de mesure

Pour évaluer de manière systématique l’impact de GitHub Copilot, vous pouvez adopter le cadre suivant, en utilisant l’API des métriques d’utilisation de GitHub Copilot à chaque étape :

1. Évaluation

Lors de la phase initiale d’adoption de GitHub Copilot, concentrez-vous sur des indicateurs précurseurs tels que la satisfaction des développeurs et les taux d’achèvement des tâches. Utilisez l’API pour collecter des métriques comme :

• le nombre moyen d’utilisateurs actifs quotidiens,
• le taux total d’acceptation,
• le nombre de lignes de code acceptées.

2. Adoption

À mesure que GitHub Copilot s’intègre davantage dans le flux de travail de votre équipe, continuez à surveiller les indicateurs de productivité et d’appropriation. L’API peut fournir des informations sur l’engagement des utilisateurs et identifier les besoins en formation.

3. Optimisation

Une fois GitHub Copilot pleinement adopté, utilisez l’API REST pour affiner son impact sur les objectifs organisationnels plus larges, comme la réduction du délai de mise sur le marché ou l’amélioration de la qualité du code.

4. Efficacité durable

Évaluez en continu l’efficacité de GitHub Copilot à mesure que votre organisation évolue. L’API permet un suivi régulier et des ajustements pour garantir des gains de productivité à long terme.

Utiliser l’enquête développeur GitHub Copilot

L’enquête développeur GitHub Copilot est un outil précieux conçu pour recueillir les retours de vos équipes. Elle vous aide à comprendre comment GitHub Copilot est utilisé, quels sont ses bénéfices et les défis rencontrés. L’enquête se décline en deux formats : court et long, chacun adapté à différentes étapes de l’évaluation et de l’adoption.

1. Fréquence et moment de diffusion

Pour éviter la fatigue tout en recueillant des données utiles :

• Enquête courte : Peut être menée toutes les deux semaines pour obtenir des retours fréquents, notamment en complément d’autres canaux (discussions en ligne ou en personne).
• Enquête longue : À réaliser au maximum une fois toutes les quatre semaines, notamment à la fin des phases d’évaluation et d’adoption, pour recueillir des retours approfondis.

2. Structuration de l’enquête

Les questions doivent être adaptées aux besoins spécifiques de votre organisation afin de garantir la pertinence des données recueillies.

• Enquête courte : Vise à recueillir des retours immédiats sur la satisfaction, les défis rencontrés et le temps gagné ou perdu.Exemples de questions :
  • « Que ressentiriez-vous si vous ne pouviez plus utiliser GitHub Copilot ? »
  • « Lorsque j’utilise GitHub Copilot, je prends plus de plaisir à coder / j’écris un code de meilleure qualité / je termine mes tâches plus rapidement. »
  • « Quels défis avez-vous rencontrés avec GitHub Copilot depuis la dernière enquête ? »
• Enquête longue : Fournit une analyse plus approfondie de l’impact de GitHub Copilot, de son utilisation et de ses effets sur la dynamique d’équipe.Exemples de questions :
  • « J’utilise GitHub Copilot pour coder dans un langage familier / explorer un nouveau langage / écrire du code répétitif. »
  • « Grâce à GitHub Copilot, mon équipe fait de meilleures revues de code / fusionne le code en production plus rapidement. »
  • « Quels défis avez-vous rencontrés avec GitHub Copilot depuis la dernière enquête ? »

3. Analyse des résultats

Une fois les enquêtes complétées, analysez les résultats de manière structurée :

• Respect de la vie privée : Assurez-vous que les réponses sont anonymisées et ne peuvent pas être attribuées à des individus.
• Suivi des données : Intégrez les réponses dans vos outils de Business Intelligence (BI) ou des feuilles de calcul pour faciliter l’analyse. Suivez les tendances dans le temps pour prendre des décisions éclairées.

4. Amélioration continue

Utilisez les enseignements tirés des enquêtes pour ajuster le déploiement de GitHub Copilot dans votre organisation. Concentrez-vous sur la résolution des problèmes identifiés, la valorisation des bénéfices rapportés et l’optimisation de l’utilisation de l’outil pour maximiser la productivité.

L’enquête développeur GitHub Copilot est un élément clé pour comprendre et améliorer l’utilisation de l’outil au sein de vos équipes.

En combinant l’API REST et l’enquête développeur, vous dépassez les impressions subjectives pour obtenir des données concrètes sur l’impact de GitHub Copilot. Cette approche fondée sur les données permet une prise de décision éclairée et une amélioration continue de son rôle dans le flux de développement.