J'ai récemment testé DSPY avec PHI3, visant à utiliser Copro pour affiner les instructions rapides et obtenir le meilleur score. Je n'ai pas intentionnellement utilisé les assertions.

Voici ce que j'ai aimé:

J'ai utilisé l'ensemble de données COLA, qui comprend des phrases de 23 publications linguistiques annotées pour la grammaticalité, je voulais des sorties avec "Just the Label" (pas d'explications ou de mots supplémentaires). DSPY a généré des instructions qui ont bien fonctionné, assurant une exactitude grammaticale:

Instruction originale: Vérifiez si la phrase est correcte (1) ou non (0)

Instruction optimisée: déterminez si la phrase donnée adhère aux règles de grammaire anglaise standard en sortant un «1» pour grammaticalement et «0» pour incorrect.

Le bootstrapfewshot et l'optimiseur de signature sont d'excellents points de départ.

ce qui pourrait être amélioré:

DSPY déclare: "Une fois la formation terminée, vous aurez de meilleures instructions et préfixes pour modifier manuellement la signature." Cependant, je crois que la post-compilation, l'outil devrait être prêt à prédire. L'optimiseur d'instructions a besoin de plus de flexibilité pour un ajustement plus facile, comme une meilleure compatibilité avec d'autres langues. Alternativement, la création d'un programme pour l'optimiseur de signature pour modifier les invites au besoin serait bénéfique.

C'est un concept cool, mais je suppose qu'en tant que cadre, il a encore besoin d'amélioration. Connectez-vous avec moi si vous avez un projet / intérêt commun intéressant.

gihub repo