Testei recentemente o DSPY com o PHI3, com o objetivo de usar o Copro para refinar as instruções imediatas e obter a melhor pontuação. Eu intencionalmente não usei asserções.

aqui está o que eu gostei:

usei o conjunto de dados Cola, que inclui frases de 23 publicações linguísticas anotadas para gramaticalidade, eu queria saídas com "apenas o rótulo" (sem explicações ou palavras extras). Instruções geradas por DSPY que tiveram um bom desempenho, garantindo correção gramatical:

Instrução original: Verifique se a frase está correta (1) ou não (0)

Instrução otimizada: determine se a frase fornecida adere às regras gramaticais em inglês padrão, produzindo um '1' para gramaticalmente correto e '0' para incorreto.

Tanto o BootstrapFowshot quanto o otimizador de assinatura são ótimos pontos de partida.

o que poderia ser melhorado:

DSPY afirma: "Depois que o treinamento for concluído, você terá melhores instruções e prefixos para editar na assinatura manualmente". No entanto, acredito que pós-compilação, a ferramenta deve estar pronta para prever. O otimizador de instruções precisa de mais flexibilidade para facilitar o ajuste, como melhor compatibilidade com outros idiomas. Como alternativa, criar um programa para o otimizador de assinatura para ajustar os avisos conforme necessário seria benéfico.

é um conceito legal, mas acho que, como estrutura, ainda precisa de melhorias. Conecte -se comigo se você tiver um projeto interessante/interesses comuns.

gihub repo