Recientemente probé DSPY con Phi3, con el objetivo de usar COPRO para refinar las instrucciones de inmediato y lograr la mejor puntuación. Intencionalmente no usé afirmaciones.

aquí es lo que me gustó:

Usé el conjunto de datos COLA, que incluye oraciones de 23 publicaciones lingüísticas anotadas para gramaticalidad, quería salidas con "solo la etiqueta" (sin explicaciones o palabras adicionales). DSPY generó instrucciones que funcionaron bien, asegurando la corrección gramatical:

Instrucción original: verifique si la oración es correcta (1) o no (0)

Instrucción optimizada: Determine si la oración dada se adhiere a las reglas de gramática inglesa estándar al emitir un '1' para gramaticalmente correcto y '0' para incorrecto.

tanto el bootstrapfewshot como el optimizador de firmas son excelentes puntos de partida.

¿Qué podría mejorarse?

DSPY establece: "Una vez que se realice la capacitación, tendrá mejores instrucciones y prefijos para editar en la firma manualmente". Sin embargo, creo que después de la compilación, la herramienta debería estar lista para predecir. El optimizador de instrucciones necesita más flexibilidad para ajustes más fáciles, como una mejor compatibilidad con otros idiomas. Alternativamente, crear un programa para el optimizador de firma para ajustar las indicaciones según sea necesario sería beneficioso.

Es un concepto genial, pero supongo que como marco todavía necesita una mejora. Conéctese conmigo si tiene un proyecto interesante/intereses comunes.

gihub repo