я недавно проверил DSPY с PHI3, стремясь использовать Copro, чтобы уточнить инструкции по быстрому обращению и достичь наилучшей оценки. Я намеренно не использовал утверждения.

вот что мне понравилось:

я использовал набор данных COLA, который включает в себя предложения из 23 лингвистических публикаций, аннотированных для грамматичности, я хотел результатов с «просто меткой» (никаких объяснений или дополнительных слов). DSPY, сгенерированные инструкции, которые работали хорошо, обеспечивая грамматическую правильность:

исходная инструкция: проверьте, правильно ли предложение (1) или нет (0)

Оптимизированная инструкция: Определите, соответствует ли данное предложение стандартным правилам английской грамматики, выводя «1» для грамматически правильного и '0' для неверного.

как Bootstrapfewshot, так и оптимизатор подписи являются отличными отправными точками.

Что можно улучшить:

dspy утверждает: «Как только обучение будет проведено, у вас будут лучшие инструкции и префиксы для редактирования в подписи вручную». Тем не менее, я считаю, что посткомпиляция, инструмент должен быть готов к предсказанию. Оптимизатор инструкций требует большей гибкости для облегчения настройки, такой как лучшая совместимость с другими языками. В качестве альтернативы, создание программы для оптимизатора подписи для настройки подсказок по мере необходимости было бы полезно.

это классная концепция, но я думаю, что в качестве рамки он все еще нуждается в улучшении. Свяжитесь со мной, если у вас есть интересный проект/общие интересы.

gihub Repo