我最近用phi3测试了DSPY,旨在使用Copro来完善及时的说明并获得最佳分数。我故意不使用断言。
我使用的是可乐数据集,其中包括来自23个语法注释的23个语言出版物的句子,我希望使用“ Just the Label”输出(没有解释或额外的单词)。 DSPY生成了表现良好的指令,确保语法正确性:
原始指令:检查句子是否正确(1)(0)
优化指令:通过输出“ 1”以使语法上正确的“ 1”来确定给定的句子是否符合标准的英语语法规则,而对于不正确的“ 0”。
BootstrapFewShot和签名优化器都是很棒的起点。
可以改进的东西:DSPY指出:“完成培训后,您将有更好的说明和前缀可以在签名中进行编辑。”但是,我认为兼容后,该工具应该可以预测。指令优化器需要更大的灵活性,以易于调整,例如与其他语言更好的兼容性。或者,为签名优化器创建程序以根据需要调整提示是有益的。
这是一个很酷的概念,但我想作为一个框架,它仍然需要改进。如果您有一个有趣的项目/共同兴趣,请与我联系。
gihub repo
免责声明: 提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发到邮箱:[email protected] 我们会第一时间内为您处理。
Copyright© 2022 湘ICP备2022001581号-3