我最近用phi3測試了DSPY,旨在使用Copro來完善及時的說明並獲得最佳分數。我故意不使用斷言。
我使用的是可樂數據集,其中包括來自23個語法註釋的23個語言出版物的句子,我希望使用“ Just the Label”輸出(沒有解釋或額外的單詞)。 DSPY生成了表現良好的指令,確保語法正確性:
原始指令:檢查句子是否正確(1)(0)
優化指令:通過輸出“ 1”以使語法上正確的“ 1”來確定給定的句子是否符合標準的英語語法規則,而對於不正確的“ 0”。
BootstrapFewShot和簽名優化器都是很棒的起點。
可以改進的東西:DSPY指出:“完成培訓後,您將有更好的說明和前綴可以在簽名中進行編輯。”但是,我認為兼容後,該工具應該可以預測。指令優化器需要更大的靈活性,以易於調整,例如與其他語言更好的兼容性。或者,為簽名優化器創建程序以根據需要調整提示是有益的。
這是一個很酷的概念,但我想作為一個框架,它仍然需要改進。如果您有一個有趣的項目/共同興趣,請與我聯繫。
gihub repo
免責聲明: 提供的所有資源部分來自互聯網,如果有侵犯您的版權或其他權益,請說明詳細緣由並提供版權或權益證明然後發到郵箱:[email protected] 我們會在第一時間內為您處理。
Copyright© 2022 湘ICP备2022001581号-3