最近、PHI3でDSPYをテストしました。Coproを使用して迅速な指示を改善し、最高のスコアを達成することを目指しています。私は意図的にアサーションを使用しませんでした。

ここに私が好きなことがあります：

私は、文法のために注釈された23の言語出版物からの文を含むCola Datasetを使用しました。 dspyはうまく機能する指示を生成し、文法的正しさを確保する：

元の命令：文が正しいかどうかを確認します（1）かどうか（0）

最適化された命令：指定された文が文法的に正しい場合は「1」を出力し、誤った「0」を出力することにより、標準の英語文法ルールを順守するかどうかを判断します。

Bootstrapfewshotと署名オプティマイザーの両方が素晴らしい出発点です。

改善できるもの：

dspyは、「トレーニングが完了すると、署名を手動で編集するためのより良い指示とプレフィックスがあります。」ただし、コンパイル後のツールは予測する準備ができている必要があると思います。命令オプティマイザーは、他の言語とのより良い互換性など、微調整を容易にするために、より柔軟にする必要があります。あるいは、必要に応じてプロンプトを微調整するための署名オプティマイザーのプログラムを作成することは有益です。

それはクールな概念ですが、フレームワークとしてはまだ改善が必要だと思います。興味深いプロジェクト/共通の関心がある場合は、私とつながりましょう。

gihub repo