나는 최근에 phi3로 dspy를 테스트하여 Copro를 사용하여 신속한 지침을 개선하고 최고의 점수를 얻는 것을 목표로했습니다. 나는 의도적으로 주장을 사용하지 않았다.

여기 내가 좋아하는 것이 있습니다 :

나는 문법을 위해 주석이 달린 23 개의 언어 출판물의 문장을 포함하는 Cola 데이터 세트를 사용했는데, "라벨"(설명 또는 추가 단어 없음)이있는 출력을 원했습니다. DSPY는 잘 수행 된 지침을 생성하여 문법적 정확성을 보장합니다.

원본 명령 : 문장이 올바른지 확인하십시오 (1) [0)

최적화 된 명령 : 주어진 문장이 문법적으로 올바르게 '1'을 출력하여 표준 영어 문법 규칙을 준수하고 '0'이 잘못된 경우

BootstrapFewShot과 Signature Optimizer는 모두 훌륭한 출발점입니다.

개선 될 수있는 것 :

dspy는 "교육이 완료되면 수동으로 서명을 편집 할 수있는 더 나은 지침과 접두사가있을 것"이라고 말합니다. 그러나 컴파일 후 도구는 예측할 준비가되어 있어야한다고 생각합니다. 명령어 최적화는 다른 언어와의 더 나은 호환성과 같이 쉽게 조정하기 위해 더 많은 유연성이 필요합니다. 또는 필요에 따라 프롬프트를 조정할 수있는 서명 최적화 프로그램을 만드는 프로그램을 만드는 것이 도움이 될 것입니다.

그것은 멋진 개념이지만 프레임 워크로서 여전히 개선이 필요하다고 생각합니다. 흥미로운 프로젝트/공통 관심사가 있으면 나와 연결하십시오.

Gihub Repo