Tesztidő alatti számításoptimalizálás és chain-of-thought promptolás a modell teljesítményének javítására

Kirás éve: 2025 | Státusz: nyitott

Ez a kutatás a nagy nyelvi modellek (LLM-ek) tesztelési teljesítményének növelésére összpontosít, elkerülve a költséges újratanítást. A megoldás két kulcsfontosságú technika kombinációján alapul: a "Chain-of-Thought" (CoT) promptolás és egy újszerű mintavételezési eljárás.

Probléma

Az LLM-ek gyakran nehezen birkóznak meg összetett feladatokkal, hibás vagy logikailag inkoherens válaszokat adhatnak.

Módszertan

CoT Promptolás: A bemeneti kérdéseket úgy alakítjuk, hogy a modell köztes gondolatmeneteket generáljon, mielőtt a végső választ megadná. Ez egy emberi gondolkodási lánchoz hasonlít, és növeli a pontosságot. (Pl.: "Franciaország Európában van. Egy ország fővárosa általában a legnagyobb városa. Mi Franciaország legnagyobb városa, és valószínűleg ez a fővárosa is?")

Újszerű Mintavételezési Eljárás: A hagyományos mintavételezési módszerek (pl., top-k) gyakran a legvalószínűbb következő szót választják, ami lokális optimumokhoz és ismétlődő szöveghez vezethet. Az újszerű eljárás a szöveg generálása közben módosítja a bemenetet, hogy a modellt a helyes irányba terelje.
Ez magában foglalhatja:

A már generált, de a modell által még nem "látott" szöveg (tehát a prompt egy része) átfogalmazását, pontosítását.
További, a gondolatmenetet segítő információk hozzáadását a prompt-hoz a generálás során.
A modell által generált, de még nem véglegesített köztes gondolatmenetek értékelését, és ezek alapján a bemenet adaptív módosítását.

Marosi Márk

doktorandusz
marosi (*) mit * bme * hu