Napjainkban a neurális paradigmán alapú, gépi tanulást alkalmazó megoldások számos problématerületen pontosságban, robusztusságban megelőzik az algoritmikus megközelítéseken alapuló megoldásokat. Gyakorlati alkalmazásuk során azonban sokszor jelentős korlát azok nagy számítási erőforrásigénye mind a tanítás során (pl. tanszformer architektúrán alapuló megoldások), mind következtetési módban (pl. valós idejű objektumdetekció ADAS rendszereknél).

Általános trend, hogy a számítási erőforrásigény redukciója kikerült az új megközelítések, fejlesztések fókuszából, azonban egy optimalizált, erőforráshatékony neurális hálózat alapú megoldás jelentősen mérsékelheti azok költségigényét, lehetővé teheti gyengébb hardware-eken történő alkalmazhatóságukat, vagy akár azonos hardware-eken robusztusabb alkalmazásukat is (pl. ensemble módszerek használatával). Érdemes továbbá azt is figyelembe venni, hogy a legtöbb neurális hálózat alapú megoldás erősen redundáns számításokat végez, memória, illetve számításigénye kvantálással, nyeséssel, ritkító regularizációkkal hatékonyan csökkenthető.

Megvalósítható feladatok:

A hallgató saját ötletével is megkereshet, de a teljesség igénye nélkül pár, konkrét feladat:

• Tanítás során a háló architektúráját ritkító regularizációk alkalmazása
• Tanítás során előre meghatározott számábrázolási pontosság szerint kvantált architektúra létrehozása
• Tudás disztilláció alapú architektúra regularizáció
• Attention rétegek, szekvenciális hálózatok tanításának gyorsítása (adaptív „kiterítési” módszerekkel).

Szükséges kompetenciák:

Elhivatottság, motiváció a neurális hálózatok viselkedésének részleteikben történő megismerésére. Python gépi tanulási könyvtárainak gyakorlati alkalmazása. Szükséges matematikai apparátus iránti érdeklődés (numerikus optimalizáció módszerei, analízis, statisztika), jó kudarctűrés (nem csak egy konzerv megoldás felparaméterezése a feladat).

Hallgató számára mit nyújt a téma:

Szakdolgozat, diplomamunka írása mellett a téma alkalmas arra, hogy eredményeit TDK konferencián is prezentáljuk. Mivel a célzott feladatok számos, gyakorlati probléma megoldása esetén is relevánsak lehetnek, ezért tanszéki-ipari együttműködésekben történő részvétel, valamint nemzetközi, tudományos fórumokon történő prezentáció is lehetséges. Abban az esetben is sokat profitálhat a Hallgató, ha a konkrét, választott feladat esetén nem sikerül átütő eredményt elérnie (hiszen alaposan megismerheti olyan eszközök működését, melyek a számítástechnika területén egyre fontosabbá válnak).