Auf der Grafikkarte zu "beschleunigen" macht ja nur Sinn wenn du etwas hast was stark floating point arithmetic nutzt, aber es ist immer noch langsamer als wenn du etwas hast das direkt in Hardware vorhanden ist.

Um es kurz zu machen:
Video decoding auf der CPU: Langsam
Video decoding auf der GPU: Mittel
Video decoding direkt in Hardware: Am schnellsten

Klar, für Software brauchst du Hardware, aber etwas das in Software geschrieben ist und auf Hardware läuft ist langsamer als wenn du das direkt in der Hardware verdrahten kannst. Das ist auch der Unterschied und da besteht eine ganz klare Linie.