Bildschirm Bild abgreifen und Farben berechnen

Hi liebe c++ Community!

Ich bin zwar in Sachen programmieren noch eher ein Anfänger aber ich würde gern ein Prgramm schreiben, dass mir das momentane zu sehende Bild abgreift und eine bzw mehrere durchschnittliche Farben berechnet.

Mit mehreren durchschnittlichen Farben meine ich das ich gern das Bild sagen wir horentzental und vertikal in z.B. 16 Teile teile und jeweils von jedem Teil die durchschnittliche Farbe berechne.
Natürlich in Realtime.
Und auch wenn andere Programme wie z.B. ein Mediaplayer läuft. Da kann man ja durch einen normalen Screenshot ja auch nicht das momentane Bild des Videos abgreifen.
Ahhja und wenn möglich für Linux und Windows ^^

Jetzt meine Fragen:

Ist dass dann sehr rechenintensiv oder macht das die CPU ohne Probleme nebenbei. Oder sollte man das auf die GPU auslasten?
Wie bewerkstellige ich das am besten? Also welche "Schnittstellen" kann ich da am besten zugreifen? Also welche Windows bzw Linux Bibliotheken oder muss ich die Grafikkarte da direkt ansprechen? Kann mir da z.B. Nvidias CUDA weiterhelfen?

Danke für eure Hilfe!

Gruß V. Kaiser