std::fstream stream( fileName, std::ios::in | std::ios::binary );
if( !stream )
//Fehlerbehandlung + return

//nur zur Beschleunigung im Debug
size_t start = stream.tellg();
stream.seekg( 0, std::ios::end );
size_t end = stream.tellg();
steam.seekg( 0, std::ios::beg );
size_t size = end - start;

char temp;
unsigned char * pVals = new unsigned char[size + 1];

for( int i = 0; stream; ++i )
{
    stream.get( temp );
    pVals[i] = (unsigned char) temp;
}

std::vector<unsigned char> vec( pVals, pVals + size );
delete [] pVals;
pVals = NULL;

Das Ganze mit dem Array ist eigentlich lediglich für die Beschleunigung des IOs im Debug Modus, da ein Vektor im Debug ziemlich viel Overhead erzeugt und von daher große Wartezeiten vorhanden sind, im Release wird das Ganze vermutlich geändert.
Gibt es irgendwie eine schöne(re)/schnelle(re) Möglichkeit das Ganze zu bauen, oder ist dies eine der wenigen Möglchkeiten?
thx so far

2. Den Zwischenschritt über pVals brauchst Du aber auch nicht. Lies direkt in die Vectorelemente ein.

3. Mit einem istreambuf_iterator kannst Du - meine ich - auch direkt die Datei in den Vector "kopieren".

vector<unsigned char> vec( (istreambuf_iterator<char>(stream)), istreambuf_iterator<char>());

Beachte die zusätzlichen Klammern um das erste Argument. Sonst hast Du hinterher eine Funktion und keinen Vector

EDIT:
Da mir das ganze ein wenig zu lang gedauert hat (und es sich um eine zeitkritische Anwendung handelt), habe ich es nun wie folgt gelöst:

//Größe der Datei ermitteln, wie im Original-Post
std::vector<unsigned char> vec( size );
stream.read( (char *) &vec[0], size );

Ist das in Ordnung, also darf man das verwenden ohne, dass es irgendwo knallt?

std::ifstream stream(file_name.c_str(), std::ios_base::binary | std::ios_base::ate);
if (!stream) return false;

const std::size_t size(stream.tellg());
stream.seekg(0, std::ios_base::beg);

std::vector<unsigned char> data(size);
stream.read(reinterpret_cast<char*>(&data[0]), size);

sollte dann wohl so sein, wie du es haben willst.

Ist das in Ordnung, also darf man das verwenden ohne, dass es irgendwo knallt?

Oder kurz: Ja, darf man