Echte Zufallszahlen keine pseudo ( CryptGenRandom )



  • Bashar schrieb:

    Woher kommt diese Anforderung?

    Das ist die Definition. Wozu braucht man mehr Bits als nötig, um ein Zeichen eindeutig darstellen zu können?

    Bashar schrieb:

    OK, dann so.

    Versteh' mich nicht falsch, ich habe nichts gegen den Begriff, nur muss einem klar sein, dass die Bits eines Zeichens bei einem hohen Informationsgehalt eben wenig Information tragen.

    Bashar schrieb:

    Wie hoch ist die self-information von 'A'? Wie hoch die von '\0'? Ich würde mal vermuten, dass sie jeweils 1/256 sind,

    Streng genommen nicht, das sind die relativen Auftreffwahrscheinlichkeiten. Der Informationsgehalt ist jeweils 8 (=log21256= -\log_2\frac{1}{256}) Bit.

    Bashar schrieb:

    auch wenn 00000000 nicht nach Rauschen "aussieht".

    Was verstehst du formal unter "Rauschen"?



  • Jodocus schrieb:

    Bashar schrieb:

    Woher kommt diese Anforderung?

    Das ist die Definition.

    Die Definition wovon?

    Wozu braucht man mehr Bits als nötig, um ein Zeichen eindeutig darstellen zu können?

    Ich sehe nicht den Zusammenhang.

    Bashar schrieb:

    Wie hoch ist die self-information von 'A'? Wie hoch die von '\0'? Ich würde mal vermuten, dass sie jeweils 1/256 sind,

    Streng genommen nicht, das sind die relativen Auftreffwahrscheinlichkeiten. Der Informationsgehalt ist jeweils 8 (=log21256= -\log_2\frac{1}{256}) Bit.

    Bashar schrieb:

    auch wenn 00000000 nicht nach Rauschen "aussieht".

    Was verstehst du formal unter "Rauschen"?

    Das "" ist meine Markierung für informal. Sorry, falls das nicht klar war. Du musst dich darauf nicht konzentrieren, das ist nur mein Versuch, aus deinem Verweis auf die self-information schlau zu werden.



  • Bashar schrieb:

    Jodocus schrieb:

    Bashar schrieb:

    Woher kommt diese Anforderung?

    Das ist die Definition.

    Die Definition wovon?

    Na die vom Informationsgehalt. Ziel der Geschichte war doch, die effizienteste (hier kleinste) Möglichkeit der Kodierung eines Zeichens zu finden. Die findet man in der Zahl des Informationsgehaltes.

    Bashar schrieb:

    Das "" ist meine Markierung für informal. Sorry, falls das nicht klar war. Du musst dich darauf nicht konzentrieren, das ist nur mein Versuch, aus deinem Verweis auf die self-information schlau zu werden.

    An der Stelle bringt die Überlegung tatsächlich nichts gescheites, denn ich bin auf die Nomenklatur in der Informationstheorie reingefallen: der Begriff Informationsgehalt ist schon irreführend, aber der Shannon-Begriff der Information noch mehr. Ich dachte bisher immer, dass die sog. "syntaktische"/"Shannon-" und "semantische" Information das gleiche sind und dass die Widersprüche aus meinem Unverständnis resultieren, aber die resultieren viel mehr aus dem Unverständnis von Shannon (bzw. der 40er).

    Lösung: Gleichverteiltes Rauschen hat die größte Shannon-Entropie, also nach Shannons Interpretation des Informationsbegriffs die kleinst mögliche Information (bzw. garkeine, wenn man so will, so wie man in der stat. Physik keine über die Mikrozustände hat, und hier gilt ja auch Gleichverteilung und demnach die größtmögliche Shannon-Entropie lnΩ\propto \ln\Omega). Eine abweichende Verteilung würde schon mehr Information bedeuten.
    Für den unformalen Informationsbegriff können sich Philosophen kümmern, da gibts Argumente dafür, dagegen oder dafür, dass man keine Aussage machen kann, ob Rauschen nun Information enthält oder nicht.



  • Jodocus schrieb:

    Bashar schrieb:

    Jodocus schrieb:

    Bashar schrieb:

    Woher kommt diese Anforderung?

    Das ist die Definition.

    Die Definition wovon?

    Na die vom Informationsgehalt. Ziel der Geschichte war doch, die effizienteste (hier kleinste) Möglichkeit der Kodierung eines Zeichens zu finden. Die findet man in der Zahl des Informationsgehaltes.

    Und woher kommt jetzt die Anforderung, dass der Informationsgehalt darüber hinaus minimal zu sein hat?

    Ich zitiere dich nochmal:

    Der Informationsgehalt eines Zeichens drückt sich darin aus, wie viele Bits man zu dessen Darstellung mindestens benötigt. Wenn der Erwartungswert des Informationsgehaltes (= die Entropie) nun den maximalen Wert (in Abh. der Auftrittswahrscheinlichkeit) annimmt, spricht das nicht gerade für die Extremalanforderung an den Informationsgehalt, so klein zu sein wie nur möglich.

    Im Falle einer gleichverteilten Zufallsvariable ist die minimale Codierungslänge, also der Informationsgehalt, einfach mal sehr groß. Wo ist denn da der Widerspruch?

    An der Stelle bringt die Überlegung tatsächlich nichts gescheites, denn ich bin auf die Nomenklatur in der Informationstheorie reingefallen: der Begriff Informationsgehalt ist schon irreführend, aber der Shannon-Begriff der Information noch mehr. Ich dachte bisher immer, dass die sog. "syntaktische"/"Shannon-" und "semantische" Information das gleiche sind und dass die Widersprüche aus meinem Unverständnis resultieren, aber die resultieren viel mehr aus dem Unverständnis von Shannon (bzw. der 40er).

    Da bin ich mir nicht so sicher, dass das Unverständnis auf Seiten Shannons liegt. Der Informationsgehalt einer Nachricht besteht intuitiv darin, dass du etwas erfährst, was du noch nicht wusstest, das passt wunderbar zum Entropiebegriff.

    Lösung: Gleichverteiltes Rauschen hat die größte Shannon-Entropie, also nach Shannons Interpretation des Informationsbegriffs die kleinst mögliche Information

    Nanu? Ich denke doch, dass es die größtmögliche Information bedeutet.

    Aber du sagtest ja auch, dass Shannon das falsch sieht. Wie ist es denn nun richtig?

    BTW ich habe keine Zeit, den verlinkten Artikel zu lesen.



  • Bashar schrieb:

    BTW ich habe keine Zeit, den verlinkten Artikel zu lesen.

    Ist auch nicht nötig. Kurzfassung:

    Artikel schrieb:

    Es ging in diesem Aufsatz nicht darum, was Information ist, sondern um das, was sie nicht ist.



  • Bashar schrieb:

    Jodocus schrieb:

    Bashar schrieb:

    Jodocus schrieb:

    Bashar schrieb:

    Woher kommt diese Anforderung?

    Das ist die Definition.

    Die Definition wovon?

    Na die vom Informationsgehalt. Ziel der Geschichte war doch, die effizienteste (hier kleinste) Möglichkeit der Kodierung eines Zeichens zu finden. Die findet man in der Zahl des Informationsgehaltes.

    Und woher kommt jetzt die Anforderung, dass der Informationsgehalt darüber hinaus minimal zu sein hat?

    Ich zitiere dich nochmal:

    Der Informationsgehalt eines Zeichens drückt sich darin aus, wie viele Bits man zu dessen Darstellung mindestens benötigt. Wenn der Erwartungswert des Informationsgehaltes (= die Entropie) nun den maximalen Wert (in Abh. der Auftrittswahrscheinlichkeit) annimmt, spricht das nicht gerade für die Extremalanforderung an den Informationsgehalt, so klein zu sein wie nur möglich.

    Im Falle einer gleichverteilten Zufallsvariable ist die minimale Codierungslänge, also der Informationsgehalt, einfach mal sehr groß. Wo ist denn da der Widerspruch?

    Nochmal: Bei einer gleichverteilten Zufallsvariable (also mit gleichgroßem Informationsgehalt für jedes Zeichen) trägt ein einzelnes Bit sehr wenig Information, da du sehr viele brauchst, um das Zeichen zu kodieren. Da ist kein Widerspruch (habe ich auch nicht behauptet). Warum hängst du dich jetzt an diesem Begriff so auf?

    Bashar schrieb:

    An der Stelle bringt die Überlegung tatsächlich nichts gescheites, denn ich bin auf die Nomenklatur in der Informationstheorie reingefallen: der Begriff Informationsgehalt ist schon irreführend, aber der Shannon-Begriff der Information noch mehr. Ich dachte bisher immer, dass die sog. "syntaktische"/"Shannon-" und "semantische" Information das gleiche sind und dass die Widersprüche aus meinem Unverständnis resultieren, aber die resultieren viel mehr aus dem Unverständnis von Shannon (bzw. der 40er).

    Da bin ich mir nicht so sicher, dass das Unverständnis auf Seiten Shannons liegt. Der Informationsgehalt einer Nachricht besteht intuitiv darin, dass du etwas erfährst, was du noch nicht wusstest, das passt wunderbar zum Entropiebegriff.

    Es gibt keine einheitliche Definition von Information. Erkläre mir erst mal, was du unter Information verstehst, andernfalls bringt das hier nichts. Wenn du die intuitive meinst, dann bist du mit einer Erklärung dieses Informationsbegriffs über die Entropie auf dem Holzweg. Das funktioniert nicht.

    Bashar schrieb:

    Lösung: Gleichverteiltes Rauschen hat die größte Shannon-Entropie, also nach Shannons Interpretation des Informationsbegriffs die kleinst mögliche Information

    Nanu? Ich denke doch, dass es die größtmögliche Information bedeutet.

    Nicht nach der üblichen Interpretation. Wenn du z.B. ein physikalisches System im therm. GG hast, ist seine Entropie auch maximal und dabei hast du so gut wie garkeine Information über den Mikrozustand des Systems. Genau so lässt sich eine hohe Entropie durch ein hohes Maß an fehlender Information (und zwar die Intuitive) interpretieren. Das ist nicht formalisierbar, da fehlt einfach eine Definition für Information.

    Bashar schrieb:

    Aber du sagtest ja auch, dass Shannon das falsch sieht. Wie ist es denn nun richtig?

    Shannon's Annahme, Information stamme aus der bestmöglichen Zahl zur Kodierung einer Nachricht, dessen Zeichen aus einer W'keitsverteilung stammen, ist überhaupt nicht konform mit dem geläufigen Verständnis von Information. brennessel und nebeslsrne haben die gleiche W'keitsverteilung/Shannon-Entropie und trotzdem hat letzteres keine Information, das erste hingegen schon. Es gibt keinen Zusammenhang zwischen Shannon-Information und "echter" Information.
    Was zu einer Information gehört, ist, wie man sie interpretiert, das ist (bisher) nicht formalisierbar.

    Bashar schrieb:

    BTW ich habe keine Zeit, den verlinkten Artikel zu lesen.

    Ich hab ihn auch nicht durchgelesen. Die ersten 3,4 Seiten beinhalten bereits das Problem, dass der Informationsbegriff nicht klar getrennt wird und fälschlicherweise angenommen wird, dass man mit Shannonentropie irgendeine Aussage machen kann, ob eine Nachricht Informationen trägt oder nur "rauscht".



  • Jodocus schrieb:

    brennessel und nebeslsrne haben die gleiche W'keitsverteilung/Shannon-Entropie und trotzdem hat letzteres keine Information, das erste hingegen schon.

    Kneie Itinaofmron? Nien, dem mchtöe ich wihsrepeecrdn! Igndreiwe elhtnät "nbrenssele" dcoh ncoh rchet veil Iromatiofnn. Zum Biewes vserclülhssee ich deeiss Pistong mit dem Brwvteclufbneheesarür auf http://www.puknoipatm.net/ochehusuteaegntscipn/bastucbehn-msehcir.php und man wrid eeekrnnn, daß im recethn Ketoxnt "nbeesrlnse" ncoh 100% eähtlnt, das Sginal ist hseöcnths wenig vrurshacet zu nnneen.
    (Ok, die URL ist ein wneig apslohurcsnvl.)

    Jodocus schrieb:

    und fälschlicherweise angenommen wird, dass man mit Shannonentropie irgendeine Aussage machen kann, ob eine Nachricht Informationen trägt oder nur "rauscht".

    Jo, sobald das Wort "Information" fällt, weiß jeder bescheid, aber evtl nur in seinem Fach
    http://de.wikipedia.org/wiki/Information#Der_Begriff_in_verschiedenen_Wissenschaften
    Wir sollten mal Profis dazu befragen, die professionell Information verbreiten.
    http://blog.fti.de/wp-content/uploads/2014/01/Informationsschild_117950668-880x320.jpg

    () hihi, ausgrechnet "aslropscuvnhl" ist ausgerechnet "aslropscuvnhl".



  • knivil schrieb:

    @Hi & determined: http://www.youtube.com/watch?v=5KT2BJzAwbU 🙂

    nett getrollt.

    ich bezog mich explizit auf "echte zufallszahlen". dabei beschränke ich mich nicht auf ein system. echten zufall gibt es nach wie vor nicht im kontext unseres universums, solange einflussfaktoren deterministischer kausalität unterliegen. unterschieden wird hier nur anhand des systems. im praktischen fall also zwischen system "computer" und system "aussenumstand". wenn wir nun für die generierung von zufallswerten hilfe von außen nehmen, also z.b. durch rauschen oder andere dinge, dann sind die zufallszahlen innerhalb des systems "computer" nicht reproduzierbar, da die externe "hilfe" nicht miteinbezogen wird. auch weil der zugriff aus dem system "computer" heraus zum "aussenumstand" nicht wirklich gegeben sein wird. tut man dies aber doch, dann lässt es sich prinzipiell reproduzieren, allerdings ist dieser aufwand natürlich u.U. sehr groß. trotzdem unterliegt der "aussemumstand" auch der d.K. und ist reproduzierbar. aus dem system "computer" heraus wird dies aber wohl keiner praktisch machen. wirklich echter zufall ist also so nicht möglich, nur durch systemabgrenzung beschreibt man zufall als zufall im kontext eines spezifischen systems ohne rücksicht auf die aussenumstände, die, sofern nicht metaphysisch, auch der d.K. unterliegen.

    konklusion: es ist prinzipiell IMMER reproduzierbar, sofern man sich die mühe dazu macht. das wort zufall benutzt man dann nur bei der systemabgrenzung. nimmst du beide systeme aber zusammen, dann kannst du es reproduzieren.

    mit "echten zufallszahlen" meinte ich durch wirklichen zufall erzeugte werte, also komplett NICHTDETERMINISTISCH!



  • lol 🙂



  • Nix lol, wir können nix dafür, dass du beschränkt denkst.



  • OT/@ Unregs: Vor 100 Jahren wurde etwas entwickelt, was sich Quantenmechanik schmipft. Beschäftigt euch mal damit.



  • Popo schrieb:

    Nix lol, wir können nix dafür, dass du beschränkt denkst.

    #include "/universum/milchstraße/sol/kosmologie/lesch/quanten/zufall/zufall/zufall"
    #define tellen weilchen
    

    und wundere Dich.



  • Jodocus schrieb:

    OT/@ Unregs: Vor 100 Jahren wurde etwas entwickelt, was sich Quantenmechanik schmipft. Beschäftigt euch mal damit.

    was soll das jetzt falsifizieren?



  • okkkk schrieb:

    Jodocus schrieb:

    OT/@ Unregs: Vor 100 Jahren wurde etwas entwickelt, was sich Quantenmechanik schmipft. Beschäftigt euch mal damit.

    was soll das jetzt falsifizieren?

    Man kann nur eine These falsifizieren, die greifbar ist, sicher nicht eine, wo der Urheber alle zwei Postings den Namen wechselt und stets verschwindet, wenn man ihn logisch an den Eiern packt. Sorry, keine ernsthaften Diskussionen mit unregs.



  • was soll das jetzt falsifizieren?

    Glaubst du, dass insbesondere die relativistische Quantenmechanik stimmt? Ja? Auch die Quantenfeldtheorien? Okay. Wie interpretierst du diese denn deterministisch? Mit einer verborgenen Variable?



  • volkard schrieb:

    okkkk schrieb:

    Jodocus schrieb:

    OT/@ Unregs: Vor 100 Jahren wurde etwas entwickelt, was sich Quantenmechanik schmipft. Beschäftigt euch mal damit.

    was soll das jetzt falsifizieren?

    Man kann nur eine These falsifizieren, die greifbar ist, sicher nicht eine, wo der Urheber alle zwei Postings den Namen wechselt und stets verschwindet, wenn man ihn logisch an den Eiern packt. Sorry, keine ernsthaften Diskussionen mit unregs.

    das war jetzt getrollt, oder?



  • Wie wäre es, wenn man evtl. eine oder mehrere der folgenden Punkte mit in die Generierung der Zufallszahl einfliesen lässt?

    - MAC-Adresse (Hardware)
    - Seriennummer CPU / HDD (Hardware)
    - eine bestimmte Größe des Datenverkehrs über die Netzwerkkarte verwenden
    - eine bestimmte Größe des Streams des Soundbuffers verwenden.
    - Screenshot erstellen und diese Daten mit einfließen lassen.



  • va!n schrieb:

    Wie wäre es, wenn man evtl. eine oder mehrere der folgenden Punkte mit in die Generierung der Zufallszahl einfliesen lässt?

    - MAC-Adresse (Hardware)
    - Seriennummer CPU / HDD (Hardware)
    - eine bestimmte Größe des Datenverkehrs über die Netzwerkkarte verwenden
    - eine bestimmte Größe des Streams des Soundbuffers verwenden.
    - Screenshot erstellen und diese Daten mit einfließen lassen.

    Je nach Zweck.
    Gehts um Anonymiität (maximalen Zufall), dann darf man all das eben genau nicht einfließen lassen.

    http://de.wikipedia.org/wiki/Universally_Unique_Identifier



  • knivil schrieb:

    Weil du das Rauschen wahrnehmen kannst ist es eine Information

    Nein, das ist die Definition eines Signals .. ich kann es messen. Information muss es trotzdem nicht enthalten.

    Da hast du Recht. Aber in meinem Kontext : Ich messe das Rauschen was man nicht deterministisch erklären kann also ein Wert den ich messe der für mich zufällig erscheint. Wenn ich nun diesen für meinen Anschein zufälligen Wert nehme und mit diesem meine Verschlüsselung realisiere, dann ist dieser gemessene Wert für mich eine sehr wertvolle Information. Es häng also vom Kontext ab.

    Ob das Universum determistisch ist ist nur eine These der Beweis fehlt.



  • volkard schrieb:

    Je nach Zweck.
    Gehts um Anonymiität (maximalen Zufall), dann darf man all das eben genau nicht einfließen lassen.

    Schmarrn.
    Da rechnet man rein was man reinrechnen will, und dann anonymisiert man das ganze durch nen cryptographisch sicheren Hash.


Anmelden zum Antworten