neuronales netz
-
hi,
ich will eine XOR funktion erlernen will mit einem neuronalen netz. dazu will ich den backpropagation algo anwenden...
ich habe 3 layer: 1 input, 1 hidden und 1 output layer.
dann brauch ich also 2 input nodes, x hidden nodes, und 1 output node...
woher weiss ich wie viele hidden nodes ich da brauche?
woher weiss ich wie viele hidden layer ich brauche?lg
-
Lernt der Inputlayer irgendwas? Kann man weglassen.
woher weiss ich wie viele hidden nodes ich da brauche?
Bei XOR mindestens 2.
woher weiss ich wie viele hidden nodes ich da brauche?
Im allgemeinen hoechstens eins.
-
knivil schrieb:
Lernt der Inputlayer irgendwas? Kann man weglassen.
der sollte doch auch was lernen?
woher weiss ich wie viele hidden nodes ich da brauche?
Bei XOR mindestens 2.
wie kommst du auf 2? woher weiss man das? bei einem xor ist es vermutlich noch trivial...aber wie weiss man das sonst?
woher weiss ich wie viele hidden nodes ich da brauche?
Im allgemeinen hoechstens eins.
warum?
-
knivil schrieb:
Lernt der Inputlayer irgendwas? Kann man weglassen.
woher weiss ich wie viele hidden nodes ich da brauche?
Bei XOR mindestens 2.
woher weiss ich wie viele hidden nodes ich da brauche?
Im allgemeinen hoechstens eins.
der input layer lernt doch immer was?
wie kommst du bei hidden nodes auf 2?
woher weiss man das? bei einem xor ist es vermutlich noch trivial...aber wie weiss man das sonst?warum höchstens 1 hidden layer?
-
G. Cybenko. Approximation by superpositions of a sigmoidal function. Mathematics of Control, Signals, and Systems (MCSS), 2(4):303–314, 1989.
Abstract .. In particular, we show that arbitrary decision regions can be arbitrarily well approximated by continuous feedforward neural networks with only a single internal, hidden layer and any continuous sigmoidal nonlinearity.
Oder Kurz: Jede (gutartige) Funktion kann in Basisfunktionen (z.B. wie bei der Fourieranalyse) zerlegt werden. Die hidden units lernen diese Basisfunktionen und die Ausgabeschicht kombiniert diese. Wieviele hidden units nun zu nehmen sind, haengt vom Problem ab.
Ansonsten moechte ich dir erstmal raten, dein Gehirn oder zumindest google anzustrengen, bevor du wild mit Fragen um dich schiesst (der Inhalt des Papers wird wohl auch anderswo zusammengefasst werden). Als Buch kann ich Theorie der neuronalen Netze. Eine systematische Einführung empfehlen. Leider nur noch auf englisch verfuegbar. Vielleicht hat ja deine Bibliothek noch ein Exemplar.
wikipedia schrieb:
Work by Hava Siegelmann and Eduardo D. Sontag has provided a proof that a specific recurrent architecture with rational valued weights (as opposed to the commonly used floating point approximations) has the full power of a Universal Turing Machine[6] using a finite number of neurons and standard linear connections. They have further shown that the use of irrational values for weights results in a machine with super-Turing power.
Ich habe es immer gewusst!
-
knivil schrieb:
Ich habe es immer gewusst!
Hatten wir schon. Scheitert in er Realität daran, dass man keine Zahlen mit unendlicher Genauigkeit darstellen kann.
@topic es riechen 2 hintereinander geschaltete Neuronen aus.