„Build it, and you understand it“

John Hopfield ist ein Pionier an der Grenzfläche von Physik und Neurowissenschaft. Der Physiker und Neuroinformatiker spricht im Interview mit „Bioworld“ über grundlegende Probleme der Neurowissenschaft vom Standpunkt der Informationsverarbeitung aus. Technische Anwendungen sind in den kommenden Jahren insbesondere im Bereich der Mustererkennung zu erwarten, wie er erläutert.

The neurophilosopher Patricia Churchland just recently published a list with ten core questions in neuroscience. First on this list was the question: how do neurons code information? Would you agree that this is a mayor problem in neuroscience?

Hopfield: It's somehow interesting that this is the first question. Sure, information coding is the first step in information processing by the brain. Somehow, the stimuli get coded by use of action potentials. But the more interesting part is the computation that is being done by the nervous system. So I would suggest the following question as being more important: how is computation being done by the nervous system? For doing this, we really should focus on the problem that an animal is trying to solve. Given the stimulus from the outside world: what is the algorithm the animal uses to come to an appropriate behaviour?

Maybe the question of Churchland also points out, that it is still unclear, what ``information'' in the context of neuroscience really means?

Hopfield: There is indeed an unsolved problem. A natural stimulus such as a quick glance at the world carries a lot of information, in the sense that information is described in engineering. But the animal itself only uses maybe 100 bits of this stimulus to characterise the situation according to its needs. From a biology point of view, we should therefore try to ignore as much information as possible and focus on the relevant information. An engineer usually would use the concept of information introduced in information theory by Claude Shannon. But this approach ignores the biological part of the problem, which is to find the behaviorally relevant information. How do you get the few interesting bits out of the mass of „engineering information“, most of which should be characterised as noise from a biological point of view? This process to get the „biological bits“ is the computation being done by the nervous system. So, the concept of information in neuroscience cannot be formulated independently from the biological computation.

The concept of „noise“ has recently gained more interest in the field of physics. Do you think that biologists also should focus more on the noise in their systems?

Hopfield: Instead speaking of noise we should focus on the question, what the nature of the natural variability of stimuli are. One aspect of noise for example is partial information, which means in visual stimuli, that you see only a part of an object but you are still able to classify the object correctly. I think, that in nature, we are not chiefly confronted with noise in a statistical sense. What biology contains as „noise“ is still highly structured. Modelers often add Gaussian noise to their systems under investigation - but by doing they ignore the essential ingredient of „noise“ in biological computation, so they will not find much interesting system behaviour due to the noise. The noise biological systems are dealing with, when doing a sensory task, has a structure which seems to help define the computation a behavioral task requires.

Another interesting idea neuroinformatics are dealing with is the „neural code“. In general discussions, people might immediately think that this is something similar to the „genetic code“. What would you say to such a statement?

Hopfield: These two codes are used for different things. The genetic code is used for generation of proteins, the neural code as the term is conventionally used is used in the detection of signals or situations. The situational neural code is some kind of an „error-correcting-code“ which is able to deal with the redundancy of the information that should be represented by the neuronal sensory signal before the decoding computational process. „Breaking the neural code“ can therefore not be the same as breaking the genetic code. It can make sense when analysing a single neuron in a rare case where you may do an analysis to find the transfer function. But when we look at a whole functional system like vision, there is no such thing as a code which we could break for being able to understand the system. Rather, we are confronted with the question, what are the algorithms, and how are the algorithms instantiated in the hardware?

So the science fiction scenarios, that sometimes we are able to give a defined input to the brain to control it or we could „read“ by using the neural code what's going on in the brain are misleading?

Hopfield: The quest of the neural code can make sense when we talk about replacing sensory organs. The cochlea implants for example are devices, which transform sound waves in electrical impulses that can - after a time of learning - be interpreted by the brain in a meaningful way. So finding the best way to do this transformation is some kind of a coding problem. But when you leave these pathways of sensory input and look at higher functions of the brain, then there is very little known about what is represented and how it is represented.

Understanding the brain from an information-processing perspective should therefore focus on the computation being done in this system. Which is the right concept of computation for doing so? Turing machines?

Hopfield: The question of computation is related to the architecture we find in the brain. The relation between algorithm and architecture in the brain is close. Turing's concept of computation for example did not include the question of the architecture of real machines. Brains can act as Turing machines, but they are very ineffective in doing so. Therefore, Turing's concept is not useful for understanding computation in the brain.

Alternative models come from the field of neural networks. It's now twenty years ago, when you introduced the Hopfield model in this field. How would you judge this concept from today's perspective?

Hopfield: I came from physics and the model has been inspired by physical problems like phase-transitions. The model allowed others with similar quantitative background to begin to see how the physics-style of mathematics and modeling could be useful in neurobiology, and produced an influx of quantitatively oriented scientists into the field now known as computational neurobiology, or neuroinformatics. The main idea of this model is that computation can be interpreted as a system moving in phase space until it reaches a stable point. This dynamical view on computation seems for me to be more appropriate for biological systems than the Turing view of computation. The Hopfield model was inspired from neuroscience also from the point of view of the architecture of the brain, since it relies on the feedback nature of neural circuitry. Twenty years ago, and regrettably even today, many neuroscientist look at neurobiological computation in a „feed-forward-way“. But feed-forward-dynamical systems do not have an interesting dynamics and behaviour, feedback systems do. We also know that the architecture of the brain is characterised by highly feedback connections. These connections for sure have an importance in the processes going on in the brain.

The neural network models were „en vogue“ in the eighties. Do you think that there will be a „renaissance“ of such models?

Hopfield: The ideas presented at that time had for sure their limitations. But this does not mean that the concept of neural networks has no use any more. I see these ups and downs as an iterative process: You get some inspiration out of neurobiology, you build a technology - and you look, what is possible. When you reach the limits, you have to go back to neurobiology and find new inspirations. The connection to technology is a very interesting thing: it keeps you honest. When you got an idea, how something is working, and you are able to bring this in an engineering context, where you can bring something to work, you have really shown something.

So „understanding“ something for you is „building“ something?

Hopfield: That's right, though when rarely one can also make a prediction of an experimental result in biology, that is also wonderful.

The „silicon mouse“ you recently introduced might be an example for this credo. You presented this mouse to the public not in the usual way with a publication, but with a competition. How were the reactions from the fellow scientists to this unusual approach?

Hopfield: The reactions entirely correlated with age. Older and distinguished scientists did not want to spend their time to find out about the mechanisms, whereas the younger ones were really inspired about this competition and by the opportunity to see if they could actually figure out how a system works from „experimental“ data. They formed working groups to find the solution or the problem was discussed in journal clubs and so on. From a pedagogic point of view it was a successful way to present our model.

Going back to building things: Which developments in neuroscience have the most chance to lead to technological applications?

Hopfield: Today's digital computer technology is strong and it has still a lot of potential. So, a technology inspired by neuroscience must show solutions for problems, that have a high computational demand when they should be solved by the conventional technology. This means for example, that the data-rate is very high, or power demand must be kept low or physical space is very restricted. This is the case in building auditory or vision sensors. So pattern recognition in auditory or visual data is one of the fields where such a new technology could make sense. We know on the other hand, that nervous systems are indeed good pattern recogniser. So I belief, that in this field, we can expect technological solutions based on knowledge of neuroscience.

How do you assess the possibilities of neuromorphic engineering?

Hopfield: Information-processing devices build from neuromorphic engineers must for sure be compatible with the classical „digital world“. For example, chips for special tasks - including sensors or not - might be such a product, when they can be integrated in general purpose computers. But I also want to mention a general statement: One of the main lessons out of the attempts to build technology by use of neuroscience knowledge is, that you have to use the hardware effectively. Therefore you should not simply copy neurobiology in silico. Neuromorphic engineering will be most successful, when it gets inspired by neurobiology to use its technology to the fullest and pick algorithms to fit hardware and vice versa, but not when it attempts to copy biology in a literal fashion.

Zur Person John J. Hopfield

John Hopfield leitet derzeit als Professor eine Forschungsgruppe im Department of Molecular Biology an der Princeton Universität, welche sich mit Fragen der Neuroinformatik (computational neurobiology) und Biophysik beschäftigt. Vor gut anderthalb Jahren erregte die Forschergruppe Aufsehen mit einem ungewöhnlichen Experiment: Sie entwickelten ein neues neuronales Netz, welches das Wort „one“ erkennen kann – unabhängig vom Sprecher oder von Hintergrundsgeräuschen. Das Modell wurde aber nicht wie üblich in einer wissenschaftlichen Fachzeitschrift präsentiert, sondern es wurden unvollständige Beobachtungsdaten über das Modell im Internet veröffentlicht und die Forschergemeinschaft wurde aufgefordert, aufgrund dieser die Funktionsweise des Modells zu ermitteln – was nach einigen Wochen auch gelang.

Bekannt wurde Hopfield insbesondere durch die Einführung des Hopfield Modells im Jahr 1982, einem neuen Typ eines neuronalen Netzes mit Rekursion. Hopfield arbeitete von 1980 bis 1997 am California Institute of Technology zusammen mit Forschern wie Carver Mead und Christoph Koch, welche zu den Mitbegründern der Neuroinformatik gehören. Im vergangenen Jahr erhielt er als erster nichttheoretischer Physiker den Dirac Preis der Abdus Salam Zentrums für theoretische Physik der Universität Triest.

Schatz: „Offen für das Neue sein“

„Das heutige System der Wissenschaftsförderung in der Schweiz ist zu konservativ.“ Gottfried Schatz, Präsident des Schweizerischen Wissenschafts- und Technologierates (SWTR), plädierte anlässlich des Neuroinformatik-Workshops der Schweizerischen Akademie der Technischen Wissenschaften von Mitte März für die Förderung von neuen Gebieten, welche sich nicht einfach in das klassische disziplinäre Schema einordnen lassen. Der Stellenwert der Neuroinformatik in der Schweizer Forschungslandschaft ist für Schatz deshalb ein Prüfstein für eine notwendige Umgestaltung der Förderungsinstrumente in der Schweiz.

Kernpunkte dieser Umgestaltung soll eine Machtverschiebung weg von der Wissenschaftsadministration hin zu den Wissenschaftlern selbst sein, skizzierte Schatz. Er stützte sich dabei auf Ergebnisse von Evaluationen der beiden Hauptförderungsinstrumente in der Schweiz – dem Schweizerischen Nationalfonds und der Kommission für Technologie und Innovation. Die Evaluation wurde vom SWTR in Auftrag gegeben und deren Resultate sollen im April veröffentlicht werden. Handlungsbedarf formulierte Schatz insbesondere im Bereich der modernen Ingenieurswissenschaften sowie der Unterstützung von Forschung in neuen und risikoreichen (im Sinn von Ergebnisunsicherheit) Gebieten.

Geschichte und Zukunft der Neuroinformatik

Die Untersuchung neuronaler Netze ist eine der Wurzeln der Neuroinformatik. In der heutigen Form entwickelte sich dieses Gebiet in den 1980er Jahren. In diese „Gründerzeit“ fallen beispielsweise die im Jahr 1982 gehaltene Vorlesung „Physics of Computation“ von Richard Feynman, John J. Hopfield und Carver Mead am Caltech, das Carmel-Symposium „computational Neuroscience“ im Jahr 1987 oder auch die Gründung des Instituts für Neuroinformatik an der Ruhr-Universität in Bochum, um eine europäischen Beitrag zu nennen. Anstelle des Begriffs „Neuroinformatik“ wird übrigens in den angelsächsischen Ländern der Begriff „computational neurobiology“ gebraucht.

In Zürich iniitierten der damalige Direktor des Instituts für Hirnforschung, Michel Cŭénod, und der Physiker Klaus Hepp 1990 die Arbeitsgruppe Neuroinformatik. Zudem wurden regelmässig Kolloquien und Vorlesungen zum Thema durchgeführt, was den Prozess in Gang setzte, der 1995 zur Gründung des Instituts für Neuroinformatik führte. Heute sind insgesamt über 50 Personen (Professoren, Oberassistenten, Post-Docs und Doktoranden) am INI vertreten. Das disziplinäre Spektrum ist ausserordentlich vielfältig. Nebst Fachleuten aus den Gebieten Mathematik, Physik, Informatik, Robotik und Hardware sind solche aus Biologie, Medizin und Psychologie am Institut vertreten.

Ein wichtiges methodisches Charakteristika der Neuroinformatik ist der „Top-down-Ansatz“: Im Zentrum stehen nicht nur die molekularen Vorgänge auf der Ebene der einzelnen Neuronen, sondern das Zusammenwirken der Nervenzellen mit dem Ziel, bestimmte, für den jeweiligen Organismus relevante Leistungen zu erbringen. So interessieren sich Neuroinformatiker etwa für das visuelle System von Insekten mit dem Ziel, letztlich einfache technische Systeme mit vergleichbaren Leistungen herstellen zu können. Bedeutsam ist auch die Frage, ob es einen „neuralen Code“ gibt, mit welchem Nervenzellen kommunizieren und wie dieser Code charakterisiert ist. Auch derartige Untersuchungen sind von der Vorstellung motiviert, neue Prinzipien der Informationsverarbeitung finden zu können, die technisch reproduziert werden können.

Am Zürcher Institut für Neuroinformatik werden derzeit um die dreissig Projekte bearbeitet, welche sich in folgende Fragestellungen gruppieren lassen: Neural computation (Untersuchung der Informationsverarbeitung in Nervenzellen), Analyse und Implementierung kortikaler Schaltkreise in silico, Ermittlung von Prinzipien biologischer Informationsverarbeitung, Entwicklung von neuromorphen Systemen. Mehrere dieser Projekte besitzen auch ein Anwendungspotenzial im Bereich der Sensorik oder Data-processing. Industriekollaborationen bestehen unter anderem mit Phonak und Novartis (jeweils im Rahmen eines KTI-Projektes). An der Expo.02 ist das Institut mit dem Projekt „Ada – the intelligent space“ vertreten. Der mit den Besuchern der Expo kommunizierende „intelligente Raum“ soll auf spielerische Weise die Öffentlichkeit über die Möglichkeiten intelligenter Häuser aufmerksam machen.

Welche praktischen Anwendungen aus der Neuroinformatik künftig erwachsen werden, lässt sich derzeit nur schwer konkret prognostizieren. Unbestritten sind die vielfältigen Anwendungen neuronaler Netze – beispielsweise im Bereich der Mustererkennung. Auf der Hardware-Seite hingegen sind noch kaum Anwendungen auf dem Markt. Das bekannteste Beispiel ist die Logitech-Maus, welche mit einem optischen Sensor anstelle eines Trackballs den Mauszeiger auf dem Bildschirm steuert. Heute sind die Forscherinnen und Forscher aber zuversichtlicher, auch in diesem Bereich bald Erfolge vorweisen zu können.

Ein wichtiges Ziel der Neuroinformatik ist es, einen signifikanten Beitrag zur Entwicklung „intelligenter Technologien“ zu leisten. „Intelligent“ bedeutet in diesem Zusammenhang, dass die technischen Entitäten bis zu einem gewissen Grad autonom agieren können, aktiv von der Umwelt Informationen aufnehmen, verarbeiten und basierend darauf aktiv in die Umwelt eingreifen können und gewisse Formen von Lernen und Anpassung zeigen. Technologische Möglichkeiten wie auch daraus erwachsende Konsequenzen für die Gesellschaft werden derzeit im Kontext des „ubiquitous bzw. pervasive computing“ diskutiert. Zu diesem Thema hat das Zentrum für Technikfolgenabschätzung kürzlich eine Studie ausgeschrieben.