So funktioniert Google Deep Dream

Deep Dream ist ein Computerprogramm, das Muster lokalisiert und verändert, die es in digitalen Bildern identifiziert. Dann werden diese radikal optimierten Bilder für das menschliche Auge sichtbar gemacht. Die Ergebnisse reichen von albern über kunstvoll bis hin zu alptraumhaft, je nach Eingabedaten und den spezifischen Parametern, die von Google-Mitarbeitern unter Anleitung festgelegt wurden.

Eine der besten Möglichkeiten, um zu verstehen, worum es bei Deep Dream geht, ist, es selbst auszuprobieren. Google hat seine Traumcomputer öffentlich gemacht, um besser zu verstehen, wie Deep Dream es schafft, bestimmte Arten von Bildern zu klassifizieren und zu indizieren. Sie können ein beliebiges Bild in das Google-Programm hochladen, und Sekunden später sehen Sie ein fantastisches Rendering, das auf Ihrem Foto basiert.

Das Ergebnis ist typischerweise ein bizarres digitales Hybridbild, das aussieht, als hätte Salvador Dali eine wilde Malparty mit Hieronymus Bosch und Vincent van Gogh gehabt. Blätter, Felsen und Berge verwandeln sich in farbenfrohe Strudel, sich wiederholende Rechtecke und anmutig hervorgehobene Linien.

Wo zuvor eine leere Landschaft war, erschafft Deep Dream Pagoden, Autos, Brücken und menschliche Körperteile. Und Deep Dream sieht Tiere ... viele, viele Tiere. Laden Sie ein Porträt von Tom Cruise hoch, und das Google-Programm bearbeitet Falten und Zwischenräume als Hundeköpfe, Fische und andere bekannte Kreaturen. Nur sind dies keine normal aussehenden Tiere – es sind fantastische Nachbildungen, die mit einem LSD-gefärbten Kaleidoskop gekreuzt zu sein scheinen. Sie sind unheimlich eindrucksvoll und oft mehr als nur ein bisschen erschreckend.

Google veranstaltet keine nächtlichen Raves und füttert seine Computer nicht mit halluzinatorischen Chemikalien. Irgendwie leitet das Unternehmen diese Server an, Bilder zu analysieren und sie dann als neue Darstellungen unserer Welt wiederzukäuen.

Wie das alles funktioniert, spricht für die Art und Weise, wie wir unsere digitalen Geräte bauen und wie diese Maschinen die unvorstellbare Datenmenge verarbeiten, die in unserer technikbesessenen Welt existiert.

1. Neuronen in Bits
2. Computergehirne und Fahrräder
3. Dunkelheit am Rand

Computer sind anorganische Produkte, daher scheint es unwahrscheinlich, dass sie im gleichen Sinne träumen wie Menschen. Doch Deep Dream ist ein isoliertes Beispiel dafür, wie komplex Computerprogramme werden, wenn sie mit Daten aus der menschlichen Welt gepaart werden.

Die Softwareentwickler von Google konzipierten und bauten Deep Dream ursprünglich für die ImageNet Large Scale Visual Recognition Challenge , einen jährlichen Wettbewerb, der 2010 begann. Jedes Jahr konkurrieren Dutzende von Organisationen darum, die effektivsten Methoden zur automatischen Erkennung und Klassifizierung von Millionen von Bildern zu finden. Nach jeder Veranstaltung bewerten die Programmierer ihre Methoden neu und arbeiten daran, ihre Techniken zu verbessern.

Die Bilderkennung ist eine wichtige Komponente, die in unserer Kiste mit Internet-Tools meistens fehlt. Unsere Suchmaschinen sind hauptsächlich darauf ausgerichtet, eingegebene Schlüsselwörter und Phrasen anstelle von Bildern zu verstehen. Das ist einer der Gründe, warum Sie Ihre Bildersammlungen mit Schlüsselwörtern wie „Katze“, „Haus“ und „Tommy“ versehen müssen. Computer haben einfach Mühe, den Inhalt von Bildern mit zuverlässiger Genauigkeit zu identifizieren. Visuelle Daten sind unübersichtlich und chaotisch und ungewohnt, was es für Computer schwierig macht, sie zu verstehen.

Dank Projekten wie Deep Dream werden unsere Maschinen immer besser darin, die visuelle Welt um sie herum zu sehen. Damit Deep Dream funktioniert, haben Google-Programmierer ein künstliches neuronales Netzwerk (KNN) entwickelt, eine Art Computersystem, das selbst lernen kann. Diese neuronalen Netzwerke sind der Funktionsweise des menschlichen Gehirns nachempfunden, das mehr als 100 Milliarden Neuronen (Nervenzellen) verwendet, die die Nervenimpulse übertragen, die alle unsere Körperprozesse ermöglichen.

In einem neuronalen Netzwerk ersetzen künstliche Neuronen biologische Neuronen und filtern Daten auf vielfältige Weise, immer und immer wieder, bis das System zu einem Ergebnis kommt. Im Fall von Deep Dream, das typischerweise zwischen 10 und 30 Schichten künstlicher Neuronen enthält, ist das Endergebnis ein Bild.

Wie interpretiert Deep Dream Ihre Fotografien neu und wandelt sie von vertrauten Szenen in Computerkunst-Renderings um, die Ihre Albträume für die kommenden Jahre verfolgen werden?

Neuronale Netze machen sich nicht automatisch daran, Daten zu identifizieren. Sie erfordern tatsächlich ein wenig Training – sie müssen mit Datensätzen gefüttert werden, die sie als Referenzpunkte verwenden können. Andernfalls würden sie nur blind Daten durchforsten, ohne einen Sinn daraus zu machen.

According to Google's official blog, the training process is based on repetition and analysis. For example, if you want to train an ANN to identify a bicycle, you'd show it many millions of bicycles. In addition, you'd clearly specify — in computer code, of course — what a bicycle looks like, with two wheels, a seat and handlebars.

Then researchers turn the network loose to see what results it can find. There will be errors. The program might, for instance, return a series of images including motorcycles and mopeds. In those cases, programmers can tweak the code to clarify to the computer that bicycles don't include engines and exhaust systems. Then they run the program, again and again, fine-tuning the software until it returns satisfactory results.

The Deep Dream team realized that once a network can identify certain objects, it could then also recreate those objects on its own. So a network that knows bicycles on sight can then reproduce an image of bicycles without further input. The idea is that the network is generating creative new imagery thanks to its ability to classify and sort images.

Interestingly, even after sifting through millions of bicycle pictures, computers still make critical mistakes when generating their own pictures of bikes. They might include partial human hands on the handlebars or feet on the pedals. This happens because so many of the test images include people, too, and the computer eventually can't discern where the bike parts end and the people parts begin.

These kinds of mistakes happen for numerous reasons, and even software engineers don't fully understand every aspect of the neural networks they build. But by knowing how neural networks work you can begin to comprehend how these flaws occur.

The artificial neurons in the network operate in stacks. Deep Dream may use as few as 10 or as many as 30. Each layer picks up on various details of an image. The initial layers might detect basics such as the borders and edges within a picture. Another might identify specific colors and orientation. Other layers may look for specific shapes that resemble objects like a chair or light bulb. The final layers may react only to more sophisticated objects such as cars, leaves or buildings.

Google's developers call this process inceptionism in reference to this particular neural network architecture. They even posted a public gallery to show examples of Deep Dream's work.

Once the network has pinpointed various aspects of an image, any number of things can occur. With Deep Dream, Google decided to tell the network to make new images.

Google's engineers actually let Deep Dream pick which parts of an image to identify. Then they essentially tell the computers to take those aspects of the picture and emphasize them. If Deep Dream sees a dog shape in the fabric pattern on your couch, it accentuates the details of that dog.

Each layer adds more to the dog look, from the fur to the eyes to the nose. What was once harmless paisley on your couch becomes a canine figure complete with teeth and eyes. Deep Dream zooms in a bit with each iteration of its creation, adding more and more complexity to the picture. Think dog within dog within dog.

A feedback loops begins as Deep Dream over-interprets and overemphasizes every detail of a picture. A sky full of clouds morphs from an idyllic scene into one filled with space grasshoppers, psychedelic shapes and rainbow-colored cars. And dogs. There is a reason for the overabundance of dogs in Deep Dream's results. When developers selected a database to train this neural network, they picked one that included 120 dog subclasses, all expertly classified. So when Deep Dream goes off looking for details, it is simply overly likely to see puppy faces and paws everywhere it searches.

Deep Dream doesn't even need a real image to create pictures. If you feed it a blank white image or one filled with static, it will still "see" parts of the image, using those as building blocks for weirder and weirder pictures.

It's the program's attempt to reveal meaning and form from otherwise formless data. That speaks to the idea behind the entire project — trying to find better ways to identify and contextualize the content of images strewn on computers all over the globe.

So can computers ever really dream? Are they getting too smart for their own good? Or is Deep Dream just a fanciful way for us to imagine the way our technology processes data?

It's hard to know exactly what is in control of Deep Dream's output. No one is specifically guiding the software to complete preprogrammed tasks. It's taking some rather vague instructions (find details and accentuate them, over and over again) and completing the jobs without overt human guidance.

The resulting images are a representation of that work. Perhaps those representations are machine-created artwork. Maybe it's a manifestation of digital dreams, born of silicon and circuitry. And maybe it's the beginning of a kind of artificial intelligence that will make our computers less reliant on people.

You may fear the rise of sentient computers that take over the world. But for now, these kinds of projects are directly benefiting anyone who uses the Web. In the span of just a few years, image recognition has improved dramatically, helping people more quickly sift through images and graphics to find the information they need. At the current pace of advancement, you can expect major leaps in image recognition soon, in part thanks to Google's dreaming computers.

Author's Note: How Google Deep Dream Works

Computers aren't making art. Not yet, anyway. And they aren't dreaming, either. Both of those processes are distinctly human and are affected profoundly by personal culture, physiology, psychology, life experiences, geography and a whole lot more. Computers may absorb a lot of data regarding those variables, but they don't experience and process them the same way as people. So if you're worried that technology is making your human experiences obsolete, don't fret just yet. Your perception of the world goes a whole lot deeper than that of a computer network.

Related Stories

More Great Links