Entfernen von Reflexionen von Fotos durch die Fenster genommen, MIT News

MIT-Forscher haben einen neuen Algorithmus, der in einem breiten Spektrum von Fällen erstellt wird, kann automatisch Reflexionen von digitalen Fotos entfernen. Auf der linken Seite ist das ursprüngliche Foto durch ein Fenster genommen, mit der Reflexion des Fotografen deutlich sichtbar. Auf der rechten Seite hat die Reflexion wurde von dem Foto getrennt.

Mit freundlicher Genehmigung der Forscher

Neuer Algorithmus nutzt Mehrfachreflexionen in einzelnen Bildern Reflexion von der Übertragung zu unterscheiden.

Es ist schwer, ein Foto durch ein Fenster zu nehmen, ohne hinter sich Reflexionen der Objekte aufnimmt. Um dieses Problem zu lösen, professionelle Fotografen wickeln manchmal ihre Kameralinsen in dunklen Tüchern befestigt Fenster mit Klebeband oder Saugnäpfe. Aber das ist nicht eine schrecklich attraktive Option für einen Reisenden einen Point-and-Shoot-Kamera den Blick aus einem Hotelzimmer oder einem Sitz in einem Zug zu erfassen verwenden.

„In Boston, die Fenster sind in der Regel doppelt verglaste Fenster für die Wärmeisolierung im Winter“, sagt YiChang Shih, der in diesem Frühjahr seine Promotion in Informatik am MIT abgeschlossen und ist in erster Autor auf dem Papier. „Mit dieser Art von Fenster, gibt es noch eine Reflexion von der inneren Scheibe kommen und einer anderen Reflexion von der Außenscheibe. Aber dicke Fenster sind in der Regel genug, um eine Doppelreflexion, zu produzieren. Die Innenseite gibt eine Reflexion, und die Außenseite wird eine Reflexion als auch geben.“

Ohne die zusätzliche Informationen durch die doppelte Reflexion zur Verfügung gestellt, das Problem der Reflexion Entfernung praktisch unlöslich ist, Shih erklärt. „Sie haben ein Bild von im Freien und ein anderes Bild von Innen-und was fangen Sie ist die Summe dieser beiden Bilder“, sagt er. „Wenn A + B gleich C ist, dann wie Sie A und B aus einem einzigen C erholen? Das ist mathematisch anspruchsvoll. Wir haben einfach nicht genug Zwänge zu einem Abschluss zu erreichen.“

Ausdünnung des Feldes

Die zweite Reflexions erlegt die erforderliche Einschränkung. Jetzt wird das Problem erholt A, B und C von einem einzigen D. Aber der Wert von A für ein Pixel hat das gleiche wie der Wert von B für einen Pixel sein, um einen festen Abstand entfernt in einer vorgeschriebenen Richtung. Das Einschränkung reduziert drastisch die Palette von Lösungen, die der Algorithmus zu berücksichtigen hat.

Dennoch bleibt eine Vielzahl von Lösungen nach wie vor. Zu Hause in einer von ihnen, Shih und seine Koautoren - Professoren der Informatik und Ingenieurwissenschaften Frédo Durand und Bill Freeman, der Shih Arbeit Berater waren, und Dilip Krishnan, ein ehemaliger Postdoc in Freeman Gruppe, die jetzt bei Google Research ist - davon aus, dass beide das reflektierte Bild und das durch das Fenster aufgenommene Bild haben die statistischen Gesetzmäßigkeiten der sogenannten natürlicher Bilder.

Die grundlegende Intuition ist auf der Ebene der kleinen Clustern von Pixeln, die in natürlichen Bildern - unverändert Darstellungen von natürlichen und gebauten Umgebungen - abrupten Änderungen der Farbe sind selten. Und wenn sie auftreten, sie treten entlang klare Grenzen. Wenn also ein kleiner Block von Pixeln Teil des Randes zwischen einem Objekt und einem blauen roten Objekt, alles auf einer Seite der Kante bläulich wird enthalten geschieht, und alles, was auf der anderen Seite wird rötlich sein.

In Computer Vision, um zu versuchen, der Standard-Weg, dies zu erfassen Intuition mit dem Begriff der Bildgradienten ist, die jeden Block von Pixeln entsprechend die Hauptrichtung der Farbänderung und der Änderungsrate charakterisieren. Aber Shih und seine Kollegen festgestellt, dass dieser Ansatz nicht sehr gut funktionierte.

Schließlich ließen sie sich auf eine neue Technik mitentwickelt von Daniel Zoran. Postdoc in Freeman der Gruppe. Zoran und Yair Weiss der Hebrew University of Jerusalem erstellt einen Algorithmus, der Bilder in 8-mal-8-Blöcke von Pixeln unterteilt; für jeden Block berechnet sie die Korrelation zwischen jedem Pixel und jedem der anderen. Die Gesamtstatistiken für alle 8-mal-8-Blöcke in 50.000 Trainingsbildern erwies sich als zuverlässige Art und Weise Reflexionen von Bildern durch Glas geschossen zu unterscheiden.

In ihrem Papier, Shih und seine Kollegen berichten, die Ausführung von Suchen auf Google und Flickr Foto-Datenbank Begriffe wie „Fenster Reflexion Fotografie Probleme.“ Nach dem Ausschluss Ergebnis, die wurden nicht Fotos geschossen durch Glas verwendet wird, hatte sie 197 Bilder, 96 davon zeigten Doppel Reflexionen, die weit genug für ihren Algorithmus arbeiten ausgeglichen wurden.

„Die Menschen auf Methoden gearbeitet haben diese Überlegungen von Fotos zu beseitigen, aber es hatte Nachteile waren in Vergangenheit Ansätze“, sagt Yoav Schechner, Professor für Elektrotechnik an der israelischen Technion. „Einige Methoden versuchen, einen einzigen Schuss verwenden. Das ist sehr schwer, so vor Ergebnissen hatten teilweise Erfolg, und es gab keine automatisierte Möglichkeit zu sagen, wenn die wiedergewonnene Szene die man durch das Fenster oder einem hinter dem Fenster reflektiert wird. Diese Arbeit macht einen guten Job an mehreren Fronten.“