Blog

Bearbeitung großer Bildersammlungen daheim und unterwegs

Vie­le Foto­gra­fen nut­zen Ligh­t­room auf meh­re­ren Rech­nern, häu­fig sicher in der Kom­bi­na­ti­on Lap­top / Sta­tio­nä­rer Rech­ner. Ich benut­ze der­zeit Ligh­t­room sogar auf 3 Rech­nern: 2 sta­tio­nä­re Gerä­te an zwei Wohn­or­ten und ein Lap­top, wenn ich unter­wegs und in Urlaub bin. Da stellt sich die Fra­ge, wie in die­sen Kon­stel­la­tio­nen die in der Daten­bank vor­han­de­nen Bil­der am effek­tivs­ten ver­wal­tet wer­den. Meist liegt die voll­stän­di­ge eigent­li­che Daten­bank sicher­lich auf dem ein­zi­gen sta­tio­nä­ren Rech­ner und der Lap­top wird sepa­rat unter­wegs mit eige­ner Daten­bank für neue Auf­nah­men ver­wen­det. Somit hat man auf dem Lap­top unter­wegs kei­nen Zugriff auf die älte­ren Aufnahmen.

Ich habe nun eine Lösung gesucht und gefun­den, mit der ich auf allen mei­nen Gerä­ten Ligh­t­room voll­um­fäng­lich mit allen in mei­ner Daten­bank befind­li­chen Bil­dern ver­wen­den kann.

Meine Situation

Seit mei­ner Jugend betrei­be ich die Foto­gra­fie als inten­si­ves Hob­by. Anfangs klas­sisch mit Film, den ich schließ­lich auch selbst im eige­nen Farb-Labor ent­wi­ckelt habe. Seit 2003 foto­gra­fie­re ich auch digi­tal, seit 2005 aus­schließ­lich. Ich nut­ze zur Bear­bei­tung und Archi­vie­rung mei­ner Bil­der Ligh­t­room seit der Ver­si­on 1.0, die im Jahr 2007 erschie­nen ist. Aktu­ell bear­bei­te ich mei­ne Bil­der im Ligh­t­room Foto-Abo* mit Ligh­t­room Clas­sic und diver­sen Plugins. 

Seit eini­ger Zeit besteht bei mir zudem die Situa­ti­on, dass ich berufs­be­dingt regel­mä­ßig zwi­schen zwei Wohn­sit­zen pen­de­le. Mei­ne über vie­le Jah­re ange­wach­se­ne Ligh­t­room-Bild­da­ten­bank mit aktu­ell mehr als 226.000 Auf­nah­men ist inzwi­schen über 8TB groß. Die Kata­log­da­tei allein umfasst aktu­ell bereits ca. 5GB und ich möch­te alle mei­ne Bil­der trotz­dem an zwei Wohn­or­ten und auch unter­wegs auf mei­nem Lap­top jeder­zeit flüs­sig bear­bei­ten können. 

Zudem bin ich zuge­ge­be­ner­ma­ßen auch ein Com­pu­ter-Nerd und habe ger­ne alles was mög­lich ist digi­tal mit­ein­an­der ver­bin­den. Dazu habe ich mir inzwi­schen eine ver­netz­te Arbeits­um­ge­bung mit Ligh­t­room Clas­sic im Foto-Abo, zwei Arbeits­rech­nern, zwei QNAP-NAS*-Spei­chern und einen per­for­man­ten Rei­se-Lap­top für unter­wegs auf­ge­baut. Über auto­ma­tisch ablau­fen­de Syn­chro­ni­sa­ti­ons-Scrip­te wer­den die Daten­be­stän­de zwi­schen den sta­tio­nä­ren NAS-Spei­chern bei­der Wohn­or­te regel­mä­ßig auf glei­chem Stand gehal­ten. Den Lap­top syn­chro­ni­sie­re ich zuhau­se per Netz­werk­ver­bin­dung bedarfs­wei­se mit einem mei­ner NAS-Spei­cher. Die­ses Kon­zept klappt bei mir seit Jah­ren sehr gut und komfortabel. 

Da das viel­leicht aber auch von Inter­es­se für ande­re ist, möch­te ich mein kon­kre­tes Vor­ge­hen im fol­gen­den kurz beschreiben.

Keine Cloud Lösung

Ich habe daher vor eini­ger Zeit nach Mög­lich­kei­ten gesucht, alle mei­ne Bil­der jeder­zeit und an jedem Ort im Zugriff zu haben.

Dabei schied die für vie­le viel­leicht nahe­lie­gen­de Lösung der Bild­spei­che­rung in einer Cloud für mich aus zwei Grün­den aus:

1. Die schie­re Grö­ße der vor­han­de­nen Bild­da­ten: 8TB in einer Cloud sind nicht effek­tiv zu hand­ha­ben. Ent­spre­chend gro­ßer Spei­cher ist sehr teu­er und auch mit schnells­ten Inter­net-Lei­tun­gen nur schwer zu hand­ha­ben. Zudem möch­te ich auch mit dem Lap­top unter­wegs immer Zugriff haben, was über Mobil­zu­gän­ge oder öffent­li­ches WLan zu teu­er und / oder zu lang­sam wäre.
   
2. Zudem sind Fotos sehr per­sön­li­che Doku­men­te, die ich auch aus Grün­den des Per­sön­lich­keits- und Daten­schut­zes nicht aus der Hand geben möch­te. Und mein Ver­trau­en in den Daten­schutz von Clouds ist sehr beschränkt.

Mehr als 226.000 Bil­der und 8TB immer ver­füg­bar ohne Cloud? Das geht nicht!

Doch, es geht!

Mein Vorgehen

Aller­dings habe muss­te ich dazu inzwi­schen ein sehr auf­wen­di­ges und auch kost­spie­li­ges Sys­tem ein­rich­ten, das ich im fol­gen­den beschrei­ben möch­te. Zunächst zu der Pro­ble­ma­tik im einzelnen:

Größe und Geschwindigkeit

Zunächst ein­mal sind 8TB eine gewal­ti­ge Men­ge an Daten. Allein die Kopie die­ser Daten­men­ge von einer Fest­plat­te zu einer ande­ren dau­ert Stun­den. SSD-Spei­cher in die­sen Dimen­sio­nen sind aktu­ell noch sehr teu­er. Zwar gibt es gro­ße Fest­plat­ten (aktu­ell mit über 20TB Grö­ße), die­se sind jedoch ein­zeln in der Geschwin­dig­keit limi­tiert (übli­cher­wei­se max. 100-200M­B/s), was die Bild­be­ar­bei­tung der gro­ßen Bild­da­tei­en aktu­el­ler Kame­ras deut­lich ausbremst. 

Ich lage­re mei­ne Bild-Datei­en daher inzwi­schen auf NAS Spei­chern in RAID 6 Arrays. Dabei ist der Daten­zu­griff auf­grund der par­al­lele­len Spei­che­rung der Datei­en auf meh­re­ren Plat­ten deut­lich beschleu­nigt. Aus­ser­dem nut­ze ich in den von mir ver­wen­de­ten QNAP 1635 AX* NAS noch je ein RAID 1 SSD Array als Wri­te-Back-Cache. Da das NAS über 10GBit Ether­net in mei­nem Haus-Netz­werk ange­bun­den ist, errei­che ich so Über­tra­gungs­ra­ten von ca. 500 MB/s.

Vernetzung meiner Standorte

Wie oben bereits erwähnt, pen­de­le ich regel­mä­ßig zwi­schen zwei Wohn­or­ten, die 200km aus­ein­an­der lie­gen. An bei­den Stand­or­ten habe ich je einen VDSL Anschluss mit 250/40 MBit/s Anbin­dung. Bei­de sind über je eine Fritz!Box 7590* per dar­in ein­ge­bau­ter Fern­ver­bin­dung stän­dig mit­ein­an­der ver­bun­den. Ich habe an jedem Stand­ort zudem jeweils einen QNAP 1635 AX* in iden­ti­scher Kon­fi­gu­ra­ti­on laufen. 

Nach­dem ich die bei­den erst­ma­lig über Ether­net syn­chro­ni­siert habe (was meh­re­re Tage gedau­ert hat) habe ich inzwi­schen eine täg­li­che Syn­chro­ni­sa­ti­on der bei­den über das inte­grier­te QNAP HBS 3 Hybrid Back­up Sync ein­ge­rich­tet. Durch die VDSL-Ver­bin­dung ist die Geschwin­dig­keit der Syn­chro­ni­sa­ti­on aller­dings in bei­de Rich­tun­gen auf die 40 MBit/s der Uplinks limi­tiert, was in etwa einer Daten­über­tra­gungs­ra­te von 4,3 MB/s ent­spricht. Somit benö­tigt ein aktu­el­les hoch­auf­lö­sen­des RAW-Bild mei­ner EOS R5 10-15 Sekun­den für die Über­tra­gung. Zur Ver­deut­li­chung: um alle mei­ne Bil­der zu über­tra­gen, wür­de ich so ca. 24 Tage brauchen!

Im nor­ma­len täg­li­chen Betrieb benö­tigt die Syn­chro­ni­sa­ti­on bei mir aber durch­schnitt­lich nur 1-2 Stun­den. Je nach Bild­auf­kom­men kann es natür­lich auch län­ger dau­ern. Die bei­den NAS ver­glei­chen dabei täg­lich vor­mit­tags alle Datei­en (neben mei­ne Fotos auch mei­ne Doku­men­te und Fil­me). Nur neu erstell­te oder geän­der­te Datei­en wer­den dann jeweils auto­ma­tisch auf das ande­re Gerät kopiert. 

Nach einer Bear­bei­tung in Ligh­t­room ist das natür­lich regel­mä­ßig die Kata­log­da­tei (aktu­ell bei mir 5GB, die allein etwa 20 Minu­ten für die Über­tra­gung benö­ti­gen) sowie die neu­en oder geän­der­ten Bilddateien. 

Ich habe mein Ligh­t­room Clas­sic so ein­ge­stellt, dass alle Ände­run­gen sowohl in die inter­ne Daten­bank als auch sepa­rat in XMP, JPEG, TIFF, PNG und PSD Datei­en geschrie­ben wer­den, um eine gewis­se inter­ne Red­un­danz der Bear­bei­tungs­schrit­te zu erreichen:

Mei­ne Über­le­gung bei die­ser Vor­ge­hens­wei­se ist, dass mei­ne Bear­bei­tun­gen selbst bei einem Defekt der gro­ßen Kata­log­da­tei noch zu rekon­stru­ie­ren sind. 

Bei den RAW Datei­en im kame­ra­spe­zi­fi­schen For­mat (z.B. .ARW, .CR2 und .CR3) wer­den so bei der Bear­bei­tung in Ligh­t­room glück­li­cher­wei­se nur die klei­nen XMP-Side­car Datei­en ver­än­dert. Die­se sind nur weni­ge KB groß und kön­nen daher sehr schnell über­tra­gen wer­den. Ande­re For­ma­te wie .DNG, .JPG, .TIFF und .HEIC müs­sen lei­der immer voll­stän­dig über­tra­gen wer­den, was ent­spre­chend län­ger dauert. 

Ich wür­de es daher sehr begrü­ßen, wenn Ado­be Ligh­t­room Clas­sic die Opti­on bie­ten wür­de, auch die Datein in die­sen For­ma­ten nicht zu ändern und statt­des­sen die Ände­run­gen in eine dazu­ge­hö­ri­ge XMP Datei zu schrei­ben. Die­ses wür­de die Daten­men­ge für mei­ne Syn­chro­ni­sa­tio­nen stark redu­zie­ren und auch das Risi­ko der Daten­be­schä­di­gung der Ori­gi­nal­da­tei­en, die sonst immer wie­der neu geschrie­ben wer­den müs­sen wei­ter verringern.

Wich­ti­ger Tip: ich neh­me im Syn­chro­ni­sa­ti­ons Script die Ligh­t­room Vor­schau­da­tei­en (*Previews.lrdata) her­aus, da die­se jeweils aktu­ell bei der Bear­bei­tung neu erstellt wer­den und die Über­tra­gung nur unnö­tig ver­län­gern würden.

Datensicherheit

Ein wei­te­rer Neben­ef­fekt mei­ner Vor­ge­hens­wei­se: Ich habe jeder­zeit ein voll­stän­di­ges Back­up aller mei­ner wich­ti­gen Daten an zwei unter­schied­li­chen Orten. Selbst durch einen Brand oder einen Dieb­stahl wären die Daten somit nicht verloren.

Die stationäre Bildbearbeitung

An jedem Stand­ort habe ich einen sta­tio­nä­ren Win­dows 10 Rech­ner für die Bild­be­ar­bei­tung zur Ver­fü­gung. Die­se ver­fü­gen jeweils über ein min­des­tens 1TB gro­ßes SSD-Lauf­werk mit dem Lauf­werks­buch­sta­ben D:, auf dem sich im Ord­ner „\Ligh­t­room“ die Ligh­t­room-Kata­log­da­tei sowie der Cache, die Pre­views und die Smart Pre­views befin­den. Der ent­spre­chen­de Ord­ner belegt gegen­wär­tig bei mir jeweils ca. 400GB.

Die Bild­da­tei­en selbst lie­gen bei mei­nen Win­dows Rech­nern immer auf dem Lauf­werk mit dem Buch­sta­ben Y:

Die­ses ist auf den sta­tio­nä­ren Arbeits­rech­nern jeweils auf die NAS Frei­ga­be (per „NET USE Y: \NASx\Fotos“ unter Win­dows) umgelenkt. 

Bei der Bear­bei­tung der Bil­der liegt die Ligh­t­room Daten­bank aus Per­for­mance-Grün­de auf dem inter­nen SSD Lauf­werk D: des jewei­li­gen Arbeits­rech­ners. Ligh­t­room lässt die Anla­ge einer Daten­bank auf einem Netz­werk­spei­cher übri­gens auch nicht zu (obwohl das mit eini­gen nicht emp­feh­lens­wer­ten Tricks auch gehen wür­de). Dies liegt dar­an, dass Ligh­t­room für den Kata­log eine SQLi­te Daten­bank ver­wen­det, die nicht mul­ti­user­fä­hig ist. Ich gebe aber die Hoff­nung nicht auf, dass Ado­be das irged­wann ein­mal ändert.

Um die Daten kon­sis­tent zu hal­ten, ist es daher not­wen­dig, das ent­spre­chen­de Ver­zeich­nis vor und nach der Bild­be­ar­bei­tung jeweils mit dem NAS zu syn­chro­ni­sie­ren. Dazu nut­ze ich ein Syn­chro­ni­sa­ti­ons­script mit dem Win­dows-Pro­gramm Syn­c­Back, das ähn­lich der Lösung mit HBS 3 auf den QNAP NAS Spei­chern alle rele­van­ten Datei­en des Ord­ners „D:\Lightroom“ auto­ma­tisch syn­chro­ni­siert. Die­ses star­te ich der­zeit jeweils manu­ell vor und nach jeder Sit­zung mit Ligh­t­room, man könn­te es aber auch auto­ma­tisch jeweils beim boo­ten und her­un­ter­fah­ren des Rech­ners ablau­fen lassen.

Mit die­sem Ver­fah­ren kann ich alle mei­ne Bil­der pro­blem­los jeder­zeit an mei­nen bei­den Wohn­or­ten bearbeiten.

Und unterwegs - 8TB Bilder auf dem Laptop?

Zwar gibt es in der Tat bereits 8TB SSDs für Lap­tops im m2-For­mat, die­se sind jedoch noch sehr teu­er. Ich habe aktu­ell in mei­nem klei­nen 14Zoll Rei­se-Lap­top Leno­vo Ide­a­pad 5-14* je eine 500GB und eine 2TB PCIe SSD ein­ge­baut. Dem 2TB Lauf­werk habe ich auch den Lauf­werks­buch­sta­ben D: zuge­wie­sen. Zusätz­lich befin­det sich auf D: auch ein Ord­ner „D:\Fotos“, den ich frei­ge­ge­ben und mit „NET USE Y: \Laptop\Fotos“ dem Lauf­werks­buch­sta­ben Y: zuge­wie­sen habe. Die Ligh­t­room Daten­bank kann so genau wie bei den sta­tio­nä­ren Rech­nern unter D:\Lightroom gefun­den wer­den und Ligh­t­room selbst fin­det die Bil­der auch pro­blem­los auf dem Lauf­werk Y: 

Smart Previews

Trotz der beschränk­ten Grö­ße der SSD von nur 2TB kann ich aber trotz­dem auf alle mei­ne Bil­der zugrei­fen. Dies funk­tio­niert dank der genia­len Smart-Pre­views, die Ligh­t­room bei Bedarf nut­zen kann, wunderbar. 

Auf dem Lap­top habe ich im Foto­ver­zeich­nis auf Lauf­werk Y: daher aus Platz­grün­den immer nur die aktu­ells­ten Bild­da­tei­en. Unter­wegs im Urlaub impor­tie­re ich die­se immer tages­ak­tu­ell von der Spei­cher­kar­te in Ligh­t­room. Um auch die ande­ren Bil­der im Zugriff zu haben, habe ich von allen mei­nen Bil­dern in Ligh­t­room zuvor zuhau­se Smart-Pre­views erstel­len las­sen. Die zuge­hö­ri­gen Datei­en benö­ti­gen bei mei­nen 266.000 Bil­dern ca. 230GB Platz im Ver­zeich­nis „Kata­log­na­me Smart Previews.lrdata“

Da ich die­se voll­stän­dig auch auf mei­nen Lap­top kopiert habe, kann ich so dort in Ligh­t­room Clas­sic trotz­dem alle mei­ne Bil­der zumin­dest in der Pre­view Qua­li­tät anse­hen und mit weni­gen Ein­schrän­kun­gen auch bear­bei­ten. Die Smart Pre­view Datei­en sind intern in Ligh­t­room ledig­lich in der Grö­ße redu­zier­te RAW Datei­en im DNG For­mat und haben eine Grö­ße von je nur etwa 1MB. Sie haben dabei im 3:2 For­mat eine Grö­ße von ca. 4 Mega­pi­xel mit einer Län­ge der lan­gen Bild­kan­te von jeweils 2560 Pixel. Somit reicht ihre Auf­lö­sung für eine Voll­bild-Dar­stel­lung in Full-HD auf einem Lap­top pro­blem­los aus. Und es reicht auch alle­mal für die Bild-Prä­sen­ta­ti­on im Inter­net und auch zum qua­li­ta­tiv hoch­wer­ti­gen Druck in einem For­mat bis 10x15cm.

Dass man nur eine Smart-Vor­schau eines Bil­des bear­bei­tet, erkennt man übri­gens an einem klei­nen Käst­chen rechts oben in der Ras­ter­an­sicht eines Bildes:

Und auch in dem His­to­gramm in der rech­ten obe­ren Ecke des Ligh­t­room Fens­ters wird unten links ange­ge­ben, dass man mit einer Smart-Vor­schau arbeitet:

Auf die­se Wei­se habe ich auch auf mei­nem klei­nen Lap­top immer mei­nen kom­plet­ten Ligh­t­room Kata­log und alle mei­ne Bil­der dabei. Wenn ich nach einer län­ge­ren Urlaubs­rei­se mit den bereits unter­wegs erst­ma­lig bear­bei­te­ten und ver­schlag­wor­te­ten neu­en Fotos zurück­kom­me, sind die­se bereits kor­rekt mei­nem Gesamt­ka­ta­log hin­zu­ge­fügt. Ich kann sie dann ein­fach zuhau­se mit dem NAS syn­chro­ni­sie­ren und bin dann auch dort sofort auf dem aktu­ells­ten Stand. 

Wenn der Platz auf der SSD unter­wegs zunei­ge geht, reicht es, ein­fach älte­re RAW-Datei­en aus der Foto­bi­blio­thek auf Lauf­werk Y: zu löschen. Die davon gelösch­ten Bil­der kön­nen trotz­dem auch danach wei­ter­hin in Smart Pre­view Qua­li­tät ange­se­hen, bear­bei­tet und expor­tiert werden. 

Synchronisation des Laptop

Für die not­wen­di­ge Syn­chro­ni­sa­ti­on Lap­top <-> NAS nut­ze ich eben­falls ein Syn­chro­ni­sa­ti­ons­script mit dem Win­dows-Pro­gramm Syn­c­Back, das ähn­lich der oben beschrie­be­nen Syn­chro­ni­sa­ti­on zwi­schen mei­nen sta­tio­nä­ren Rech­nern und NAS Spei­chern alle rele­van­ten Datei­en auto­ma­tisch kopiert. 

Die Beson­der­heit die­ses Scripts ist aber, dass einer­seits alle auf dem Lap­top neu ange­leg­ten und geän­der­ten Datei­en auf das NAS kopiert wer­den. Ande­rer­seits wer­den vom NAS zum Lap­top aber nur die geän­der­ten Datei­en kopiert, die zuvor bereits auf die­sem vor­han­den waren. So ver­mei­de ich, dass die älte­ren Datei­en, die ich auf dem Lap­top aus Platz­grün­den bewusst gelöscht habe, immer wie­der zurück­ko­piert werden.

So bleibt die Anzahl der Ori­gi­nal-RAW Datei­en auf dem Lap­top bei der Syn­chro­ni­sa­ti­on unver­än­dert. Wenn ich unter­wegs auf die­sem ein­mal auch älte­re Datei­en nach­be­ar­bei­ten möch­te, kann ich den betref­fen­den Ord­ner mit den RAW-Datei­en aber auch zuvor manu­ell auf den Lap­top kopieren.

Mit die­ser Lösung arbei­te ich nun schon meh­re­re Jah­re und möch­te die­sen Kom­fort nicht mehr missen.

Fallstricke meines Systems

Da die Syn­chrni­sa­ti­on mei­ner Daten­be­stän­de nicht kon­ti­nu­ier­lich erfolgt und auch die in Ligh­t­room genutz­te SQLi­te Daten­bank nicht Mul­ti­user­fä­hig ist, muss man immer pein­lich dar­auf ach­ten, dass die aktu­el­le Bear­bei­tung der Bil­der zwi­schen den Syn­chro­ni­sie­run­gen immer nur auf einem ein­zel­nen Rech­ner erfolgt. Sonst kann es zu Daten­in­kon­sis­ten­zen kommen. 

Das kann sich dann in Ligh­t­room dar­an zei­gen, dass die inter­ne Daten­bank und die Bild­da­tei unter­schied­li­che Bear­bei­tungs­stän­de auf­wei­sen. Um sol­che Kon­flik­te zu fin­den, kann man sich in Ligh­t­room den Meta­da­ten­sta­tus in der Ras­ter­an­sicht (Tas­te „G“) anzei­gen lassen:

Im obi­gen Bei­spiel besteht bei 4 Bil­dern eine Dis­kre­panz zwi­schen dem Bear­bei­tungs­stand der Datei und der Daten­bank. Das ist jedoch auch kein gro­ßes Pro­blem. Die ent­spre­chen­den Bil­der kön­nen im Biblio­theks­fil­ter ange­wählt und dann kann in Ligh­t­room wunsch­ge­mäß ent­we­der der Bear­bei­tungs­stand der Datei in die Daten­bank (Biblio­thek Modul, Menu Metadaten|Metadaten aus Datei lesen) oder der­je­ni­ge der Daten­bank in die Datei geschrie­ben wer­den (Biblio­thek Modul, Menu Metadaten|Metadaten in Datei spei­chern).

Somit ist auch das unkri­tisch. Und das Wich­tigs­te: Es kommt dadurch in kei­nem Fall zu einer Beschä­di­gung der eigent­li­chen Bilddatei.

Da ich natur­ge­mäß immer nur an einem Wohn­ort gleich­zei­tig sein kann, tritt die­ses Pro­blem bei mir mit mei­nen sta­tio­nä­ren Rech­nern nicht auf. Wenn ich bei der Bild­be­ar­bei­tung jedoch vom Lap­top zu einem sta­tio­nä­ren Rech­ner wech­se­le oder auch im umge­kehr­te Fall, ist es wich­tig, zuvor eine aktu­el­le Syn­chro­ni­sa­ti­on ablau­fen zu lassen.

Mit die­sem Ver­fah­ren kom­me ich bereits seit vie­len Jah­ren gut zurecht. Wie lösen ande­re das Pro­blem oder ist es viel­leicht auch gar keins?

Ich wür­de mich über Kom­men­ta­re und viel­leicht auch wei­te­re Opti­mie­rungs­vor­schlä­ge freuen. 

*= Affi­lia­te Link