Tech Notes

Bouwen met data: een ingang tot 26 jaar foto's

Illustratie: een stapel reisfoto's met een blauwe route-lijn die er enkele uittrekt.

Ik wílde en wil die reisverhalen schrijven. Echt. Maar er is en was werk, er kwamen twee kinderen, we zijn ondertussen twee keer verhuisd. En er zijn maar 24 uur in een dag: die blogposts trokken dus telkens aan het kortste eind.

Ondertussen staan er 26 jaar foto’s op een NAS thuis: 289 GB, 64.142 stuks, 1907 mappen. Daar zitten een hoop reizen tussen. Reizen die ik nooit uitschreef, met New York als de reis die het meest blijft wringen: wij met onze jongvolwassen kinderen naar “the USA”.

Eén berg data heb ik dus met die foto’s. Tot ik besefte dat ik nog een berg data heb liggen: mijn Google Maps-tijdlijn. Jaren aan locatiegeschiedenis waar ik tot dan niets anders mee deed dan als Local Guide wat punten sprokkelen.
Je kan je eigen Google-data exporteren, alles of enkel de Maps Timeline: het heet Google Takeout. Dus exporteerde ik die tweede berg data, om er iets mee te doen.

Dit stuk gaat niet over AI. Het gaat over wat er gebeurt als je twee zulke bergen data aan elkaar knoopt, en of dat zelfgebouwde ding echt werkt of alleen op papier.

Twee halve verhalen

Elk van die twee bergen is op zich nutteloos om een artikel mee te schrijven. Niet waardeloos, eerder nutteloos.

De foto’s zijn inhoud zonder structuur. Ze tonen alles en ordenen niets: 1888 thumbnails voor één reis, in de volgorde waarin een telefoon ze toevallig opsloeg. Je gaat niet zitten schrijven als je eerst een avond moet scrollen om de drie foto’s te vinden die het verhaal dragen.

De tijdlijn is het omgekeerde: structuur zonder inhoud. Ze weet exact waar ik was en wanneer, tot op de minuut. Maar ze weet niet wat ertoe deed. Een lijn op een kaart vertelt geen verhaal.

Elk is de helft. En twee halve verhalen zijn samen nog altijd geen heel verhaal, zolang er geen brug tussen ligt.

De brug lag er altijd al

Die brug moest ik niet uitvinden. Hij lag er al, latent: beide bergen zijn op dezelfde sleutel geïndexeerd. Tijd. (En plaats.) Elke foto draagt een YYYYMMDD-HHMMSS-timestamp en EXIF, vaak met GPS. De tijdlijn is één lange reeks tijdstippen met coördinaten. Ze wáren altijd al koppelbaar. Niemand had ze gekoppeld.

Dat was de aha. Niet “ik bouw een slimme machine”, wel: de waarde lag er al, één join ver.

Eerst de reizen zelf. Uit die Google Maps Tijdslijn export destilleerde een script 21 reizen, van 2015 tot nu, elk met een begin- en einddatum. Geen handmatig sorteren: een script op de tijdlijn filterde de reizen vanzelf uit de berg. Dat concrete aantal reizen heb ik nog niet tot achter de komma uitgevlooid, maar de plaatsen en data kloppen bij steekproef: een goed begin. Per reis kopieerde ik alle foto’s van de NAS uit dat tijdsvenster naar één andere map: een lokale kopie, want aan de NAS-originelen kom ik niet.

Afbeelding
Schema: van 64.142 foto's plus Google Maps-tijdlijn naar 21 reizen.

Vanaf daar is de tijdlijn de ruggengraat. Ze zegt welke stad welke dag, en in welke volgorde. Mijn geheugen doet dat niet: herinneringen zijn associatief, niet chronologisch. De data heeft de tijdslijn die mijn hoofd mist.

De brug bouwen

De brug zelf is een paar bouwstenen, allemaal lokaal, allemaal in Python. Niets gaat de deur uit. Om twee redenen: het zijn jaren aan foto’s met personen, gezichten en huisinterieurs erop, en ruim 64.000 foto’s tegen een API-tarief laten bekijken is onbetaalbaar. Lokaal lost beide op. En mijn hardware is bewust gewoon: geen gaming-rig, geen ML-workstation, maar een “All-in-One” uit de winkel met een RTX 4050 (6 GB) en 32 GB RAM. Per foto 8 à 12 seconden. Werkt het hierop voor mij, dan werkt het bij de helft van de mensen die nu denken dat is niets voor mij.

Afbeelding
Schema: de lokale pijp in vier stappen: indexeren, bekijken, samenvoegen, contactblad.

Onderweg waren er keuzes te maken, en dáár zat het echte bouwwerk. De meest interessante keuze: welk model de foto’s laat bekijken. Het werd Gemma 4 12B, een vision-model van Google, vers uit de Chocolate Factory, recent en compact genoeg om op een gewone machine te draaien. Net zo’n laptop-proof model maakte dit hele project mogelijk. Het idee zat al langer in mijn hoofd, maar of een lokaal model het echt zou aankunnen, daar twijfelde ik aan: ik ken hun beperkingen. Het is me aangenaam meegevallen.

En Gemma verdiende zijn plek. Ik zette drie modellen tegen elkaar, en het verraste me: het kleine OCR-specialistje las de meest voor de hand liggende borden net niet, terwijl Gemma, de generalist, zelfs een boarding-pas woord voor woord voorlas. Het derde model raakte helemaal niet echt uit de startblokken, en worstelde met vanalles. Dus: Gemma gekozen, de rest van de schijf af.

En je bouwt door te proberen, en wat bij te sturen. Halverwege een eerste batch stond ‘de machine’ stil. Geen error, gewoon stil. Eén foto had het programma 50 minuten gekost: zonder limiet op de uitvoer bleef het door-genereren in een lus. De fix: één parameter, num_predict: 400, en drie regels code, opgelost. Een sha1-handtekening per foto zorgt intussen dat een onderbroken batch gewoon verderdoet waar hij stond. Dat is geen drama, dat is bouwen: je botst ergens tegen, analyseert waartegen je loopt, bedenkt een oplossing, je gaat door.

Van data naar een tekst kapstok

Het samenvoegen is waar de twee halve verhalen één worden. Vier saaie regels doen het werk:

  • Timestamp → dag. Sorteer alles op tijd, groepeer per dag.
  • GPS × tijdlijn → plaats. Het cruciale geval: een foto zonder GPS (denk aan wat via WhatsApp uit de reisgroep binnenkomt) krijgt toch een plaats, omdat de tijdlijn weet waar ik om 14:32 was.
  • ≤ 90 seconden op dezelfde plek → vermoedelijk duplicaat. Markeer er één, je hebt er maar één nodig.
  • Review → de juiste dag. Gekoppeld aan de bezoekdatum, niet de schrijfdatum. Anders hangt je diner in Kyoto plots aan een dinsdagavond thuis, drie weken later.
Afbeelding
Schema: van losse metadata (tijd, GPS) naar een dag-per-dag tijdslijn.

Wat eruit rolt is nog geen artikel. Het is eerder een kapstok: een houvast van dag per dag, plaats per plaats, met de teksten die het model las en de plekken die ik ooit als Local Guide reviewde eraan gehangen. Een basis om je verhaal aan op te hangen.

Werkt het?

Het is nu getest op twee reizen: Japan en New York. New York, de reis die bleef liggen om uit te schrijven, joeg ik als eerste door de pijp:

  • 1198 foto’s en video’s in
  • 285 hero-kandidaten uit
  • 4,2× minder scroll-werk dan handmatig door de thumbnails

Het werkt dus. Geen van die 285 keuzes is door de machine gemaakt: ze clustert, markeert en zet de plaats erbij. De eindverantwoordelijke voor de keuzes blijf ik. Het wegduwen van het overschot, doet “de machine”. En na maanden stilstand kan ik eindelijk vooruit, en aan dat artikel beginnen.

Waar de machine stopt

Maar nu begint het werk pas. Want een kapstok is een steiger, geen gebouw.

“De machine” leverde 40 à 50% van wat in mijn dossier kwam: bijna allemaal skelet, plaatsen, tijden, hotels, namen op borden. De rest (waarom iets gebeurde, hoe iemand reageerde, wat een foto betekende) kwam alleen uit mij. En de stem ook. Een machine die “dit is een tempel” zegt, weet niet dat het Kinkaku-ji is, laat staan waarom je er stil van werd.

Het skelet vraagt bovendien echt jouw controle. Op een groepsfoto las het model een bedrijfsbord als Shimono Baselite. Ik had snel over die ‘Baselite’ heen gelezen eerlijk gezegd. Dus ik nam het als “goed” en voor waar over. Maar het bord toonde Sumitomo Bakelite. De bedrijfsnaam die ik “erbij verzonnen had”, bestond niet. Door andere foto’s en mijn programma viel dit foutje snel op. Een les: elke leesbare tekst die in een titel of feit belandt, check je zeker één keer. Een naam googelen kost dertig seconden; een verzonnen naam in een publicatie corrigeren kost meer.

Dat is meteen het (h)eerlijke tegengif voor de hype: “De machine” schrijft je verhaal niet. Ze zorgt er wel voor dat je je eigen verhaal sneller terugvindt. Het verschil tussen die twee zinnen is het hele punt.

Wat hierna komt

De volgende stap die ik voor ogen heb, is niet groter maar lichter: een tweede set handen die de kapstok naleest voor ik begin, namen en datums en plaatsen en de gaten. En misschien, ooit, een die een eerste ruwe tekst voorstelt. Maar de stem blijf ik bewaken, en daar wacht ik niet op. Ik wil de verhalen die nu stof liggen te vergaren eindelijk live krijgen, desnoods met wat handwerk links en rechts.

New York staat klaar om eindelijk geschreven te worden. Of dat in 21 verhalen resulteert, moet ik nog bewijzen. Ik ben intussen begonnen met Japan, een hele uitdaging. Het reisverhaal staat intussen online: Japan met Voka. En intussen ook New York met de kinderen, opnieuw met deze pijplijn samengesteld.

De scripts staan public op github.com/askfredbv/fvh-reisverhalen. Pull requests welkom; wonderen niet beloofd.

“Sommige met code, sommige met woorden.” Vandaag toevallig de code-helft.