Door Bert de Vink ·
Modellen voor knowledge graphs worden meestal op één graaf getraind, en kunnen daaraan vastzitten: aan de entiteiten, de relatienamen en de eigenaardigheden ervan. Stap over naar een andere graaf en je begint opnieuw. Onze huidige visie op een knowledge graph foundation model (KGFM) is een poging om dat te vermijden.
Dit artikel beschrijft het ontwerp zoals het nu is. Het is een visie en werk in uitvoering, geen afgerond systeem, en we rapporteren hier geen resultaten.
Het kernidee
Het model moet uit de support-structuur afleiden hoe een nieuwe knowledge graph zich gedraagt, in plaats van de identiteit van een dataset te onthouden.
De support is de verzameling triples die we in de doelgraaf kunnen waarnemen. Met alleen die triples moet het model achterhalen wat voor soort graaf het voor zich heeft en dat gebruiken om ontbrekende verbindingen te voorspellen: een ontbrekende tail bij (h, r, ?) of een ontbrekende head bij (?, r, t). De bedoelde situatie is zero-shot transfer naar knowledge graphs die het model nooit heeft gezien.

Het ontwerp in vijf stappen
- Support-triples. De waargenomen triples van de doelgraaf zijn de enige invoer.
- Het relationele regime afleiden. Een structurele samenvatting (dichtheid, scheefheid van de graden, reciprociteit, entropie van eindpunten, relatie-interacties, motieven en padstatistieken) en een geleerde graafcontext (relatievoorbeelden, lokale omgevingen, support-patronen, graafembeddings) worden door een graph context encoder gecombineerd tot een beeld van hoe deze graaf zich gedraagt.
- Een gedeeld model conditioneren. Een gedeelde, universele backbone voor overdraagbaar relatie- en graafredeneren wordt op die context geconditioneerd.
- Specialisten zacht combineren. Een router weegt een aantal lichte expert-adapters (top-k-weging) in plaats van er één te kiezen, en hun uitvoer wordt met de backbone samengevoegd.
- Ontbrekende triples voorspellen. Een querygeconditioneerde redeneerder rangschikt kandidaten met de query zelf, voorbeelden van de relatie, de lokale omgeving van de head, korte support-paden en vergelijkbare relaties.
Waarom zachte routering en competentieproeven
Verschillende grafen vragen om verschillende specialisten. In plaats van er één te kiezen, geeft de router elke expert een gewicht. Om die gewichten voor een nieuwe graaf te bepalen, gebruikt het ontwerp competentieproeven: een deel van de support-triples wordt afgeschermd en de proeven meten hoe goed elke expert ze kan terugvinden. Die gemeten pasvorm stuurt de router.
Wat we nog moeten aantonen
Of dit in de praktijk overdraagt naar onbekende grafen is precies wat getest moet worden, en zolang dat niet is gebeurd is het schema een hypothese. Onze lezing van waarom het de moeite van het testen waard is: een model dat zich aan een nieuwe graaf aanpast zonder opnieuw te trainen, maakt het goedkoper om in elk nieuw domein te beginnen.
← Alle artikelen