Edepot: verschil tussen versies

Uit JOIN wiki
Naar navigatie springen Naar zoeken springen
Regel 2: Regel 2:
 
Sinds versie 6.027 van JOIN Zaak & Document is het mogelijk om een verwijderlijst te exporteren naar een specifiek formaat, waarmee digitale overbrenging kan worden gerealiseerd. Op dit moment wordt alleen nog het RIP-formaat ondersteund en vinden pilots plaats met gemeenten om ervaringen op te doen met deze export.
 
Sinds versie 6.027 van JOIN Zaak & Document is het mogelijk om een verwijderlijst te exporteren naar een specifiek formaat, waarmee digitale overbrenging kan worden gerealiseerd. Op dit moment wordt alleen nog het RIP-formaat ondersteund en vinden pilots plaats met gemeenten om ervaringen op te doen met deze export.
  
De export bestaat uit twee delen: de metadata in XML en de bestanden (naar keuze) in PDF of in het oorspronkelijke formaat. De XML wordt vertaald naar een structuur die door het e-Depot wordt ondersteund. Op dit moment is dat formaat [https://www.nationaalarchief.nl/archiveren/kennisbank/metadata-en-het-e-depot ToPX], een standaard van het Nationaal Archief.
+
De export bestaat uit twee delen: de metadata in XML en de bestanden (naar keuze) in PDF of in het oorspronkelijke formaat.
  
 
Om deze export te kunnen gebruiken, is het volgende nodig:
 
Om deze export te kunnen gebruiken, is het volgende nodig:
 
* een licentie voor de e-depot koppeling
 
* een licentie voor de e-depot koppeling
 
* een keuze voor de te exporteren velden (zie onder over TMLO)
 
* een keuze voor de te exporteren velden (zie onder over TMLO)
* een stylesheet (een XSLT) waarmee uw inrichting naar ToPX worden vertaald
 
 
* toegang tot de JOIN server om de bestanden te kunnen ophalen
 
* toegang tot de JOIN server om de bestanden te kunnen ophalen
 +
 +
==XML format: ToPX==
 +
JOIN Zaak & Document exporteert de metadata naar XML. De structuur en inhoud van die XML is een eigen structuur, gebaseerd op de databasevelden.
 +
Deze XML kan automatisch worden vertaald naar een andere XML structuur of naar een CSV-bestand. Het ontvangende systeem (het e-Depot) zal eisen stellen aan de structuur van de aangeleverde XML. Bijvoorbeeld de eis dat de metadata wordt aangeleverd in [https://www.nationaalarchief.nl/archiveren/kennisbank/metadata-en-het-e-depot ToPX], een standaard van het Nationaal Archief.
 +
 +
Als het e-Depot eisen aan de XML stelt, heeft u dus ook nodig:
 +
* een stylesheet (een XSLT) waarmee uw inrichting wordt vertaald naar het gewenste formaat.
 +
 +
Decos beschikt over een stylesheet voor ToPX. Deze stylesheet moet wel worden aangepast aan uw specifieke inrichting: deze aanpassing kan door een functioneel consultant worden uitgevoerd. Als u een andere stylesheet nodig heeft, kunt u hiervoor contact opnemen met Decos.
 +
 +
==Export: RIP-structuur==
 +
Als de metadata aangeleverd wordt in het juiste formaat (zoals ToPX), is daarmee nog niets gezegd over de mappenstructuur waarmee de bestanden aangeleverd moeten worden. In deze sector bestaan daarvoor twee structuren: RIP en Sidecar.
 +
 +
Bij RIP worden alle bestanden in dezelfde map geplaatst, met daarbij een enkel bestand dat alle metadata bevat. Dit metadata-bestand is een XML-bestand dat bestaat uit een RIP-structuur waarin per archiefregistratie een ToPX-structuur is opgenomen. Ook RIP is een standaard van het Nationaal Archief en kan het beste worden beschouwd als een enveloppe waarin de verschillende metadata-bestanden per registratie worden samengevoegd tot één XML-bestand. Het voordeel van deze aanpak is dat alle metadata voor de hele export in samenhang kan worden verwerkt. Daar staat tegenover dat dit bestand behoorlijk groot kan worden.
 +
Alle bestanden in de export worden dus in dezelfde map geplaatst op de JOIN server. Dit betekent dat ieder bestand een unieke naam heeft (dat is een sleutel, een GUID, geworden) en dat het e-depot op basis van de metadata kan achterhalen welk bestand welk archiefstuk is.
 +
 +
De volledige export kan vervolgens opgehaald worden door de map te kopieren naar een externe schijf of via SFTP te versturen. Dit is een handeling die uiteraard alleen uitgevoerd kan worden door personen die toegang hebben tot de JOIN Zaak & Document server. In de meeste gevallen zal dat door uw applicatiebeheerder worden gedaan; voor cloud-omgevingen kan Customer Support van Decos daar een rol in spelen. 
 +
 +
==Export: Sidecar-structuur==
 +
In de Sidecar-structuur wordt per archiefstuk een XML-bestand aangemaakt dat dezelfde naam heeft als het archiefstuk. Waar RIP werkt met één metadata-bestand, werkt Sidecar dus met aparte metadata-bestanden. Bovendien worden de bestanden in de export niet in dezelfde map geplaatst, maar in een mappenstructuur.
 +
 +
In onze pilots heeft Decos gemerkt dat er meerdere variaties mogelijk zijn in de Sidecar-structuur. De extensie van de metadata-bestanden (.sidecar, .xml of .metadata) en de opbouw van de mappenstructuur komt in verschillende varianten voor.
 +
 +
Op dit moment ondersteunt JOIN Zaak & Document alleen nog de RIP-structuur.
  
 
==Veldkeuze: TMLO en de elementen==
 
==Veldkeuze: TMLO en de elementen==
Regel 19: Regel 42:
  
 
De ondersteuning van JOIN voor de verschillende elementen uit TMLO staan hier gedocumenteerd: [[TMLO_elementen|TMLO elementen]].
 
De ondersteuning van JOIN voor de verschillende elementen uit TMLO staan hier gedocumenteerd: [[TMLO_elementen|TMLO elementen]].
 
==Vertaling naar ToPX==
 
In de export selecteert u de zaken, dossiers en documenten die u wilt exporteren. Deze metadata wordt in XML geexporteerd, maar moet dan nog vertaald worden naar de ToPX-structuur. Dit is de structuur die door het e-Depot ingelezen zal worden. Voor deze vertaalslag is een 'stylesheet' nodig, een XSL-bestand dat definieert welk veld uit JOIN in welk veld van ToPX terecht komt. Aangezien iedere organisatie een andere inrichting kan hebben en met name omdat iedere organisatie een andere keuze zal maken over de invulling van TMLO, moet die stylesheet aangepast worden voor een specifieke export. Dit kan door iedereen met XML-kennis gedaan worden.
 
 
Het eindresultaat levert een ToPX-bestand op met alle metadata in de juiste structuur. In een RIP-export wordt alle metadata van alle dossiers, documenten en bestanden in hetzelfde ToPX-bestand opgenomen. Bij een omvangrijke export is dat metadatabestand dus ook een omvangrijk bestand. Om die reden kan het voor de verwerking beter zijn om een omvangrijke export op te delen in brokken - bijvoorbeeld in periodes.
 
 
==RIP-structuur==
 
Als de metadata aangeleverd wordt als ToPX, is daarmee nog niets gezegd over de mappenstructuur waarmee de bestanden aangeleverd moeten worden. In deze sector bestaan daarvoor twee oplossingen: RIP en Sidecar.
 
Bij RIP worden alle bestanden in een map geplaatst, met daarbij een enkel bestand dat alle metadata bevat. De ordening van de archiefbescheiden (de dossierstructuur) wordt door het e-Depot 'in elkaar gepuzzeld' op basis van de gegevens uit de metadata.
 
In de Sidecar structuur volgt de mappenstructuur de ordening van de archiefbescheiden.
 
 
 
Op dit moment ondersteunt JOIN alleen de RIP-structuur; Sidecar nog niet.
 

Versie van 17 jan 2020 11:35

Export naar e-Depot

Sinds versie 6.027 van JOIN Zaak & Document is het mogelijk om een verwijderlijst te exporteren naar een specifiek formaat, waarmee digitale overbrenging kan worden gerealiseerd. Op dit moment wordt alleen nog het RIP-formaat ondersteund en vinden pilots plaats met gemeenten om ervaringen op te doen met deze export.

De export bestaat uit twee delen: de metadata in XML en de bestanden (naar keuze) in PDF of in het oorspronkelijke formaat.

Om deze export te kunnen gebruiken, is het volgende nodig:

  • een licentie voor de e-depot koppeling
  • een keuze voor de te exporteren velden (zie onder over TMLO)
  • toegang tot de JOIN server om de bestanden te kunnen ophalen

XML format: ToPX

JOIN Zaak & Document exporteert de metadata naar XML. De structuur en inhoud van die XML is een eigen structuur, gebaseerd op de databasevelden. Deze XML kan automatisch worden vertaald naar een andere XML structuur of naar een CSV-bestand. Het ontvangende systeem (het e-Depot) zal eisen stellen aan de structuur van de aangeleverde XML. Bijvoorbeeld de eis dat de metadata wordt aangeleverd in ToPX, een standaard van het Nationaal Archief.

Als het e-Depot eisen aan de XML stelt, heeft u dus ook nodig:

  • een stylesheet (een XSLT) waarmee uw inrichting wordt vertaald naar het gewenste formaat.

Decos beschikt over een stylesheet voor ToPX. Deze stylesheet moet wel worden aangepast aan uw specifieke inrichting: deze aanpassing kan door een functioneel consultant worden uitgevoerd. Als u een andere stylesheet nodig heeft, kunt u hiervoor contact opnemen met Decos.

Export: RIP-structuur

Als de metadata aangeleverd wordt in het juiste formaat (zoals ToPX), is daarmee nog niets gezegd over de mappenstructuur waarmee de bestanden aangeleverd moeten worden. In deze sector bestaan daarvoor twee structuren: RIP en Sidecar.

Bij RIP worden alle bestanden in dezelfde map geplaatst, met daarbij een enkel bestand dat alle metadata bevat. Dit metadata-bestand is een XML-bestand dat bestaat uit een RIP-structuur waarin per archiefregistratie een ToPX-structuur is opgenomen. Ook RIP is een standaard van het Nationaal Archief en kan het beste worden beschouwd als een enveloppe waarin de verschillende metadata-bestanden per registratie worden samengevoegd tot één XML-bestand. Het voordeel van deze aanpak is dat alle metadata voor de hele export in samenhang kan worden verwerkt. Daar staat tegenover dat dit bestand behoorlijk groot kan worden. Alle bestanden in de export worden dus in dezelfde map geplaatst op de JOIN server. Dit betekent dat ieder bestand een unieke naam heeft (dat is een sleutel, een GUID, geworden) en dat het e-depot op basis van de metadata kan achterhalen welk bestand welk archiefstuk is.

De volledige export kan vervolgens opgehaald worden door de map te kopieren naar een externe schijf of via SFTP te versturen. Dit is een handeling die uiteraard alleen uitgevoerd kan worden door personen die toegang hebben tot de JOIN Zaak & Document server. In de meeste gevallen zal dat door uw applicatiebeheerder worden gedaan; voor cloud-omgevingen kan Customer Support van Decos daar een rol in spelen.

Export: Sidecar-structuur

In de Sidecar-structuur wordt per archiefstuk een XML-bestand aangemaakt dat dezelfde naam heeft als het archiefstuk. Waar RIP werkt met één metadata-bestand, werkt Sidecar dus met aparte metadata-bestanden. Bovendien worden de bestanden in de export niet in dezelfde map geplaatst, maar in een mappenstructuur.

In onze pilots heeft Decos gemerkt dat er meerdere variaties mogelijk zijn in de Sidecar-structuur. De extensie van de metadata-bestanden (.sidecar, .xml of .metadata) en de opbouw van de mappenstructuur komt in verschillende varianten voor.

Op dit moment ondersteunt JOIN Zaak & Document alleen nog de RIP-structuur.

Veldkeuze: TMLO en de elementen

De basis voor de metadata bij archieven is het Toepassingsprofiel metadatering Lokale Overheden, of TMLO. Dit model beschrijft de velden die voor archivering moeten worden vastgelegd en daarmee ook de velden die bij overbrenging vanuit de RMA beschikbaar moeten worden gesteld aan het e-Depot. Bij de eerste evaluatieronde in 2015 hebben meerdere leveranciers, waaronder Decos, aangegeven dat het TMLO onvoldoende technische specificatie biedt voor een export. Zo kunnen verschillende systemen een andere invulling geven aan "geografische locatie" (9.2) of aan "eventgeschiedenis" (12). Het informatiemodel TMLO is het vervolg van die discussie, maar nog niet vastgesteld.

Daarnaast bevat TMLO elementen die meestal niet in de RMA worden vastgelegd. Het gaat dan bijvoorbeeld om de gebruiksrechten (16), de creatieapplicatie(21.6) of het event plan (13). Ook de openbaarheid en de vertrouwelijkheid worden niet altijd in de RMA vastgelegd. Met name komt het bij oudere archiefbescheiden (en dus net degenen die overgebracht gaan worden) voor dat de metatdata beperkt is.

In de praktijk blijkt er een discussie plaats moet vinden tussen de beheerder van de RMA en de beheerder van het e-Depot over welke informatie beschikbaar is en welke informatie vereist is. Daarbij moeten ook keuzes gemaakt worden over wat er gedaan moet worden als er informatie ontbreekt. Als bijvoorbeeld de openbaarheid niet wordt vastgelegd in de RMA, kan in de exporttechniek de openbaarheid een vaste waarde krijgen.

De ondersteuning van JOIN voor de verschillende elementen uit TMLO staan hier gedocumenteerd: TMLO elementen.