CompetentNL Eindevaluatie Pilots

Datum

4 juni 2024

Rapportnummer

TNO 2024 R11051

Rapportage voor het ministerie van Sociale Zaken en Werkgelegenheid (SZW) en het ministerie van Onderwijs, Cultuur en Wetenschap (OCW).

Pilotteam Programma Vaardig met Vaardigheden; Nationaal Groeifonds Leeroverzicht en Skills:

• Joost van Genabeek (TNO)

• Wouter Korteling (TNO)

• Lisa Hummel (TNO)

• Maud van Koeveringe (SBB)

• Suzanne de Kroon (SBB)

• Willeke Wonder (TNO)

• Noëla Hantschel (TNO)

Copyright © 2024 TNO Den Haag Alle rechten voorbehouden

Samenvatting

Dit rapport geeft de resultaten weer van de evaluatie van de pilots met CompetentNL. Deze pilots hebben plaatsgevonden tussen september 2023 en april 2024 in het kader van het Nationaal Groeifondsprogramma Vaardig met Vaardigheden (VmV). In VmV werkt een consortium, bestaande uit UWV, SBB, TNO en het CBS, aan een nationale, openbaar toegankelijke en voor alle partijen in de arbeidsmarkt en het (beroeps-)onderwijs toepasbare standaard voor het beschrijven van skills: CompetentNL. Dit doen zij in opdracht van het ministerie van Sociale Zaken en Werkgelegenheid en het ministerie van Onderwijs, Cultuur en Wetenschap.

Het doel van de pilots is:

• bijdragen aan de (door)ontwikkeling van CompetentNL door inzicht te verkrijgen in de bruikbaarheid, volledigheid en/of eventuele tekortkomingen van de betreffende data en de toegang hiertoe voor toekomstige toepassing door potentiële afnemers.

• verkrijgen van inzicht in de meerwaarde van CompetentNL (ten opzichte van alternatieven) voor de afnemers en de uiteindelijke gebruikers van toepassingen (gerealiseerd door de afnemers) op basis van CompetentNL.

• informatie op te leveren voor het nemen van een beslissing in het tweede kwartaal van 2024 over de voortzetting van het programma VmV (het go/no-go besluit).

In de pilots is CompetentNL onderzocht aan de hand van de volgende onderzoeksvragen:

Data CompetentNL

In hoeverre voldoen de (geplande) inhoudelijke data aan de behoefte van potentiële afnemers?

Model CompetentNL (Skills Ontologie)

Welke modellering van de ontologie voor CompetentNL ondersteunt het beste de gebruiksbehoeften van potentiële afnemers?

Toegang CompetentNL (Techniek)

In hoeverre voldoet de geplande technische toegang tot CompetentNL aan de wensen van potentiële afnemers?

Consequenties CompetentNL (Doorontwikkeling)

Wat betekenen de bevindingen uit de pilots voor de doorontwikkeling van CompetentNL na de pilotfase?

Algemene conclusie: toetsing voor go- no go beslissing

De pilotpartijen zijn overwegend positief over de voortgang van het programma VmV. Wel vinden de meeste partijen dat CompetentNL verbeterd, aangepast en/of uitgebreid dient te

worden om volledig aan de gestelde verwachtingen te voldoen. Op basis van de vier bovengenoemde onderzoeksvragen zijn de volgende conclusies te trekken.

Ad 1: Data CompetentNL

De pilotpartijen verwachten dat CompetentNL een volledig en gevalideerd informatiefundament kan worden voor afnemers en eindgebruikers. Volgens hen onderscheidt CompetentNL zich ten opzichte van de andere internationale skills-ontologieën (m.n. ESCO en O*Net) door de Nederlandse context, de uitgebreide beroepenindeling en de integratie van onderwijskwalificaties in de ontologie. CompetentNL heeft meerwaarde ten opzichte de data driven taxonomieën of classificaties van sommige private partijen door het bieden van een algemene breed erkende skills-taal (standaardisatie). De data in CompetentNL weerspiegelen de Nederlandse context en zijn toegankelijk gemaakt in de Nederlandse taal. De beroepenindeling op drie niveaus (ISCO, kernberoepen en referentieberoepen) met een uitgebreide set aan verbijzonderingen en synoniemen leveren veel extra informatie op over het aantal beroepen en functies in Nederland en de kenmerken daarvan. Van grote toegevoegde waarde is ook de integratie van onderwijskwalificaties voor het mbo in CompetentNL. De kwalificaties van de overige onderwijsniveaus en het non-formele onderwijs ontbreken weliswaar, maar er wordt verkend hoe deze in latere instantie toegevoegd kunnen worden. De koppeling van beroepen en skills met opleidingen zorgt voor een betere aansluiting tussen onderwijs en arbeidsmarkt en draagt bij aan de mogelijkheden tot Leven Lang Ontwikkelen.

Ondanks deze algemene positieve indruk is er volgens de pilotpartijen nog het nodige te verbeteren aan de data in CompetentNL:

1. In de definieëring van skills dient benadrukt te worden dat hard skills leerbaar zijn en soft skills ontwikkelbaar.

2. De beschrijvingen en abstractieniveaus van hard skills en beroepsvaardigheden zijn in veel gevallen onduidelijk.

3. Er ontbreekt een onderbouwing van de sets hard skills, soft skills en kennisgebieden. Het is niet duidelijk waar deze op zijn gebaseerd.

4. In plaats van de set kennisgebieden eigenhandig samen te stellen verdient het de voorkeur om deze te baseren op de bestaande lijst ISCED-f 2013.

5. De gebruiksmogelijkheden van de skills-data kunnen aanzienlijk uitgebreid worden door deze te relateren aan basale persoonlijkheidskenmerken (bijvoorbeeld de Big 5 of Holland Code).

6. Fysieke hard skills dienen te gaan over de inhoud van het werk en niet over individuen. Dit is van belang om te voorkomen dat er door CompetentNL onderscheid gemaakt kan worden op basis van fysieke eigenschappen van personen.

7. Beroepsbeschrijvingen moeten uniform zijn en voorzien worden van informatie over de context van het werk.

8. Er is een grote behoefte om de niveaus waarop skills in de praktijk worden beoefend toe te voegen aan CompetentNL.

9. Het taalniveau van CompetentNL ligt voor veel potentiële eindgebruikers op een te hoog niveau. De pilotpartijen bepleiten om titels en beschrijvingen op B1 taalniveau beschikbaar te stellen aan afnemers.

10. Aansluitend op de bovengenoemde thema's over de reeds aanwezige data missen de pilotpartijen informatie in CompetentNL. Het gaat om het aangeven van de perspectieven op de arbeidsmarkt (kansrijke beroepen en skills) en de vermelding van specifieke beroepseisen (rijbewijs, BIG-registratie, NEN-normen, etc.) en essentiële "Taal skills" (d.w.z. de schriftelijke en/of mondelinge beheersing van vreemde talen) die vaak in vacatures worden vermeld.

Ad. 2: Het model (Skills ontologie)

De pilotpartijen benadrukken dat CompetentNL voor verschillende doeleinden gebruikt gaat worden (scholing, arbeidsmarktbemiddeling, statistiek, etc.) Gelet op deze uiteenlopende gebruiksdoelen is het van essentieel belang dat de hoofdcategorieën beroepen, beroepskenmerken, skills en kwalificaties semantisch aan elkaar gerelateerd worden. Afnemers willen namelijk kunnen aangeven welke skills nodig zijn voor bepaalde taken en beroepen en hoe skills gerelateerd zijn aan kwalificaties van het onderwijs. De pilotpartijen zien graag de beroepskenmerken (taken) als centraal verbindende hoofdcategorie binnen CompetentNL vanuit de gedachte dat alle beroepen en kwalificaties zijn terug te voeren op diverse onderliggende taken.

Binnen de hoofdcategorieën kunnen verschillende lagen van data onderscheiden worden. Voor de hoofdcategorie beroepen is er al een heldere hiërarchische relatie uitgewerkt van generieke beschrijvingen (ISCO, BRC) naar meer specifieke uitsplitsingen op een lager aggregatieniveau in de vorm van kernberoepen en referentieberoepen. Een dergelijke hiërarchische onderverdeling blijkt niet nodig te zijn voor de beroepskenmerken (slechts een laag) en de kwalificaties (alleen semantische relaties). De onderverdeling van de hoofdcategorie skills en de wijze waarop deze gerelateerd wordt aan de overige hoofdcategorieën zijn onderwerp van discussie geweest in de pilots. Daaruit is het volgende naar voren gekomen.

1. De pilotpartijen pleiten voor tenminste drie skills-lagen in CompetentNL: een eerste laag van generieke hard skills, soft skills en kennisgebieden, een onderste laag met gedetailleerde skills-beschrijvingen en één of meer tussenlagen die een verbinding leggen tussen de eerste en de onderste laag.

2. De drie (of meer) skills-lagen dienen hiërarchisch aan elkaar gerelateerd te worden. Dit is met name van belang voor het opstellen van statistiek. De onderste skills-laag kan dan semantisch gekoppeld worden aan de beroepskenmerken (taken) en vandaaruit aan de beroepen. Vooral de pilotpartijen die dienstverlening of tooling aanbieden voor het onderwijs en de arbeidsmarkt hebben deze semantische koppelingen nodig om de eindgebruikers van dienst te kunnen zijn.

3. De pilotpartijen stellen voor de twee lagen generieke hard skills en soft skills systematisch samen te voegen tot één volledige en consistente laag en deze te positioneren als bovenste laag van de skills-hiërarchie. De twee lagen van kennisgebieden zouden aan de hand van ISCED-F 2013 omgevormd kunnen worden tot vier lagen. Hiermee ontstaan er in feite twee hiërarchieën binnen de hoofdcategorie skills

4. De pilotpartijen bevelen aan om de beroepsvaardigheden te gebruiken voor het samenstellen van de onderste lagen in de skills-hiërarchie of voor het leggen van semantische relaties tussen de taken en de kwalificaties van het mbo.

5. De pilotpartijen verschillen van mening over de wijze waarop CompetentNL veranderingen het beste kan weergeven. Sommigen pleiten voor het vastleggen van veranderingen op taakniveau; anderen zien meer voordeel in het vastleggen van veranderingen op taak- en beroepsniveau.

6. De pilotpartijen hechten unaniem een groot belang aan een systematische duiding van de relaties tussen de verschillende entiteiten in CompetentNL. Deze duiding dient zo uniform mogelijk te zijn. De voorkeur gaat uit naar een weging (op ten minste een tweepunt schaal) van hoe belangrijk een skill is voor een taak en voor een beroep. Voor het uitdrukken van het belang van taken voor beroepen zou een 'ja/nee' relatie kunnen volstaan. Deze duiding van de relaties binnen de ontologie dient onderbouwd te worden om te voorkomen dat er willekeur ontstaat in de wegingen. Als beoordelaars wegingen verschillend gaan toepassen, is CompetentNL niet goed te gebruiken voor het maken van statistiek en voor het ontwikkelen van dienstverlening voor onderwijs en arbeidsmarkt.

Ad. 3: Technische toegang

Als voorbereiding op de inrichting van de hosting en beheer van CompetentNL zijn tijdens de pilots verschillende opties verkend:

1. Het verstrekken van Application Programming Interface (API) om de communicatie mogelijk te maken tussen CompetentNL en de applicaties of programma's van afnemers.

2. Het verstrekken van losse bestanden

3. Het toegankelijk maken van CompetentNL door middel van een webbased portal, vergelijkbaar met die van ESCO en O*Net.

Deze opties zijn voorgelegd aan de feedbackgroep en aan de pilotpartijen. Daaruit komt naar voren dat een API of een portaal de beste manieren zijn om toegang te krijgen tot de data van CompetentNL. De meeste partijen opteren voor beide om aan de uiteenlopende wensen van de eigen medewerkers en eindgebruikers tegemoet te kunnen komen. Kijken we naar de afzonderlijke doelgroepen dan blijkt een API of een downloadbare dataset vooral gewild te zijn bij toolbouwers, dataleveranciers en arbeidsmarktprofessionals. Deze afnemers willen real-time toegang krijgen en gegevens lokaal op kunnen slaan en verwerken. Onderwijspartijen wensen zowel een API als een portal om in te kunnen spelen op de uiteenlopende behoeften van hun eindgebruikers. Het bedrijfsleven en de overige respondenten opteren voor een portal voor het verkrijgen van informatie, zodat bijvoorbeeld

ook HR-professionals met minder (technische) datakennis gemakkelijk en snel gebruik kunnen maken van de beschikbare informatie in CompetentNL.

De feedbackgroep en de pilotpartijen willen de data ontvangen in de vorm van een CSV- of XLSX-bestand (Excel); één pilotpartij verkiest Json als formaat. Zij willen in staat worden gesteld om de volledigste en recentste versie te downloaden, met de mogelijkheid om oudere versies te raadplegen. Alle partijen benadrukken het belang van een goed versiebeheer.

Binnen de feedbackgroep en pilotpartijen bestaan er verschillende zienswijzen over hoe de data van updates voorzien moeten worden. Sommigen wensen dat de data continu van updates worden voorzien, terwijl anderen de updates via een releaseschema willen verkrijgen. Van essentieel belang is een duidelijke en tijdige aankondiging van de updates en de release notes. In de aankondiging moet worden vermeld of het om een minor- of major release gaat en welke veranderingen precies zijn doorgevoerd.

De meningen zijn verdeeld over het belang van het verstrekken van queries. Sommige pilotpartijen verwachten frequent dezelfde queries uit te voeren, terwijl anderen flexibiliteit willen zien in de queryopties. Er zijn ook partijen die geen specifieke voorkeur hebben op dit gebied.

De feedbackgroep heeft input geleverd over de gewenste customer journey (klantroute) binnen een portaal. De meerderheid verwacht dat gebruikers hun zoektocht binnen een portaal zullen starten bij de beroepen, terwijl een kleiner deel denkt dat gebruikers skills of kwalificaties zullen kiezen als vertrekpunt. Een derde groep verwacht dat gebruikers op verschillende manieren door het portaal zullen gaan, afhankelijk van hun specifieke vraag of behoeften. Volgens de feedbackgroep zullen de eindgebruikers een zoekfunctie binnen het portaal gebruiken om gedetailleerde informatie over beroepen en skills te vinden. De meerderheid van de feedbackgroep vindt een doorklikbare boomstructuur handig om specifieke informatie te vinden; voor een minderheid is dit te ingewikkeld.

Tot slot kan uit de pilots en de consultatie van de feedbackgroep worden geconcludeerd dat de meeste marktpartijen naar verwachting veel ondersteuning en informatie nodig zullen hebben om de CompetentNL data efficiënt en effectief te gebruiken in de praktijk. Het is van belang om daarmee rekening te houden in de plannen voor de hosting en voor de communicatie van CompetentNL.

Ad. 4: Consequentie pilots voor doorontwikkeling CompetentNL

Het CDO (het gremium binnen het programma Vaardig met Vaardigheden dat inhoudelijke sturing geeft aan de ontwikkeling van de CompetentNL-data) neemt de bevindingen uit de pilots op drie terreinen mee.

1. Kwaliteit van de data

De pilots hebben uitgewezen dat een aantal kwaliteitsaspecten van de CompetentNL-data van groot belang zijn. Het CDO zal hierop sturen bij de doorontwikkeling van CompetentNL. Zekergesteld moet bijvoorbeeld worden dat de CompetentNL-skills het gehele terrein van de beroepsbeoefening en -opleiding in Nederland bestrijken.

In de documentatie van CompetentNL moet duidelijk worden onderbouwd op welke manier de eigen hard en soft skills-taxonomieën zijn opgezet en waarom voor de kennisgebieden is gekozen voor de ISCED-F 2013-indeling plus CBS-rubrieken.

CompetentNL-skills zullen inclusief worden ontwikkeld en zij mogen op geen enkele wijze mensen op of met een afstand tot de arbeidsmarkt uitsluiten of anderszins nadelig beïnvloeden.

CompetentNL-skills zullen in zo toegankelijk mogelijke taal worden geformuleerd en waar nodig voorzien van duidelijke toelichtingen en voorbeelden.

CompetentNL moet voorts gekoppeld worden aan belangrijke bestaande standaarden voor skills, in het bijzonder met (relevante delen van) ESCO en O*Net.

Tenslotte zal onderzocht worden welke nieuwe typen informatie tijdens de looptijd van het programma Vaardig met Vaardigheden nog aan CompetentNL kunnen worden toegevoegd. Denk aan beroepsvereisten of loopbaanperspectieven van beroepen.

2. Hiërarchie van de data

De pilots hebben duidelijk gemaakt dat er een strikter onderscheid gemaakt moet worden tussen enerzijds de gezamenlijk ontwikkelde skills-classificaties in het hart van CompetentNL (hard skills, soft skills en kennisgebieden) en anderzijds de bron informatie die CompetentNL-partijen afzonderlijk aanleveren (beroepen informatie, zoals taken, beroepsbeschrijvingen, etc. en informatie over erkende opleidingseenheden mbo (kwalificaties, keuzedelen en mbo-certificaten), zoals beroepsvaardigheden, NLQF-niveau, etc. Taken en beroepsvaardigheden maken geen onderdeel uit van de skills-taxonomieën maar moeten hier wel eenduidig aan gekoppeld worden.

De centrale skills-classificaties dienen conceptueel zuivere en goed uitgebalanceerde taxonomieën te zijn waarbinnen één type relatie bestaat: de hiërarchische relatie.

Hard en soft skills moeten inhoudelijk goed op elkaar aansluiten en elkaar niet overlappen.

Tenslotte neemt het CDO in serieuze overweging om een nadere op belang gerichte duiding toe te voegen aan de skills-metadateringsrelaties van de beroepen informatie

3. Technische issues

De pilotpartijen hebben diverse wensen geuit met betrekking tot de manier waarop zij de data van CompetentNL zouden willen kunnen gebruiken, bijvoorbeeld door middel van een API. Waar het CDO zorg voor zal dragen is dat de data op zo'n manier ontwikkeld, opgeslagen en ontsloten zal worden dat deze in alle gewenste formaten uitgeleverd kan worden. De manier waarop dat daadwerkelijk zal gebeuren is aan het beheerteam van CompetentNL.

Inhoud

1. Introductie

Dit rapport geeft de resultaten weer van de evaluatie van de pilots met CompetentNL. Deze pilots hebben plaatsgevonden tussen september 2023 en april 2024 in het kader van het Nationaal Groeifondsprogramma Vaardig met Vaardigheden (VmV). In VmV werkt een consortium, bestaande uit UWV, SBB, TNO en het CBS, aan een nationale, openbaar toegankelijke en voor alle partijen in de arbeidsmarkt en het (beroeps-)onderwijs toepasbare standaard voor het beschrijven van skills: CompetentNL. Dit doen zij in opdracht van het ministerie Sociale Zaken en Werkgelegenheid en het ministerie Onderwijs, Cultuur en Wetenschap.

Voorafgaand aan de pilots heeft in de eerste fase van VmV een marktreview plaatsgevonden. Gedurende de marktreview zijn belangengroepen en marktpartijen geïnformeerd over CompetentNL en zijn hun behoeften, wensen en verwachtingen ten aanzien van CompetentNL verkend. Hieruit is naar voren gekomen dat marktpartijen met name belang hechten aan één gemeenschappelijke skillstaal. Deze nieuwe skillstaal moet 1) concreet maken voor werkgevers, werknemers, scholieren, onderwijspartijen en arbeidsmarktbemiddelaars hoe de skillsgerichte arbeidsmarkt er in de praktijk uitziet, 2) bijdragen aan de (door)ontwikkeling en interoperabiliteit van skills-gebaseerde dienstverlening en tooling en 3) een groot potentieel bereik hebben.

De pilots die in tweede fase van VmV hebben plaatsgevonden, vormen een verdieping op de marktreview. Tijdens de pilots heeft het consortium verschillende versies van CompetentNL, of onderdelen daarvan voorgelegd aan geselecteerde pilotpartijen. Met ‘pilot’ bedoelen we een kleinschalige toepassing van CompetentNL, gericht op de (door)ontwikkeling en gebruik door toekomstige afnemers en gebruikers.

Doel pilots

Het doel van de pilots is om bij te dragen aan de (door)ontwikkeling van CompetentNL door inzicht te verkrijgen in de bruikbaarheid, volledigheid en/of eventuele tekortkomingen van de betreffende data en de toegang hiertoe voor toekomstige toepassing door potentiële afnemers. Tevens is het doel het verkrijgen van inzicht in de meerwaarde van CompetentNL (ten opzichte van alternatieven zoals ESCO) voor de afnemers en de uiteindelijke gebruikers van toepassingen (gerealiseerd door de afnemers) op basis van CompetentNL. Tot slot hebben de pilots als doel om informatie op te leveren voor het nemen van een beslissing in het tweede kwartaal van 2024 over de voortzetting van het programma VmV (het go/no-go besluit). De pilots richten zich expliciet niet op toetsing van het eindproduct, aangezien dit nog in ontwikkeling is. De pilotfase stelt ook geen eisen aan de hosting en beheer van CompetentNL. Wel worden wensen op dit gebied opgehaald bij potentiële afnemers.

Voor het uitvoeren van de pilots zijn vier onderzoeksvragen opgesteld, die voortborduren op de resultaten van de verdiepende fase van de marktreview (zie achtergrond en motivatie). De onderzoeksvragen voor de pilotfase zijn:

1. Inhoud CompetentNL (Data): In hoeverre voldoen de (geplande) inhoudelijke data aan de behoefte van potentiële afnemers?

2. CompetentNL-model (Skills Ontologie): Welke modellering van de ontologie voor CompetentNL ondersteunt het beste de gebruiksbehoeften van potentiële afnemers?

3. Toegang CompetentNL (Techniek): In hoeverre voldoet de geplande technische toegang tot CompetentNL aan de wensen van potentiële afnemers?

4. Consequenties CompetentNL (Doorontwikkeling): Wat betekenen de bevindingen uit de pilots voor de doorontwikkeling van CompetentNL na de pilotfase?

Verschillende soorten pilots

Voor de beantwoording van de onderzoeksvragen is binnen de pilotfase gewerkt met de volgende varianten van pilots:

1. Externe pilots: zes pilots met publieke en private marktpartijen buiten het NGF-programma

2. Interne pilots:

   • 2.1, 2.2., 2.3. Pilots door consortiumpartners binnen het programma VmV (het CBS, SBB, en UWV);

   • 2.4. Pilot Leeroverzicht; launching partner binnen het Nationaal Groeifondsproject;

   • 2.5. Pilot Digilize; winnaar 'Startup in residence programma SZW' 2023.

De input van de externe pilots zijn primair gebruikt voor de beantwoording van de onderzoeksvragen. Het pilotteam heeft de externe pilots intensief begeleid. De interne pilots door Leeroverzicht en Digilize zijn eveneens begeleid maar minder intensief dan de externe pilots. De consortiumpartijen zijn verantwoordelijk geweest voor de begeleiding van de eigen pilots. De opbrengsten van de interne pilots zijn eveneens meegenomen in deze evaluatie.

Naast de pilots is er gedurende de tweede fase van het programma VmV een feedbackgroep ingesteld, aan wie de resultaten per iteratie zijn voorgelegd. Deze feedbackgroep heeft bestaan uit vertegenwoordigers van de partijen die niet hebben meegedaan aan de pilots, bijvoorbeeld omdat ze zijn afgevallen tijdens de selectieprocedure of omdat zij inhoudelijk willen bijdragen maar zelf geen skills-initiatief hebben.

Dit rapport beantwoordt de vier onderzoeksvragen aan de hand van de inbreng uit de externe pilots (variant 1), de interne pilots (variant 2) en uit de feedbackgroep.

Leeswijzer

Dit rapport bestaat uit zeven hoofdstukken. In hoofdstuk 2 beschrijven we de methode en het plan van aanpak voor de pilots. Hoofdstuk 3 volgt met een introductie van de pilotpartijen en een uitleg wat deze tijdens de pilots hebben gedaan. In hoofdstuk 4 gaan we uitgebreid in op de resultaten van de pilots, waarna in hoofdstuk 5 het College voor Data & Ontologie (CDO) een reactie geeft op de resultaten. In hoofdstuk 6 komt de toetsing van de beleidscriteria voor het go/no-go besluit aan de orde. Hoofdstuk 7 is een concluderend hoofdstuk met een beantwoording van de vier onderzoeksvragen.

2. Methode

Doelgroepen

In de eerder uitgevoerde marktreview zijn zes doelgroepen geïdentificeerd die samen een representatieve vertegenwoordiging vormen van externe belangengroepen van CompetentNL. Deze doelgroepen staan vermeld in onderstaande tabel 1.

De informatie- en gebruikersbehoeften die worden opgehaald in de pilots dienen zoveel mogelijk de behoeften en vereisten van deze doelgroepen te weerspiegelen. In de pilots vindt dit plaats door enerzijds het betrekken van een vertegenwoordiger van deze doelgroepen als pilotpartij(en), en anderzijds door het ophalen van input bij representanten van de doelgroepen die deel uitmaken van de feedbackgroep. Dit betekent overigens niet dat voor iedere doelgroep één-op-één een pilot plaatsvindt, maar wel dat één pilot een samenwerkingsverband van partijen kan bevatten, om zo te zorgen voor representatie. Daarnaast kan één partij meerdere doelgroepen vertegenwoordigen, indien er bijvoorbeeld sprake is van een combinatie van technische en domein specifieke kennis.

Selectie

Voor de deelname aan de pilots zijn voorwaarden (knock-out criteria) en gunningscriteria vastgesteld.

De marktpartijen dienden te voldoen aan een zestal voorwaarden om te kunnen participeren aan een pilot:

1. De partij (en/of het samenwerkingsverband van partijen) heeft een skills-initiatief in gebruik of in ontwikkeling, gericht op inzetbaarheid op de arbeidsmarkt of het leven lang ontwikkelen van werkenden, werkzoekenden of studenten. Met skills-initiatieven worden bedoeld: instrumenten die bijdragen aan een meer op skills gerichte arbeidsmarkt.

2. De partij (en/of het samenwerkingsverband van partijen) is bereid om bij te dragen aan beantwoording van de onderzoeksvragen en om daarvoor data te delen met de ontwikkelpartners van CompetentNL en feedback te geven over (concepten van) CompetentNL. Het delen van data impliceert dat zij inzicht bieden in het resultaat van de toepassing van CompetentNL data.

3. Samen met de ontwikkelpartners draagt de partij (en/of het samenwerkingsverband van partijen) bij aan informatievoorziening over de resultaten van de pilots richting andere organisaties uit het eigen domein. Zij committeert zich aan de afspraken rondom de communicatiestrategie.

4. De partij (en/of het samenwerkingsverband van partijen) is bereid om een in-kind bijdrage te leveren aan de ontwikkeling van CompetentNL (mensen, middelen, kennis en uren). De omvang van deze inzet is afhankelijk van de omvang van de pilot en zal in overleg met de partij nader worden bepaald.

5. De partij (en/of het samenwerkingsverband van partijen) is beschikbaar voor de uitvoering van de pilot in de periode van 1 september 2023 tot en met 31 mei 2024.

6. De partij (en/of het samenwerkingsverband van partijen) ondertekent de intentieverklaring voorafgaand aan de start van de uitvoering van de pilots.

De marktpartijen hebben hun kans op deelname van de pilots kunnen vergroten door te voldoen aan de volgende gunningscriteria:

1. De partij (en/of het samenwerkingsverband van partijen) kan snel organiseren en beschikt over een netwerk binnen het eigen domein. Het skills initiatief van de betreffende partij draagt bij aan een zo groot mogelijke representatie van de verschillende domeinen binnen de pilots.

2. De partij (en/of het samenwerkingsverband van partijen) beschikt over technische en domein specifieke expertise op het vlak van skills (data inhoud, architectuur/modellering, bias en beheer/ontsluiting van data).

3. Bekendheid met de uitgangspunten van CompetentNL en deelname aan de marktreview zijn een pré.

4. In de pilot wordt geselecteerd op grond van een zo goed mogelijke representatie van de volgende domeinen en doelgroepen: a. Toolbouwers: Ontwikkelaars e-portfolio's, assessments, matching tools, websites. b. Data leveranciers: Leveranciers van data gericht op onderwijs en arbeidsmarkt (vacatures), ESCO. c. Onderwijs: Onderwijs-professionals mbo (hbo en wo). d. Gemeenten: Werk & Inkomen, sociale werkvoorziening, beleid. e. Branches/bedrijfsleven: Brancheorganisaties, sectorfondsen & O&O fondsen, beroepsverenigingen, werkgevers, vakbonden. f. Arbeidsmarkt-professionals of bemiddelaars: Uitzendbureaus, werkgevers-servicepunten mobiliteits-teams.

Naast de selectiecriteria die relevant zijn voor het onderzoek en het proces van de pilots, heeft de totale samenhang van alle pilots in de selectie meegewogen. Het doel hierbij is om met de pilots de onderzoeksvragen te kunnen beantwoorden vanuit het perspectief van de verschillende doelgroepen. In het aanmeldformulier voor potentiële deelnemers aan de pilots is een weging per criterium opgenomen om dit te borgen.

Plan van aanpak

Om de CompetentNL data goed bruikbaar en toepasbaar te laten zijn in de praktijk, is in de pilots gewerkt naar het voorbeeld van de "Building Enterprise Knowledge Graphs" methode (Sequeda et al, 2021). Deze methode houdt rekening met de behoeften van de afnemers/gebruikers van de CompetentNL kennisgraaf (i.e. de pilotpartijen). De methode onderscheidt drie stappen:

• Stap 1. Het begrijpen van de business case en het achterhalen van de databehoeften van de pilotpartij ten aanzien van CompetentNL;

• Stap 2. Het uitbreiden of bijwerken van CompetentNL (de ontologie en waar mogelijk de data) om beter in deze behoeften te voorzien;

• Stap 3. Het toepassen van (de nieuwe versie van) CompetentNL om te onderzoeken in welke mate CompetentNL voorziet of kan voorzien in de databehoeften. Op basis van de inzichten is het mogelijk om, indien nodig en haalbaar, stap 2 te herhalen.

Iedere pilotpartij heeft voor de looptijd van de pilot een pilotbegeleider toegewezen gekregen. De pilotbegeleider heeft gefungeerd als eerste aanspreekpunt voor de pilotpartij en de schakel tussen de pilotpartij en het pilotteam, het CDO en het communicatieteam. Alle activiteiten die in het kader van de pilot hebben plaatsgevonden, zijn afgestemd tussen de pilotpartij en de pilotbegeleider. In het navolgende is te lezen wat het doel is van de stappen van de Building Enterprise Knowledge Graphs methode en hoe deze stappen zijn toegepast in de pilotfase.

Stap 1

Deze stap richt zich op het ophalen en begrijpen van de "business case", de databehoeften en de behoeften van de pilotpartijen met betrekking tot de technische toegang tot CompetentNL. Aan het begin van de pilots is door middel van een workshop informatie opgehaald over het bestaande dataproces bij de pilotpartijen. Hiermee is getracht inzicht te verkrijgen in de databehoefte van de pilotpartij om te kunnen beoordelen hoe CompetentNL in het bestaande dataproces benut zou kunnen worden. Daarnaast is informatie opgehaald over waar deze databehoefte vandaan komt (de business case), op welke wijze de databehoefte tot dan toe vervuld is, wie deze data bezit of heeft geproduceerd, waar de data zijn opgeslagen en wanneer de data worden gebruikt (of gewenst werd te gebruiken). Dit heeft een gedetailleerd beeld opgeleverd van de databehoeften. Daarnaast zijn de wensen en verwachtingen van de pilotpartijen opgehaald en is onderzocht op welke manier de pilotpartijen toegang wensen te krijgen tot CompetentNL en welke ondersteuningsbehoeftes zij hebben.

Stap 2

In de tweede stap hebben de pilotpartijen geëxperimenteerd met verschillende versies van de CompetentNL kennisgraaf (ontologie + data). De pilotpartijen hebben in deze stap beoordeeld in welke mate CompetentNL data bruikbaar zijn en in welke mate de data tegemoetkomen aan de beantwoording van hun databehoeften. Tijdens de drie iteraties van de pilots hebben de pilotpartijen observaties van en experimenten met de CompetentNL data uitgevoerd die zij in drie releases aangeleverd hebben gekregen (september 2023, december 2023 en februari 2024). Per release hebben de pilotpartijen een notitie ontvangen met uitleg over de geleverde data en het model waarin deze zijn gestructureerd. De notities die bij de start van de tweede en derde iteratie zijn verstrekt, bevatten bovendien een overzicht van de belangrijkste veranderingen die in de voorgaande iteratie zijn aangebracht. Omdat CompetentNL gedurende de pilots nog in ontwikkeling was, hebben de pilotpartijen geen kennis kunnen nemen van CompetentNL als geheel, maar van de onderliggende datasets. De pilotpartijen hebben vooral gelet op het type informatie, de mate waarin de informatie in CompetentNL toereikend is voor toepassingen in de praktijk, de manier waarop het model van CompetentNL verbeterd kan worden en de stappen die gemaakt kunnen worden in het beoordelen van de kwaliteit van de beschikbare data. Het daadwerkelijk toepassen van CompetentNL in concrete applicaties heeft hoofdzakelijk in de derde iteratie plaatsgevonden (februari – maart 2024).

Stap 3

Per iteratie zijn de ervaringen en feedback van de pilotpartijen in gesprekken opgehaald door de pilotbegeleiders. Waar nodig hebben de pilotpartijen aanvullend schriftelijke feedback geleverd. De opgehaalde informatie is vastgelegd in verslagen.

In de derde stap zijn de databehoeften van de pilotpartijen, indien relevant en haalbaar geacht door het datateam, ontologieteam en pilotteam, gerelateerd aan de CompetentNL kennisgraaf. Dit heeft als volgt plaatsgevonden. Uit de verslaglegging van de pilotbegeleiders zijn issues gedestilleerd welke in het issueregister zijn vastgelegd. In het issueregister is door het pilotteam bijgehouden door welke pilotpartij (en pilotbegeleider) het issue is ingebracht, op welke datum, tijdens welke iteratie en is er een inschatting gemaakt van de prioriteit. Door het CDO is in hetzelfde document een GitLab nummer aan het issue toegekend. Tevens heeft het CDO bijgehouden wanneer de issues zijn opgepakt en welke status deze hebben (open/closed). Een lid van het pilotteam en een lid van het CDO hebben vervolgens op wekelijkse basis alle issues doorgenomen en geactualiseerd.

Op basis van de issues zijn er eerste stappen gezet in de doorontwikkeling van de data en ontologie of in het maken van koppelingen met andere databronnen en modellen. De feedback is hiermee steeds input geweest voor de volgende iteratie. Per iteratie is aangegeven op welke plekken de ontologie en de data zijn doorontwikkeld, of waar koppelingen zijn gemaakt met andere databronnen en modellen. Voor de issues die niet gedurende de pilotfase opgepakt konden worden, is door het CDO een prioritering en planning gemaakt voor na de pilotfase. De prioritering is in samenspraak gemaakt met het pilotteam en de pilotpartijen. De resultaten per iteratie zijn steeds in verslagen gevat. In dit rapport zijn alle resultaten samengevoegd.

Stappen 2 en 3 zijn iteratief uitgevoerd. Binnen de iteraties is zoveel mogelijk rekening gehouden met de wensen van de pilotpartijen. Na afronding van een iteratie is steeds bij de pilotpartijen nagegaan in hoeverre de opgehaalde informatie van stap 1 nog relevant is voor de ontwikkeling van CompetentNL.

De resultaten per iteratie zijn steeds voorgelegd aan de pilotpartijen in zogeheten pilotpartijbijeenkomsten. Hiervan hebben er drie plaatsgevonden: in december van 2023 en februari en april van 2024. Tijdens de pilotpartijbijeenkomsten zijn de resultaten van de afzonderlijke iteraties voorgelegd aan de pilotpartijen. Met de pilotpartijen is aan de hand van de data en de kennisgraaf in ontwikkeling gesproken over de herkenbaarheid van de resultaten en is steeds toegelicht hoe de issues door het CDO zijn opgepakt. Tijdens iedere bijeenkomst zijn de pilotpartijen in de gelegenheid gesteld om vragen te stellen en commentaar te leveren.

Voor de verdieping van enkele issues en voor het bepalen van de prioritering zijn in de derde iteratie panelsessies georganiseerd om bepaalde issues met de pilotpartijen en leden van het CDO te bediscussiëren en te prioriteren. De eerste panelsessie is gegaan over de generieke skills; de tweede over de relaties tussen taken en skills en de derde over de relaties tussen beroep/kwalificatie en skills. De pilotpartijen hebben vrijwillig deelgenomen aan de panelsessies. Per panelsessie hebben gemiddeld vier externe en interne pilotpartijen deelgenomen. Van de panelsessies zijn verslagen gemaakt, die zijn verwerkt in hoofdstuk 4 over de resultaten van pilots.

3. De pilotpartijen en feedbackgroep

In dit hoofdstuk wordt nader ingegaan op de rol en activiteiten van de externe en interne pilotpartijen alsook van de feedbackgroep. Iedere pilotpartij wordt kort geïntroduceerd waarna de activiteiten aan de orde komen die zij tijdens de pilots hebben uitgevoerd. Vervolgens wordt uitgelegd wat de rol van de feedbackgroep is geweest, op welke manier deze input heeft geleverd op de voortgang van de pilots en welke onderwerpen daarbij aan de orde zijn geweest.

De externe pilotpartijen

Publieke en private organisaties hebben individueel of in een samenwerkingsverband deelgenomen aan pilots. Deze organisaties zijn geselecteerd omdat zij beschouwd worden als voorbeeld of representant van relevante doelgroepen van CompetentNL (zie tabel 1). De externe pilotpartijen zijn aan de slag gegaan met (delen van) de dataset van CompetentNL en hebben hun ervaringen 1-op-1 gedeeld met hun pilotbegeleider, in pilotpartijbijeenkomsten en in panelsessies. Hieronder volgt een beschrijving per pilotpartij en een toelichting op de activiteiten die zij tijdens de pilot hebben ondernomen.

1.1. Jobdigger

Jobdigger is een databedrijf dat openbare vacatureteksten op het internet verzamelt en verwerkt tot bruikbare datapunten en inzichten in de arbeidsmarkt. Dit doen ze al meer dan 10 jaar in Nederland en in een aantal omringende landen.

Jobdigger heeft op basis van verzamelde vacaturedata een eigen taxonomie ontwikkeld voor het categoriseren van skills en beroepen. Deze taxonomie wordt gebruikt in verschillende toepassingen en kan mogelijk verrijkt worden met CompetentNL. In de pilot heeft Jobdigger de eigen taxonomie vergeleken met CompetentNL en de toegevoegde waarde van CompetentNL getest voor een van hun toepassingen. In hun interactieve rapport/tool in Quicksight heeft Jobdigger CompetentNL-vaardigheden vergeleken met Jobdigger-vaardigheden op basis van BO&C als koppelvlak. Hierin hebben zij specifiek gefilterd op:

• BO&C code;

• BO&C omschrijving;

• een of meerdere CompetentNL skills;

• een of meerdere Jobdigger skills,

• het minimaal aantal gevonden vacatures (om de betrouwbaarheid van de Jobdigger data te verhogen).

Op deze manier zijn fouten in de CompetentNL data opgespoord en heeft Jobdigger geïdentificeerd welke entiteiten in CompetentNL ontbreken.

1.2. Stichting Volandis

Volandis is een kennis- en adviescentrum voor duurzame inzetbaarheid, geïnitieerd door de sociale partners in de bouw en infra. Volandis heeft samen met de HAN en TNO het Digitaal Skills Paspoort (DSP) ontwikkeld. Het DSP is erop gericht om werknemers en werkgevers inzicht te verschaffen in de skills die de werknemer al bezit of nog moet ontwikkelen. Hiermee kan de toepassing zowel gebruikt worden voor de ontwikkelmogelijkheden op het niveau van de werknemer, als voor de factoren waar de werkgever in termen van instroom, doorstroom en talentontwikkeling op organisatieniveau rekening mee kan houden.

Binnen de pilot heeft Volandis verkend of CompetentNL data kunnen bijdragen aan de verwezenlijking van onderliggende doelstelling van het DSP: gestandaardiseerde functiebeschrijvingen en gerichtere werving en matching in de bouw- en infrasector. Hiertoe heeft Volandis tijdens de pilot drie stappen doorlopen:

1. Vanuit drie functieomschrijvingen heeft Volandis de inhoud en volledigheid van de data van CompetentNL beoordeeld. Het gaat hierbij om een beoordeling van de beroepsomschrijvingen en de taken binnen CompetentNL. Volandis heeft gebruik gemaakt van zelf ontwikkelde steekwoorden om te beoordelen of hiermee de juiste taken in CompetentNL gevonden kunnen worden. Ook heeft Volandis de documentatie behorende bij de data gereviewd.

2. Volandis heeft de meerwaarde verkend van skillsdata uit CompetentNL voor het verrijken van functieomschrijvingen in de bouwsector. Hierbij is bijvoorbeeld gekeken naar de meerwaarde van skills uit CompetentNL in vergelijking met de skills uit het SHL-Competentiekader die opgenomen zijn in het DSP.

3. Volandis heeft de data van CompetentNL voorgelegd aan een of meer HR-medewerkers in de Bouw en Infra. De data zijn getoetst op herkenbaarheid en bruikbaarheid in termen van het opstellen van vacatures en het boordelen van personeelsinzet. Hiertoe heeft Volandis roadmaps uitgewerkt en een handleiding geschreven voor de HR-medewerkers om de data van CompetentNL te kunnen beoordelen.

1.3. SkillLab

SkillLab ontwikkelt (mobiele) applicaties voor arbeidsmarktintermediairs (gemeenten, arbeidsdiensten, loopbaanadviseurs) op basis van diverse skills-taxonomieën. Hiermee wil SkillLab een eerlijke arbeidsmarkt creëren waarin scholieren, studenten, werkzoekenden en werkenden passende banen en opleidingen kunnen vinden op basis van hun skills-profiel. SkillLab kijkt niet alleen naar formele vaardigheden, maar ook naar vaardigheden die breed zijn opgedaan en positioneert zich hiermee als toolbouwer die doelgroepen als migranten, herintreders en mensen met een afstand tot de arbeidsmarkt kan ondersteunen bij hun oriëntatie op passend werk. In de Skill-assessment kijkt SkillLab niet alleen naar formele vaardigheden die vastgelegd zijn in diploma's of andere bewijzen, maar ook breder naar vaardigheden die mensen op allerlei plekken (op het werk en thuis) opdoen. Met ESCO als taxonomie kan SkillLab 29 talen ondersteunen.

Tijdens de pilot heeft SkillLab onderzocht of CompetentNL bruikbaar is voor hun toepassingen en tooling. SkillLab is nagegaan of de definities, attributen en relaties in CompetentNL inhoudelijk voldoende, consistent en bruikbaar zijn. Daarnaast heeft SkillLab onderzocht of de toepassing van CompetentNL een verbetering of verslechtering is ten opzichte van de bestaande classificaties (ISCO/ESCO, SOC/O*NET, BIZ) en de eigen SkillLab-taxonomie die ze momenteel in hun vaardigheidsoriëntatietool gebruiken. Het gaat hierbij zowel om de inhoud van CompetentNL als de technische toegang tot de data. SkillLab heeft de integratie van data in de applicatie getest op een deels handmatige basis, zonder commercieel gebruik. Dit omvat het testen van de API en het gedrag van de aanbevelingsmodule op basis van de vaardigheden en beroepen van een cliënt.

1.4. Stichting ROC Nijmegen

ROC Nijmegen voert in samenwerking met Matchcare, de HAN en de Werkgeversvereniging Zorg en Welzijn (WZW) experimenten uit om inzicht te krijgen in een skillsgerichte arbeidsmarkt. Eén van deze experimenten betreft het matchen van kandidaten met werkgevers binnen de sector zorg en welzijn op basis van skills.

Matchcare heeft tijdens de pilot de structuur en data van de zelf ontwikkelde regiobarometer vergeleken met de structuur en data van CompetentNL. Het doel is om te bepalen welke meerwaarde CompetentNL biedt. De vergelijking richt zich op de modellering van data, inclusief de ordening van data entiteiten en de koppelingen tussen verschillende databronnen. Om dit te realiseren heeft Matchcare een dashboard ontwikkeld gebaseerd op de data van CompetentNL. De Werkgeversvereniging Zorg en Welzijn heeft drie kwalificaties uit de Zorg- en Welzijnssector vergeleken met de bijbehorende skills uit het dashboard en voorgelegd aan enkele deskundigen uit de sector. Tot slot heeft ROC Nijmegen op basis van verschillende kwalificaties uit de sectoren Hospitality & Gastvrijheid en Zorg & Welzijn de relatie tussen kwalificaties en skills inzichtelijk gemaakt, waarbij ze eveneens gebruik hebben gemaakt van het dashboard van Matchcare.

1.5. Passport for Work

Het initiatief Passport for Work, opgezet door samenwerkende partijen en de gemeente Eindhoven, dient als platform om werkzoekenden uit het gemeentelijk bestand te matchen met werkgevers op basis van skills. Het platform maakt gebruik van een taxonomie gebaseerd op O*NET, momenteel bestaande uit 32 beroepen in zorg, techniek en bouw.

Tijdens de pilot heeft Passport for Work met het oog op de kwaliteit van de data en modellen CompetentNL vergeleken met hun eigen taxonomie en de toegevoegde waarde ervan beoordeeld.

Het vergelijkend onderzoek omvat het analyseren van de knowledge graphs van CompetentNL en de taxonomie van Passport for Work. Passport for Work heeft de hoofdcategorieën, attributen en relaties tussen entiteiten onderzocht, met als doel om de toepassingsmogelijkheden van CompetentNL te verbeteren. Hiervoor is gebruik gemaakt van ervaringen met werkgevers. Daarnaast heeft Passport for Work CompetentNL getest binnen hun eigen platform aan de hand van kansrijke beroepen in de regio. Zij hebben de datakwaliteit onderzocht voor specifieke beroepen, verschillen in beschrijvingen en titels van skills, en de mogelijkheden tot verbetering van CompetentNL. Tot slot heeft Passport for Work de begrijpelijkheid van het taalgebruik in CompetentNL voor de mbo-doelgroep van niveau 1 en 2 beoordeeld. Het taalniveau en de synoniemen van kansrijke beroepen zijn getest en voorgelegd aan taalkundigen om te beoordelen of het taalgebruik aansluiting vindt bij de beoogde doelgroep.

1.6. Stichting Matching en Carrière Tool

Stichting Matching & Carrière Tool verzorgt een platform om vraag en aanbod op de Noord-Nederlandse arbeidsmarkt skillsbased te matchen. De Matching & Carrière Tool is geïnitieerd door Arbeidsmarktregio Groningen, Hanzehogeschool Groningen, Rijksuniversiteit Groningen, VNO NCW MKB Noord en FNV. Toolbouwer Dit-WERKT en samenwerkingsverband Drenthe College, Noorderpoort en Alfa collega (DNA) vertegenwoordigen de stichting in de pilot.

Stichting Matching & Carrière Tool heeft in de eerste en tweede iteratie (subsets van) de data van CompetentNL beoordeeld op de kwaliteit, de bruikbaarheid/toepassingsmogelijkheden en de volledigheid. Daarnaast heeft Stichting Matching & Carrière Tool gekeken naar de modellering van de data. Op basis van het inzien van de data heeft Stichting Matching & Carrière Tool steeds suggesties voor verbetering aangeleverd bij de pilotbegeleiders. In de derde iteratie heeft Stichting Matching & Carrière een mock-up gemaakt met de toepassing van de data van CompetentNL in hun tool. Hiermee hebben zij de verschillende mogelijkheden voor de koppeling tussen skills, werk en opleiding uitgeprobeerd. Zij hebben zich daarbij de vraag gesteld of additionele relaties leiden tot betere uitkomsten. Naast de mock-up is er in de 3e iteratie gekeken naar de interoperabiliteit van de CompetentNL data. Dit heeft plaatsgevonden door de BO&C code afkomstig van Jobdigger in de Matching- en Carrièretool te laten communiceren met de ESCO-beroepen en opleidingen.

Interne pilotpartijen

De consortiumpartners binnen het programma VmV het CBS, SBB en UWV en de programmapartners Leeroverzicht en Digilize hebben diverse pilots met CompetentNL uitgevoerd. Hieronder volgt een beschrijving van deze interne pilotpartijen en een toelichting op de activiteiten die zij in hun pilot hebben ondernomen.

2.1 Het CBS

Binnen het programma VmV brengt het CBS unieke kennis in van arbeidsmarktstatistiek en technologische expertise op het gebied van skills-herkenning door middel van de toepassing van zogenoemde hybride AI (de combinatie van artificiële intelligentie (AI) en menselijke expertise). Naast de rol van consortiumpartner, houdt het CBS zich in de context van de pilots bezig met vier vraagstukken.

Allereerst heeft het CBS een methode ontwikkeld om inzicht te verkrijgen in de digitale competenties die vereist zijn voor verschillende beroepen. Dit is gedaan door met CompetentNL data een digitale vaardigheidsscore per beroep te berekenen. Ten tweede heeft het CBS een algemene review uitgevoerd op de CompetentNL data en ontologie. Hierbij hebben zij geanalyseerd in hoeverre data en relaties geschikt zijn om te gebruiken als basis voor de te ontwikkelen statistieken. Daarnaast heeft het CBS een eerste experimentele statistiek over skills ontwikkeld die op de arbeidsmarkt gevraagde (en indien mogelijk aangeboden) worden. Tot slot heeft de HR afdeling van het CBS onderzocht in hoeverre de hard skills en soft skills uit CompetentNL gebruikt kunnen worden voor werving & selectie en interne ontwikkelplannen.

2.2 KiesMBO.nl (SBB)

KiesMBO.nl is een studiekeuze portaal specifiek gericht op de mogelijkheden die het middelbaar beroepsonderwijs (mbo) biedt. Op KiesMBO.nl kunnen jongeren, hun ouders en scholen informatie vinden over het mbo, beroepen en opleidingen. Ook is er arbeidsmarkt informatie te vinden over de kans op een stage, leerbaan of werk van de beroepen en opleidingen.

Tijdens de pilot heeft KiesMBO de bruikbaarheid en (mogelijke) meerwaarde van CompetentNL verkent ten opzichte van het huidige model achter het portaal. KiesMBO heeft voor de 3e iteratie van de pilots de softskills in de dataset van CompetentNL en een aantal beroepen vergeleken met de eigen gehanteerde talenten in de interessestest om te kijken of deze softskills een bredere keuze aan opleidingen oplevert dan de eigen begrippenlijst. Op basis van deze vergelijking is het KiesMBO opgevallen dat er meer opleidingsmogelijkheden (matches) zijn als de data van CompetentNL toegepast worden in de interessestest.

2.3 UWV

UWV is de publieke uitvoeringsorganisatie voor werk, arbeid en zorg in Nederland. Binnen de organisatie is er een brede expertise aanwezig over de arbeidsmarkt, arbeidsparticipatie en arbeidsbemiddeling. UWV vervult op de arbeidsmarkt een specifieke rol in de afstemming van vraag en aanbod. Tevens bezit UWV zeer gespecialiseerde kennis op het gebied van beroepenbeschrijvingen.

UWV heeft in het kader van de pilot CompetentNL een enquête uitgevoerd onder arbeidsbemiddelaars om de hard- en soft skills in CompetentNL toetsen. Bij deze toets is een aanvullende set van 30 (niveau 2) skills meegenomen, afkomstig van UWV-data. De arbeidsbemiddelaars hebben door het invullen van een eigen skillsprofiel de in totaal 130 skills beoordeeld op basis van een 3-punt likert schaal. In de enquête zijn aanvullende vragen gesteld over het identificeren van overbodige en ontbrekende skills. Tevens hebben respondenten opmerkingen kunnen maken in vrije tekstvelden. Het onderzoek van UWV heeft belangrijke informatie opgeleverd voor de samenstelling van hiërarchie van skills data in CompetentNL.

2.4 Leeroverzicht

De website Leeroverzicht biedt een onafhankelijk en zo compleet mogelijk overzicht van beschikbare opleidingen in Nederland. Dit kunnen kortdurende scholingstrajecten zijn gericht op praktijkleren, trainingen en cursussen en ook opleidingen met een wettelijk goedgekeurd diploma. Het gaat om zowel reguliere opleidingen die de overheid betaalt, als om opleidingen van commerciële opleidingsbureaus.

Leeroverzicht heeft tijdens de pilot onderzocht hoe de skillsontologie van CompetentNL gebruikt kan worden om met behulp van skills passende opleidingen te vinden. Hiervoor heeft Leeroverzicht samengewerkt met de opleidingsaanbieders ROVC en Salta Group en de bronhouders EDU-DEX en RIO. Opleidingen van ROVC en opleiders binnen de Salta Group zijn in zowel EDU-DEX als RIO vastgelegd en worden door Leeroverzicht ontsloten. De pilot heeft als doel gehad om te onderzoeken of de wijze waarop de skillsontologie door CompetentNL is opgebouwd, werkbaar is voor de keten: van opleider naar bronhouder tot Leeroverzicht. In deze pilot hebben de non-formele onderwijsaanbieders Salta Group en ROVC verkend in hoeverre de data en het model van CompetentNL bruikbaar zijn om skills te koppelen aan non-formele opleidingen. Ook EDU-DEX heeft feedback gegeven over de technische toegang van CompetentNL. Hiermee heeft de pilot inzichten opgeleverd over het gebruik van CompetentNL bij non-formele opleidingen.

2.5 Digilize

In 2023 heeft het Ministerie van Sociale Zaken en Werkgelegenheid een challenge uitgeschreven in het kader van het 'Start-up in Residence programma'. Dit is een innovatieprogramma gericht op de werving en selectie van personeel in het MKB op basis van vaardigheden. Digilize is uitgekozen als start-up voor deze challenge. In het kader daarvan heeft Digilize CompetentNL gebruikt als informatiefundament bij de ontwikkeling van een werving- en selectietool, genaamd Skilld. Deze tool is erop gericht om werkgevers niet alleen op basis van een diploma personeel te laten werven en selecteren, maar ook op basis van ervaring en opgedane skills. Daarnaast biedt de tool de mogelijkheid voor werkzoekenden om hun skills in kaart te brengen en te solliciteren naar een functie, ongeacht hun diploma of loopbaan. Het streven is om op deze manier meer en betere matches te krijgen. Digilize werkt in deze challenge samen met TextKernel, die vacature data levert om binnen de tool te gebruiken.

Binnen de pilot heeft Digilize geëxperimenteerd met de verschillende CompetentNL datasets, met een focus op de beroepskenmerken (taken) van CompetentNL. Vervolgens zijn de toepassingsmogelijkheden onderzocht van CompetentNL voor de werving- en

selectietool in het mkb. Digilize heeft CompetentNL bijvoorbeeld gebruikt om een skills-profiel van werkzoekenden te creëren en voor het verrijken van skills-based vacatures.

Feedbackgroep

Gedurende de tweede fase van het programma VmV is er een feedbackgroep ingesteld aan wie de resultaten van de pilots per iteratie zijn voorgelegd. Deze feedbackgroep heeft bestaan uit meer dan 50 vertegenwoordigers van de partijen die niet mee hebben gedaan aan de pilots, bijvoorbeeld omdat ze zijn afgevallen tijdens de selectieprocedure of omdat zij inhoudelijk een bijdrage hebben willen leveren zonder zelf een skills-initiatief erop na te houden. In bijlage 2 is een overzicht opgenomen van de organisaties die deel hebben genomen aan de feedbackgroep.

De feedbackgroep heeft als doel gehad om:

• zeker te stellen dat de inbreng van de pilotpartijen weerklank vindt bij gelijkgestemden;

• draagvlak te vinden voor de toepassing van CompetentNL;

• ervoor te waken dat een brede en grootschalige toepassing van CompetentNL mogelijk blijft;

• de verschillende geïnteresseerde partijen betrokken te houden bij de ontwikkeling van CompetentNL.

De voornaamste bevindingen uit de pilots zijn met de leden van de feedbackgroep gedeeld om hun feedback op te halen. Dit is gedaan tijdens vier bijeenkomsten en door middel van vragenlijstonderzoeken.

Bijeenkomsten met de feedbackgroep

De feedbackgroep is gedurende de pilotperiode verschillende keren bijeengekomen. De eerste keer is geweest tijdens een online startbijeenkomst en daarna drie keer na afronding van een iteratie. De bijeenkomsten hebben digitaal of op locatie plaatsgevonden.

De online startbijeenkomst heeft op 11 oktober 2023 plaatsgevonden om helderheid te verschaffen over het verloop van de pilots. Hierna zijn de bijeenkomsten gevolgd waarin de resultaten uit de iteraties en de verwerking van de feedback uit voorgaande iteraties zijn voorgelegd aan de feedbackgroep.

De eerste inhoudelijke bijeenkomst heeft online plaatsgevonden op 6 december 2023. De feedbackgroep heeft toen de resultaten van de pilots voorgelegd gekregen waarna zij in drie groepen uiteen zijn gegaan: een groep van toolbouwers en dataleveranciers, een groep van vertegenwoordigers van gemeenten en onderwijs en een groep vanuit de branches/bedrijfsleven en arbeidsmarktprofessionals en -bemiddelaars. De deelnemers

hebben zich gebogen over CompetentNL vraagstukken die relevant zijn voor de belangengroepen die zij vertegenwoordigen.

De tweede inhoudelijke bijeenkomst heeft live plaatsgevonden op 13 maart 2024. Na een plenair gedeelte over de resultaten en de ontwikkeling van CompetentNL is de groep uiteengegaan in drie groepen om verdiepende gesprekken te voeren over de CompetentNL data en de opbrengsten van de pilotpartijen, gepresenteerd door de pilotpartijen zelf.

De laatste inhoudelijke bijeenkomst op 24 april 2024 heeft online plaatsgevonden. In deze bijeenkomst zijn de resultaten van de pilots en de opbrengsten van de beleidscriteria (en wat pilotpartijen daarover hebben gezegd) aan de feedbackgroep voorgelegd. Tevens is de feedbackgroep toen op de hoogte gesteld van het vervolg van het programma Vaardig en Vaardigheden.

Tijdens de vier bijeenkomsten is de feedbackgroep in de gelegenheid gesteld om te reageren op de bevindingen en resultaten van de pilots en om vragen te stellen. Hun feedback is meegenomen in deze rapportage (zie hoofdstuk 4). Ook is na elke bijeenkomst een evaluatieformulier uitgezet. Daaruit is gebleken dat de bijeenkomsten over het algemeen positief zijn ervaren en aan de verwachtingen hebben voldaan.

Vragenlijstonderzoeken

De leden van de feedbackgroep hebben gedurende de looptijd van de pilots op twee momenten een vragenlijst ingevuld. In de eerste vragenlijst hebben 14 leden van de feedbackgroep input geleverd op de gemodelleerde data uit CompetentNL. De tweede vragenlijst over de gewenste technische toegang van CompetentNL is door 30 leden van de feedbackgroep ingevuld.

4. Resultaten

Inleiding

Tijdens de drie iteraties van de pilots hebben de pilotpartijen observaties van en experimenten met de CompetentNL data uitgevoerd die zij in drie releases aangeleverd hebben gekregen (september 2023, december 2023 en februari 2024). Figuur 1 bevat een overzicht van de data architectuur van CompetentNL zoals die tijdens de derde iteratie beschikbaar is gesteld aan de pilotpartijen. Bij de interpretatie van de resultaten is het van belang er rekening mee te houden dat CompetentNL gedurende de pilots nog in ontwikkeling was, waardoor de pilotpartijen geen kennis hebben kunnen nemen van CompetentNL als geheel, maar enkel van de onderliggende datasets.

Algemene observaties

De pilotpartijen constateren dat CompetentNL in een aantal opzichten een verrijking betekent ten opzichte van bestaande classificaties. De beroepenindeling op drie niveaus (ISCO, kernberoepen en referentieberoepen) met een uitgebreide set aan verbijzonderingen en synoniemen leveren veel extra informatie op over het aantal beroepen en functies in Nederland en de kenmerken daarvan. Op het niveau van skills bevat CompetentNL een omvangrijke set aan taken die gedetailleerd zijn beschreven. Daarnaast is er een set aan beroepsvaardigheden voor het mbo toegevoegd uit de kwalificatiedossiers van SBB met eveneens gedetailleerde beschrijvingen. Op meer generiek niveau zijn er lagen van hard

skills, soft skills en kennisgebieden opgenomen. De taken en beroepsvaardigheden zijn gekoppeld aan de kernberoepen (Laag 1), maar nog niet aan de hard skills, soft skills en kennisgebieden. Volgens de pilotpartijen bieden de taken en beroepsvaardigheden bruikbare informatie voor onderwijs- en arbeidsmarktoriëntatie, mits deze systematisch gerelateerd worden aan skills en kennisgebieden.

De pilotpartijen zijn daarnaast van oordeel dat CompetentNL zich ten opzichte van de bestaande classificaties ESCO en O*Net onderscheidt door de uitgebreide beroepenindeling en de integratie van onderwijskwalificaties in de ontologie. De koppeling tussen skills, beroepen en kwalificaties levert extra informatie op over de inhoud en context van het werk. Daarmee kan CompetentNL in de toekomst een informatiefundament vormen voor nieuwe of verbeterde toepassingen die mensen nauwkeuriger op de hoogte brengen van passende opleidingen en banen.

Ondanks deze algemene positieve indruk is er volgens de pilotpartijen nog het nodige te verbeteren aan CompetentNL. Veel van de geconstateerde tekortkomingen zijn terug te voeren op de gebrekkige integratie van CompetentNL. De pilotpartijen vinden dat onderdelen van CompetentNL nog te sterk te herleiden zijn tot data van UWV of van SBB. Zij missen een duidelijke gemeenschappelijk opzet, uitwerking en onderbouwing. De overkoepelende aanbeveling van de pilotpartijen is dan ook om bij de doorontwikkeling veel aandacht te besteden aan het integreren van CompetentNL tot één geheel. Dit is niet alleen een inhoudelijke, maar ook een organisatorische opgave. Er zal het nodige gedaan moeten worden om tot een generieke aansturing, samenwerking en kwaliteitsborging te komen. Het programmateam heeft deze aanbeveling van de pilotpartijen opgepakt door in januari 2024 een College voor Data & Ontologie (CDO) in te stellen met vertegenwoordigers van UWV, SBB en TNO. Het CDO heeft de opdracht gekregen om de integratie van CompetentNL praktisch vorm te geven.

De meeste bevindingen van de pilots die in het vervolg aan de orde komen hebben direct of indirect met de integratie opgave te maken. In dit hoofdstuk worden deze bevindingen gepresenteerd en toegelicht aan de hand van twee centrale thema's: de hiërarchie in de skills-data en de kwaliteit van de data. We sluiten het hoofdstuk af met de behandeling van de gewenste technische toegang en een technische issue die gedurende de pilots aan de orde zijn gesteld.

Hiërarchie in de Skills-data

De pilotpartijen hechten een groot belang aan een systematische weergave van de data en hun onderlinge relaties in CompetentNL. Het is voor de uiteenlopende gebruiksdoelen van CompetentNL van essentieel belang dat de hoofdcategorieën beroepen, beroepskenmerken, skills en kwalificaties semantisch aan elkaar gerelateerd worden. Je wilt immers weten welke skills nodig zijn voor bepaalde taken en beroepen en hoe skills

gerelateerd zijn aan kwalificaties van het onderwijs. Volgens de pilotpartijen zouden de beroepskenmerken (taken) bij uitstek kunnen fungeren als centraal verbindende hoofdcategorie binnen CompetentNL vanuit de gedachte dat alle beroepen en kwalificaties zijn terug te voeren op diverse onderliggende taken. De skills die nodig zijn om deze taken uit te oefenen vormen tezamen de skills-sets voor de betreffende beroepen en kwalificaties.

Binnen de hoofdcategorieën kunnen verschillende lagen van data onderscheiden worden. De pilotpartijen constateren dat binnen de hoofdcategorie beroepen al een heldere hiërarchische relatie beschikbaar is van generieke beschrijvingen (ISCO, BRC) naar specifiekere uitsplitsingen op een lager aggregatieniveau in de vorm van kernberoepen en referentieberoepen. Voor de beroepskenmerken is volgens de pilotpartijen geen hiërarchie nodig omdat deze categorie slechts uit één laag (taken) bestaat. Voor de kwalificaties zijn er alleen semantische relaties beschikbaar met de verwante datasets beroepsvaardigheden en Kennisgebieden die vooralsnog in een andere hoofdcategorie (skills) zijn ingedeeld. Rest de hoofdcategorie skills waarvoor er aparte afspraken nodig zijn voor de onderverdeling in lagen, de onderlinge relaties daartussen en de relaties met de andere hoofdcategorieën.

1. Aantal skills-lagen in CompetentNL

De pilotpartijen pleiten voor ten minste drie skills-lagen in CompetentNL: een eerste laag van generieke hard skills, soft skills en kennisgebieden, een onderste laag met gedetailleerde skills-beschrijvingen en één of meer tussenlagen die een verbinding leggen tussen de eerste en de onderste laag. Voor het maken van statistiek is de eerste laag ontoereikend om relaties te leggen met informatie uit vacatures en de onderste laag levert te veel skills-beschrijvingen op. Een of meer tussenlagen met nieuwe beschrijvingen zijn nodig om de gewenste vertaalslag te maken op een hoger aggregatieniveau. Voor het matchen van kandidaten op de arbeidsmarkt is een tussenlaag van skills eveneens nodig. Er verdwijnt namelijk veel informatie als er rechtstreeks een relatie gelegd wordt tussen skills op de onderste en de bovenste laag.

Voor het samenstellen van de tussenlagen en de onderste laag van hard skills liggen drie opties voor de hand:

1. gebruikmaken van de beroepsvaardigheden van het mbo of

2. de ESCO laag S3, dan wel

3. nieuwe skills-lagen samenstellen op basis van de taken en generieke skills van CompetentNL.

Wordt gekozen voor de beroepsvaardigheden (1e optie), dan zullen er inhoudelijke correcties en aanvullingen nodig zijn om te voorkomen dat een eenzijdige nadruk komt te liggen op het mbo in de tussenlagen en de onderste skills-laag. Een keuze voor de ESCO S3 (2e optie) zal de mogelijkheden beperken om de skills-hiërarchie naar eigen believen aan te passen, hetgeen indruist tegen het beleid van VmV om autonoom te zijn in de ontwikkeling van CompetentNL. De 3de optie om zelf een skills-hiërarchie samen te stellen past beter bij het beleid van VmV. De beroepsvaardigheden en taken kunnen hierbij dan als informatiebronnen worden gebruikt. Het CDO heeft zich al voorgenomen om vanuit een van de zelfgemaakte tussenlagen of vanuit de onderste skills-laag een koppeling te maken naar ESCO S3.

2. Hiërarchische of semantische relaties tussen de lagen skills?

De pilotpartijen hebben verschillende ideeën naar voren gebracht over de wijze waarop de lagen skills zich tot elkaar dienen te verhouden. De ene pleit voor een strakke hiërarchie van skills; de andere opteert meer voor een grotere variëteit aan semantische relaties. Vanuit met name het CBS is naar voren gebracht dat een strakke hiërarchie van skills een vereiste is voor het opstellen van statistiek (een uitgebreide onderbouwing daarvan is opgenomen in bijlage 3). Het CBS leidt uit vacatures af welke taken en skills van belang zijn voor een bepaald beroep. Er zijn circa 5.000 taken en de verwachting is dat de onderste skills-laag meer dan 1.000 skills zal bevatten (er worden al 2.000 beroepsvaardigheden onderscheiden). Al deze taken en skills kunnen onmogelijk op een overzichtelijke wijze in verband gebracht worden met variabelen of kenmerken uit vacatures. Het zijn simpelweg te grote sets om over te publiceren. Dit probleem is volgens het CBS op te lossen door de onderste laag van gedetailleerde skills hiërarchisch te relateren aan concepten op een hoger aggregatieniveau. Voorwaarde is wel dat een generieke hard skill in de bovenste skill-laag verwijst naar verschillende skills op de lagere skills-lagen en niet andersom. Als een gedetailleerde skill op laag 3 aan verschillende generieke hard skills op laag 1 gerelateerd kan worden verdwijnt namelijk het hogere aggregatieniveau van de hard skills en daarmee de mogelijkheid om statistiek op te stellen. Een voorbeeld is de generieke hard skill 'rekenen' die hiërarchisch aan diverse gedetailleerde skills over rekenen gelinkt kan worden. Het gaat fout als er vanuit een bepaalde gedetailleerde skill een relatie gelegd kan worden met verschillende generieke hard skills. In dit voorbeeld zou het naast 'rekenen' om 'lezen' kunnen gaan omdat je moet kunnen lezen om te kunnen rekenen. Het hogere aggregatieniveau van de generieke hard skills verdwijnt dan.

Deze eis om ter wille van de statistiek het aantal relaties te verminderen naarmate het aggregatieniveau hoger wordt, staat op gespannen voet met behoeftes uit de arbeidsmarkt om werkzoekenden en werk met elkaar in verband te brengen. Bij een strikte skills hiërarchie wordt het namelijk lastiger om werkgevers te matchen aan potentiële kandidaten en om werknemers te helpen met hun oriëntatie op een beroep of functie bij werkgevers. Voor het uitvoeren van bepaalde taken zijn er vaak diverse hard skills nodig op een verschillend detailniveau. Het is voor werkgevers ondoenlijk om taken netjes op te knippen volgens een hiërarchie van skills. Mensen laten zich het beste beschrijven aan de hand van een overzichtelijk set aan hard skills, soft skills en kennisvaardigheden. Je kunt mensen geen lijst van 1250 skills voorleggen en vragen hierin een keuze te maken.

Is er dan geen structuur te bedenken die een hiërarchie in skills combineert met meervoudige relaties die goed te gebruiken zijn voor de dienstverlening aan werkgevers en werkzoekenden? Volgens de pilotpartijen is het conceptueel mogelijk om vanuit een taak naar verschillende hard skills te mappen en tegelijkertijd een zwaartepunt aan te geven van de hard skill die in een hiërarchische verhouding past. Er ontstaat dan een hiërarchie als kern met een omgeving van hard skills die ook relevant zijn maar niet behoren tot de hiërarchie. Het CDO wil deze tussenvorm nu praktisch vormgeven door een strikte hiërarchie van drie lagen skills te maken, waarvan de onderste laag semantisch gekoppeld wordt aan

de taken (de taken vormen geen onderdeel van de skills-hiërarchie). Daarmee wordt het mogelijk om een taak aan verschillende hard skills, soft skills en kennisgebieden te relateren.

3. Twee lagen van generieke hard skills, soft skills en kennisgebieden is onlogisch

In de huidige data-architectuur van CompetentNL worden twee lagen onderscheiden van generieke hard skills, soft skills en kennisgebieden. Deze tweedeling is volgens de Pilotpartijen onlogisch omdat een duidelijke systematiek ontbreekt in de verdeling van de skills over de twee lagen. De eerste laag is niet aantoonbaar generieker beschreven dan de tweede laag. Van een hiërarchische relatie is dan ook geen sprake. Bovendien hebben de pilotpartijen een groot aantal foutieve koppelingen tussen de twee lagen hard skills, soft skills en kennisgebieden gevonden. Zij bevelen aan de twee lagen generieke hard skills en soft skills systematisch samen te voegen tot één volledige en consistente laag op basis van de gangbare concepten en deze te positioneren als bovenste laag van de skills-hiërarchie. De twee lagen van kennisgebieden zouden aan de hand van ISCED-F 2013 omgevormd kunnen worden naar vier lagen. Hiermee ontstaan er in feite twee hiërarchieën binnen de hoofdcategorie skills: een voor de hard én soft skills en een andere voor de kennisgebieden.

4. Hoe zijn de Beroepsvaardigheden te positioneren in CompetentNL?

Pilotpartijen vinden de keuze om een aparte laag van beroepsvaardigheden aan te brengen in CompetentNL onlogisch. In de eerste plaats is het onderscheid met de taken te klein om van een hiërarchische relatie te kunnen spreken: beide zijn op een vergelijkbaar detailniveau beschreven. In de tweede plaats hebben de beroepsvaardigheden enkel betrekking op het werk op mbo-niveau, terwijl de overige entiteiten van CompetentNL de gehele arbeidsmarkt bestrijken. De pilotpartijen bevelen dan ook aan om de beroepsvaardigheden als afzonderlijke laag tussen taken en skills te verwijderen. Daarvoor in de plaats zouden de beroepsvaardigheden gebruikt kunnen worden voor het samenstellen van de tussenlagen en de onderste laag in de skills hiërarchie (zie hierboven). Een andere mogelijkheid is om de beroepsvaardigheden te linken aan de taken om zo een relatie te leggen tussen de taken en de kwalificaties van het mbo.

5. Relateren van skills aan taken om veranderingen vast te leggen?

De arbeidsmarkt en het werk veranderen in een rap tempo en zo ook het onderwijs. Het is een uitdaging om CompetentNL mee te laten bewegen met deze veranderingen zodat toekomstige dienstverleners en gebruikers voorzien kunnen worden van actuele informatie. De pilotpartijen verschillen van mening over de wijze waarop CompetentNL veranderingen het beste kan weergeven. Sommigen pleiten voor het vastleggen van veranderingen op taakniveau; anderen zien meer voordeel in het vastleggen van veranderingen op taak- én beroepsniveau.

Volgens de eerste groep is een rechtstreekse koppeling van hard skills, soft-skills en kennisgebieden naar beroepen niet nodig als dit ook via de taken kan. Een beroep bestaat immers uit een verzameling taken die weer gerelateerd zijn aan skills en kennisgebieden. Taken vormen daarmee een algemeen verbindende hoofdcategorie binnen CompetentNL, zoals in het begin van dit hoofdstuk al is bepleit. Een beroepenkundige kijkt als het ware door de oogharen heen naar de veranderingen van een beroep en bepaalt vervolgens de skills die daarvoor grosso modo nodig zijn. Het gaat om een optelsom en die kunnen ze prima maken met de transversale skills gekoppeld aan taken. Omdat een taak concreter beschreven is dan een beroep, is het uitdrukken van transversale skills in een taak veel makkelijker dan het uitdrukken van transversale skills in een beroep. Weliswaar moeten er dan meer items in ogenschouw genomen worden, het levert ook minder discussie op.

Andere pilotpartijen vrezen dat het enkel vastleggen van veranderingen op taakniveau juist tot extra discussie zal leiden. Zij bepleiten een gecombineerde aanpak waarbij veranderingen van taken én van het beroep worden gewogen. Taken kunnen namelijk onder de oppervlakte veranderen, net zoals de skills en kennis die je daarvoor nodig hebt. Moet je dan besluiten een taak toe te voegen? Een voorbeeld is het bijhouden van afspraken in een softwaresysteem in plaats van op schrift. Uit de vacatures kan naar voren komen dat zo’n taakverandering steeds vaker aan de orde is. Mensen krijgen er dan een taak bij en er ontstaat een nieuwe relatie met een skill, bijv. ICT-vaardigheden. De vraag is of zulke veranderingen gelijk op beroepsniveau zichtbaar worden. Het vastleggen van veranderingen op zowel beroeps- als op taakniveau vergroot de mogelijkheden om CompetentNL aan te passen aan ontwikkelingen in het onderwijs en op de arbeidsmarkt.

6. Het duiden van de relaties in CompetentNL

Gedurende de pilots is uitgebreid stilgestaan bij de duiding van de relaties tussen de verschillende entiteiten. Alle pilotpartijen benadrukken dat dit een essentieel onderdeel behoort te zijn van CompetentNL. Een skills-ontologie waarin het belang niet wordt geduid van skills voor een taak of van skills voor een beroep is feitelijk onbruikbaar voor arbeidsbemiddeling, onderwijs en statistiek. Het gaat hierbij niet zozeer om de hiërarchie van skills-data als zodanig, maar om het verband daarvan met de andere hoofdcategorieën binnen de ontologie.

In het duiden van de relaties tussen de verschillende entiteiten zijn diverse keuzes te maken: essentieel of optioneel, belangrijkheid via een weging (drie of vijfpuntschaal), frequentie, etc. Er bestaat bij de pilotpartijen een behoefte aan het uniformeren van de duiding van deze relaties in CompetentNL. Hun voorkeur gaat uit naar een weging van hoe belangrijk een skill is voor een taak en voor een beroep.¹ Een 5-punt schaal voor deze wegingen zou ideaal zijn, al realiseren de pilotpartijen zich dat het aanbrengen daarvan bewerkelijk kan zijn. Voor het uitdrukken van het belang van taken voor beroepen zou een 'ja/nee' relatie kunnen volstaan. Het duiden van het belang van skills voor taken vraagt om een gedifferentieerdere weging gelet op de centrale betekenis die taken en skills hebben binnen CompetentNL. ESCO maakt onderscheid tussen optioneel en essentieel (een 2-punt schaal). Het nadeel daarvan is dat optioneel erg ruim wordt toegepast. Een specifiekere duiding van 25% tot 75% voor optioneel zou handig zijn.

Volgens de pilotpartijen moet het voor iedereen duidelijk zijn waar de wegingen op worden gebaseerd. Wanneer wordt een skill als heel belangrijk/essentieel beoordeeld voor een taak en wanneer als minder belangrijk/optioneel? Zij vragen zich af of het bijvoorbeeld mogelijk is om de hoeveelheid tijd uit te drukken in de relaties tussen taken en beroepen. Het gaat dan om de afweging hoeveel tijd in een beroep (op basis van een bepaald referentie beroep) gemiddeld wordt besteed aan een bepaalde taak. Een duidelijke onderbouwing van de duiding van de relaties is nodig om te voorkomen dat er willekeur ontstaat in het gebruik van CompetentNL door afnemers. Als beoordelaars wegingen verschillend gaan interpreteren en toepassen, is CompetentNL niet goed te gebruiken voor het maken van statistiek en voor het ontwikkelen van dienstverlening voor onderwijs en arbeidsmarkt.

Kwaliteit van de data

Tijdens de pilots is er veel aandacht besteed aan de manier waarop de datasets van skills en taken zijn samengesteld en beschreven. De keuzes die daarin gemaakt worden hebben namelijk gevolgen voor de skills-hiërarchie en de manier waarop de relaties worden gelegd met taken en beroepen. De discussies van de pilotpartijen hebben zich toegespitst op de definieëring, betekenis en onderbouwing van skills- en beroeps beschrijvingen, het relateren van skills-beschrijvingen aan persoonlijkheidskenmerken, het risico op het maken van onderscheid in lichamelijke vermogens bij fysieke skills, het onderscheiden van niveaus van skills, het gewenste taalniveau van de titels en beschrijvingen en de behoefte aan nieuwe informatie in CompetentNL.

1. Definiëring skills

De pilotpartijen kunnen zich goed vinden in de definities van hard skills en soft skills die het data- en ontologieteam van VmV heeft opgesteld. Hard skills worden in CompetentNL gedefinieerd als (Vak)vaardigheden die door formeel leren (opleiding) of informeel leren (door het werk) kunnen worden eigen gemaakt en nodig zijn om taken voor een functie uit te kunnen voeren. Het gaat om vaardigheden die vaak meetbare en/of zichtbare resultaten geven. Soft skills zijn gedragsvaardigheden die te maken hebben met het karakter of de persoonlijkheid van degene die een beroep uitoefent (van nature aanwezig of aangeleerd) en nodig zijn om taken succesvol uit te kunnen voeren. De pilotpartijen benadrukken dat hard skills inderdaad zijn aan te leren, maar dat soft skills om een bredere ontwikkeling vragen (gaat verder dan leren). Hard skills zijn dus aan te leren; soft skills zijn ontwikkelbaar.

Soft skills: relateren van persoonlijkheidskenmerken aan gedragscompetenties?

In de definieëring van skills hebben de soft skills betrekking op de kenmerken van de persoonlijkheid en op die van het gedrag. Dit zijn twee verschillende begrippen. De vraag is of het mogelijk is om tot een eenduidigere definitie te komen van soft skills door een samenhang aan te brengen tussen deze begrippen. De pilotpartijen stellen vast dat dit conceptueel lastig zal worden en weinig op zal leveren, omdat het fundamenteel verschillende begrippen zijn. Zo'n samenhang dreigt CompetentNL bovendien onnodig ingewikkeld te maken.

2. Onduidelijkheden over de omschrijving en het abstractieniveau van hard skills en beroepsvaardigheden

De pilotpartijen constateren dat er een overlap zit in de definitie van beroepsvaardigheden en hard skills. Aan de ene kant gaat het om kennis toepassen, taken voltooien en problemen oplossen. Aan de andere kant beschrijven beroepsvaardigheden de taken die uitgevoerd worden in een functie. Daarnaast komen er volgens de pilotspartijen dubbelingen voor in de datasets van beroepsvaardigheden en hard skills. Zij stellen voor de huidige definities te heroverwegen en dubbelingen weg te nemen zodat duidelijk is wat verstaan wordt onder beroepsvaardigheden en wat onder hard skills.

Veel verwarring is er over het abstractieniveau van de beschrijvingen. Sommige hard skills lijken een verbijzondering te zijn van andere hard skills, terwijl dit niet zodanig is gemodelleerd. Een voorbeeld is "Programmeren" dat een verbijzondering lijkt te zijn van "Digitale vaardigheden". Ook in de beroepsvaardigheden komen onbedoeld verschillen voor in het abstractieniveau van de beschrijvingen. Voorbeelden zijn de beroepsvaardigheden "voorraad beheren" en "voorraad auto's beheren", of "storingen in distributienetten lokaliseren" en "storingen in elektriciteitsdistributienetten en -stations lokaliseren". Er wordt gesuggereerd dat de ene vaardigheid de andere omvat, terwijl dat niet de bedoeling lijkt te zijn.

Los van het abstractieniveau is het volgens de pilotpartijen vaak onduidelijk wat überhaupt het verschil is tussen de beroepsvaardigheden. Zo wordt nergens aangegeven wat het onderscheid is tussen de beroepsvaardigheden "voorraadbeheer organiseren", "inkoop- en voorraad beleid bepalen" en "opslag collecties optimaliseren", of "voorraad beheren" en "goederen ontvangst en -opslag beheren", of "voorraad controleren" en "voorraad inventariseren". Zonder nadere toelichting lenen deze elementen zich voor overeenkomstige interpretaties. Pilotpartijen geven als oplossing om beschrijvingen van beroepsvaardigheden die nauwelijks van elkaar verschillen onder te brengen als verbijzonderingen van het element erboven, hetgeen ook is gedaan voor de beroepenclassificatie in CompetentNL.

3. Onderbouwing hard skills, soft skills en kennisgebieden

Het is volgens de pilotpartijen onduidelijk hoe de skills en kennisgebieden in CompetentNL zich verhouden tot de andere standaarden. Dit is vooral relevant voor de meer generieke concepten van hard skills, soft skills en kennisgebieden. Voorbeelden zijn "plannen", "netwerken" of "analyseren". Waar zijn deze op gebaseerd? Hoe verhouden deze zich tot de gangbare concepten van de ESCO-transversal skills and competences², ESCO-knowledge³ of het daarop gebaseerde ISCED-F 2013⁴? In welke mate zijn deze gerelateerd aan de O*NET concepten skills, abilities, knowledge en work styles, of aan de SHL en de 21 first century skills? Bovendien is het niet duidelijk in hoeverre de sets van hard skills, soft skills en kennisgebieden in CompetentNL volledig zijn. Welke keuzes zijn er gemaakt in de samenstelling daarvan? Met een betere onderbouwing kan de relevantie van de generieke concepten voor de Nederlandse arbeidsmarkt beter aangetoond worden via koppelingen met de tussenlagen en de onderste skills-laag, de taken en de beroepen. Het gebruikmaken van de andere hierboven genoemde standaarden heeft volgens pilotpartijen als voordeel dat deze beproefd zijn, gebaseerd zijn op sociaalwetenschappelijke kennis en in sommige gevallen up-to-date worden gehouden door middel van vragenlijstonderzoek.

Bij de onderbouwing moet het streven zijn om tot een volledige en evenwichtige lijst te komen van generieke skills in CompetentNL. De pilotpartijen constateren dat het onderscheid tussen de generieke hard skills en de soft skills in CompetentNL niet altijd duidelijk is. Hard skills als problemen oplossen, schrijven en begrijpen zou je ook kunnen beschouwen als soft skills, terwijl de soft skills materialen en middelen inzetten en vakdeskundig werken eveneens "harde" kenmerken in zich dragen. In dit kader merken zij op dat de generieke hard skills en soft skills eenduidiger en bondiger beschreven kunnen worden. Tot slot stellen zij dat een grondige review van alle generieke hard en soft skills tezamen het mogelijk maakt om tot een nieuwe onderverdeling te komen die beter aansluit op de ervaringen en belevingswereld van toekomstige gebruikers. De 13 onderscheiden skillsgroepen uit de interne pilot van UWV (i.s.m. Icares) kunnen daarvoor als leidraad dienen.

Hoe kan deze review van een samengevoegde set van hard en soft skills concreet tot stand worden gebracht? De pilotpartijen hebben daarvoor enkele suggesties gedaan. Om te beginnen wordt aanbevolen om de bestaande sets van generieke hard skills en soft skills uit CompetentNL samen te voegen. Deze volledige lijst van generieke skills zou vervolgens afgezet kunnen worden tegen de ESCO transversal skills en de O*Net skills, abilities en workstyles. De skills die overeenkomen worden bij elkaar geplaatst. Mochten er skills uit deze standaarden niet in CompetentNL staan, dan kan overwogen worden om deze alsnog toe te voegen. In dit kader is het interessant om na te gaan in hoeverre de set van 30 reserve skills uit de interne pilot UWV (i.s.m. ICares) terugkomen in deze lijst. De hiermee verkregen nieuwe

skills-lijst wordt tot slot gecontroleerd om te bepalen of skills beschrijvingen elkaar overlappen, skills eenduidiger en bondiger beschreven kunnen worden en of de relaties naar de kernberoepen nog kloppen. Een goede schriftelijke onderbouwing van alle overwegingen en keuzes daarvoor is essentieel.

4. Kennisgebieden baseren op ISCED-F 2013

De pilotpartijen adviseren om de kennisgebieden in CompetentNL te baseren op ISCED-F 2013. In principe zouden alle detailgroepen uit ISCED-F 2013 opgenomen moeten worden in CompetentNL om recht te doen aan de gehele onderwijs- en arbeidsmarkt. In de huidige situatie is alleen kennislaag 2 over het mbo gemapt aan ISCED-F 2013, waardoor de overige onderwijsniveaus buiten beschouwing blijven. De pilotpartijen constateren tot slot onvolkomenheden in de huidige mappings van kennislaag 2 aan de detailgroepen uit ISCED-F 2013. Niet alle items in kennislaag 2 blijken namelijk gemapt te zijn met ISCED-F 2013 en er zijn twee items zijn (nummers 53 en 60) die naar twee verschillende ISCED-F 2013 detailgroepen verwijzen.

5. Relateren van skills aan persoonlijkheidskenmerken: de Big 5 of de Holland Code?

Op de markt worden er veel persoonlijkheidstesten aangeboden waarmee werkzoekenden kunnen nagaan welk type werk goed bij hun past. Deze testen zijn vaak terug te voeren op de Big 5 (vijf belangrijke karaktereigenschappen) of de zogeheten Holland Code waarin zes persoonlijkheidscategorieën zijn uitgewerkt. Volgens de pilotpartijen zouden arbeidsbemiddelaars, toolbouwers en werkgevers erg geholpen zijn als de generieke hard skills en soft skills in CompetentNL gerelateerd worden aan dit soort basale persoonlijkheidskenmerken. Over de vraag welke standaard daarvoor het meest geschikt is verschillen de partijen van mening. Sommigen opteren voor de Big 5 omdat deze betrekkelijk nieuw is, een korte en overzichtelijke indeling heeft en goed te mappen is op banen. Anderen opteren voor de Holland Code, waarvoor inmiddels nieuwe varianten zijn ontwikkeld (CUBEB en PGI/Tracey) en verwerkt is in verschillende effectief bewezen tests, zoals de RIA SEC.

Een belangrijke afweging bij het verwerken van persoonlijkheidskenmerken in CompetentNL heeft te maken met de mogelijk uitsluitende werking ervan. Persoonlijkheid is zoiets wezenlijks van de mens, dat als je persoonlijkheid gebruikt bij het selecteren en dus ook het afwijzen van kandidaten, je daarmee al snel de mens daarachter afwijst. Van belang is dan ook dat persoonlijkheidskenmerken positief worden gerelateerd aan beroepen en niet negatief. Als blijkt dat iemands persoonlijkheid niet goed aansluit op bepaalde beroepen, zou de test moeten aangeven bij welke beroepen deze dan wel goed past. Volgens sommige pilotpartners is de Holland Code voor deze positieve benadering geschikter dan de Big 5. Anderen wijzen erop dat de Big 5 een veel gebruikte en onderzochte standaard is die door toolbouwers ook positief is te relateren aan skills en banen. Hoewel voor CompetentNL primair de taak is weggelegd om objectief de relaties weer te geven van

persoonlijkheidskenmerken met de skills, is het volgens de pilotpartijen van belang om met deze overwegingen rekening te houden.

6. Fysieke hard skills: het risico op het maken van onderscheid op fysieke kenmerken

Sommige skills taxonomieën (zoals O*Net) bevatten concepten die fysieke kwaliteiten of mogelijkheden van mensen weergeven, zoals fijne motoriek, handvaardigheid en uithoudingsvermogen. Volgens de pilotpartijen kunnen deze fysieke hard skills waardevolle informatie opleveren omdat veel beroepen fysieke taken bevatten. Bij het matchen van menselijke eigenschappen aan fysiek werk wil je graag ook inzicht verkrijgen in de fysieke mogelijkheden. Tegelijkertijd wijzen de pilotpartijen op de risico's. De toepassing van fysieke hard skills in tooling voor arbeidsbemiddeling en employability kan namelijk discriminatie in de hand werken op basis van lichamelijke (aangeboren) eigenschappen of handicaps. Als er over fysieke mogelijkheden van mensen gesproken wordt, komt men al snel tot de afweging of er afgeweken wordt van het gemiddelde. Om die reden is een dergelijke toepassing van fysieke hard skills in de praktijk vaak niet toegestaan. Volgens de pilotpartijen is het van belang om duidelijke regels te stellen aan de toepassing van fysieke hard skills in CompetentNL. Uitgangspunt daarvoor zou moeten zijn dat fysieke hard skills inzicht verschaffen in de kenmerken van het werk en niet zozeer in de kenmerken van een persoon. Het toepassen van fysieke hard skills voor het beoordelen van mensen raden de pilotpartijen af. Om dit uitgangspunt te benadrukken verdient het de voorkeur om de fysieke hard skills als een aparte entiteit op te nemen in CompetentNL. Dit zou bijvoorbeeld kunnen onder het kopje "arbeidsomstandigheden".

7. Beroepsbeschrijvingen: voorstellen tot verbetering

De pilotpartijen hebben enkele tekortkomingen opgemerkt in de beschrijvingen van beroepen. In de eerste plaats staan in de kwalificaties andere definities van beroepen vermeld dan in de beroepenclassificatie van CompetentNL. Zo wordt "Acteur" in de kwalificatiestructuur geheel anders omschreven dan in de kernberoepen. De pilotpartijen stellen voor deze definities te uniformeren. Mocht dit niet mogelijk zijn dan zou een uitleg in de documentatie over wat precies het verschil is tussen deze omschrijvingen uitkomst bieden voor toekomstige afnemers. In de tweede plaats blijkt dat niet alle mbo-beroepen in de kwalificatiestructuur worden beschreven. De pilotpartijen stellen voor deze lacunes alsnog op te vullen en als dit niet mogelijk blijkt te zijn te documenteren waarom deze lacunes er zijn. In derde plaats blijken niet alle ISCO beroepscodes te worden gebruikt in CompetentNL. Pilotpartijen stellen vast dat in ESCO meer ISCO-codes worden gebruikt. Zij vragen zich af wat hiervan de reden is. Een notitie hierover in de documentatie kan helderheid verschaffen aan de afnemers.

Tot slot adviseren de pilotpartijen om de beroepenbeschrijvingen in CompetentNL uit te breiden met voorbeelden van zo'n beroep. In de huidige versie zijn bij de referentieberoepen van laag 2 al voorbeelden opgenomen van wat je binnen het beroep doet. Voor de pilotpartijen zou het handig zijn om dergelijke voorbeelden ook te vermelden bij de

kernberoepen van laag 1, omdat deze gelinkt zijn aan de skills, beroepsvaardigheden en taken. Het vermelden van voorbeelden levert informatie op over de context van het werk, waardoor het voor gebruikers inzichtelijk wordt (al of niet met ondersteuning van hybride AI) wat het beroep en de bijbehorende taken en skills praktisch inhouden. Het toevoegen van voorbeelden zou volgens de pilotpartijen de toepassingsmogelijkheden van CompetentNL aanzienlijk vergroten (zie ook bij 8).

8. Inzicht in het niveau van skills

De pilotpartijen benadrukken het belang om inzicht te krijgen in het niveau van de skills die nodig is voor het uitoefenen van werk. Als gezegd wordt dat iemand kan rekenen weet je nog niet welke taken of welk beroep de betreffende persoon kan uitoefenen. Een controller past in de praktijk andere rekenvaardigheden toe dan een verkoper van kaas.

Informatie over het niveau van skills maakt het valideren ervan beter mogelijk. CompetentNL zou daarmee een geschikt informatiefundament kunnen bieden voor onderwijs, scholing en EVC-trajecten (Erkenning van Verworven Competenties) en voor het nog te ontwikkelen digitale skillspaspoort. Voor veel AI-applicaties is het gunstig als dergelijke beschrijvingen "positief" zijn geformuleerd, dus wat moet je wel kunnen of doen, in plaats van wat je niet moet kunnen of doen.

Volgens de pilotpartijen vergt het duiden van het niveau van een skills inzicht in wat iemand in de praktijk van het werk daadwerkelijk kan en doet. Naast de specifieke inhoud van het werk doet de context ertoe. In de derde iteratie van de pilots hebben de pilotpartijen een aantal mogelijkheden bediscussieerd om het niveau van skills te duiden. Achtereenvolgens gaat het om: a. het relateren van het niveau van skills aan het NLQF; b. het niveau van skills afleiden van voorbeelden; c. bepalen van drempelwaarden van skills en d. onderscheid maken tussen een junior, medior en senior skills-niveau.

a. Skills-niveaus relateren aan NLQF

Een op het eerste gezicht voor de hand liggende mogelijkheid om het niveau van skills te duiden is door deze te relateren aan het NLQF (Netherlands Qualifications Framework). Met behulp van het NLQF kunnen opleidingen op een transparantie manier ingeschaald worden naar kwalificatieniveau. Het NLQF onderscheidt acht niveaus van kwalificaties en een instroomniveau. De beroepsvaardigheden in CompetentNL zijn al eenvoudig toe te bedelen aan de eerste vier NLQF-niveaus omdat deze afgeleid zijn van de kwalificaties van het mbo. Pilotpartijen verwachten niettemin dat het relateren van skills aan het NLQF in de praktijk lastig zal worden. Skills zijn te generiek of te beknopt beschreven om zicht te krijgen op de bijpassende NLQF-niveaus. De achtergrondinformatie over kwalificaties die voor de beroepsvaardigheden beschikbaar is, ontbreekt voor veel skills. Volgens de pilotpartijen zijn taken en beroepen wel goed in te delen naar NLQF-niveau, omdat daar meer context in besloten ligt. Maar het is onjuist om te veronderstellen dat de skills die nodig zijn voor bepaalde taken en beroepen automatisch hetzelfde NLQF-niveau hebben. Een chirurg en een verpleegkundige zijn in te delen in verschillende NLQF-niveaus, maar hebben dezelfde skills nodig om hygiënisch te kunnen werken. Het vaststellen van het niveau van skills aan de hand van het NLQF is dan ook niet altijd een voor de hand liggende optie.

b. Het niveau van skills afleiden van voorbeelden

Een andere mogelijkheid om het niveau van skills vast te stellen is door voorbeelden te geven van taakuitvoering of beroepsbeoefening. Het idee hierbij is dat ieder voorbeeld een bepaald niveau van een skill weergeeft. De bekendste aanpak betreft de niveauschaal-ankers systematiek (Level scale anchors) van ONet. Deze geeft op een zevenpuntschaal weer welk niveau van een skill nodig is om een voorbeeld van een taak of een beroep uit te voeren. Elke niveauschaal bevat voorbeelden aan de onderkant, in het midden en aan de bovenkant van de schaal om extra context te bieden van een laag, middelhoog en hoog niveau van een skill. De voorbeelden worden de niveauschaal ankers genoemd en de punten op de schaal waarop ze staan zijn de zogenaamde ankerwaarden. Uit onderzoek blijkt dat de ervaringen met de niveauschaal-ankers systematiek van ONet zeer wisselend zijn (zie bijvoorbeeld Handel, 2016; Bergh, 2021)⁵. Soms zijn de ervaringen positief. Het concretiseren van het niveau van skills met behulp van voorbeelden in de praktijk (ankers) blijkt dan goed te werken vanwege de duidelijkheid die wordt geboden over de werkcontext. Maar er zijn ook buitengewoon kritische reacties. Zo blijken veel van de ankers vergezocht, niet representatief of verouderd te zijn, waardoor deze een slecht inzicht geven in de context van het werk. Het gevolg is dat het vaak lastig is om de ankers te laten aansluiten op de ervaringen of belevingswereld van eindgebruikers. Een anker dat niet overeenkomt met wat gebruikers in de praktijk doen of meemaken, leidt al snel tot een verkeerde interpretatie van het bijbehorende niveau van de skill.

c. Bepalen van drempelwaarden van skills

Het bepalen van drempelwaarden is een veel genoemde mogelijkheid om het niveau van skills te duiden. Met een drempelwaarde stel je vast wat iemand concreet moet kunnen om een skill op een bepaald niveau toebedeeld te krijgen. Drempelwaarden sluiten aan op de behoefte van werkgevers om het niveau van skills te kunnen bewijzen. Opleiders en certificerende instellingen kunnen met behulp van drempelwaarden beoordelen op welk niveau skills zijn eigengemaakt. Veel informatie voor het opstellen van drempelwaarden is te vinden in de kwalificatiestructuur van het mbo en de kwalificatiebeschrijvingen van hbo-instellingen. Maar een eenduidige systematiek ontbreekt vooralsnog. Een belangrijke basis wordt gelegd met de ontwikkeling van open batches waarin werkprocessen worden gerelateerd aan skills. Ook wordt er door een van de pilotpartijen geëxperimenteerd met zogeheten 'Building blocks' om systematisch de samenhang vast te stellen tussen het niveau van skills en het kunnen uitvoeren van bepaalde taken of handelingen. Het ontwikkelen van een eenduidige systematiek van drempelwaarden is tijdrovend en vereist bovendien consensus onder onderwijspartijen en werkgevers. De pilotpartijen zien voor CompetentNL een potentieel belangrijke rol weggelegd in het bieden van een informatiefundament voor zo'n systematiek van drempelwaarden.

d. Onderscheid tussen junior, medior en senior skills-niveau

Een variant op het bepalen van drempelwaarden is het gebruik in sommige bedrijven om drie niveaus van skills (junior, medior en senior) te onderscheiden op basis van opleiding, werkervaring en zelfstandigheid. Volgens de pilotpartijen zitten daar de nodige haken en ogen aan. Enerzijds gaan bedrijven verschillend om met deze indeling. Anderzijds zeggen deze drie niveaus vaak meer iets over de hiërarchische verhoudingen binnen het bedrijf dan over het niveau van de skills van de medewerkers. Kennis, ervaring en zelfstandigheid dekken in de praktijk vaak niet de lading van deze titels.

9. Taalniveau van de titels en beschrijvingen

De pilotpartijen wijzen erop dat het taalniveau van CompetentNL te hoog is voor met name praktisch geschoolden. Dit is problematisch omdat CompetentNL juist belangrijke informatie biedt over beroepen, skills en kwalificaties op NLQF-niveaus 1 t/m 4. Voor deze toekomstige eindgebruikers zouden titels en beschrijvingen in CompetentNL op tenminste taalniveau B1 aangeboden moeten worden (B1 staat voor eenvoudig Nederlands in korte, eenvoudige en actieve zinnen met makkelijke woorden die bijna iedereen gebruikt). Dit zou kunnen door de bestaande beschrijvingen aan te vullen met vereenvoudigde beschrijvingen.

De omschrijvingen bij de titels zijn vaak lastiger naar B1 taalniveau te hertalen omdat deze vaak vaktermen bevatten. Hertalen naar B1 niveau gaat gepaard met het risico dat informatiewaarde verloren gaat. Dit geldt vooral voor de complexere entiteiten waarvoor vaardigheden op een hoger cognitief niveau vereist zijn.

De hertaling van CompetentNL naar B1 taalniveau is vooral van belang gelet op de diversiteit van de doelgroepen waarmee de pilotpartijen werken. Het aanbieden van data op B1 taalniveau zou de toegang tot informatie vergemakkelijken voor een breder scala aan gebruikers, waardoor de toepassingsmogelijkheden van de CompetentNL data toenemen.

Het is niettemin de vraag of het een taak van CompetentNL is om zorg te dragen voor de hertaling van data naar B1 taalniveau. Is dat niet eerder een verantwoordelijkheid van de partijen die de data gaan gebruiken ten behoeve van praktisch geschoolden? De pilotpartijen beschouwen het aanbieden van hertalingen op B1 taalniveau als een "nice to have" service van CompetentNL. Het is niet strikt noodzakelijk, maar het zou wel erg goed uitkomen gelet op de hoge kosten en de tijd die met de hertalingen gemoeid zijn. Mocht het ervan komen dat afnemers de hertalingen zelf gaan verzorgen, dan is het zaak dat deze uiteindelijk beschikbaar worden gesteld aan CompetentNL zodat de kwaliteit en een brede beschikbaarheid van de data gewaarborgd worden.

10. Gewenste nieuwe informatie

Aansluitend op de bovengenoemde thema's over de reeds aanwezige data missen de pilotpartijen nog informatie in CompetentNL. Het gaat om a. aanvullende informatie over perspectieven op de arbeidsmarkt en b. het toevoegen van specifieke eisen uit vacatures.

a. Perspectieven op de arbeidsmarkt

Pilotpartijen pleiten ervoor om in de beschrijvingen van de kernberoepen te vermelden wat de perspectieven zijn op de arbeidsmarkt. Dit kan door de beroepen met gunstige perspectieven op de arbeidsmarkt de vermelding “kansrijk” of “toekomstbestendig” te geven. De systematiek van de arbeidsmarktmonitoring van UWV of de “bright outlook” van O*Net kunnen hiervoor als voorbeeld dienen. De vermelding van de perspectieven van de beroepen op de arbeidsmarkt biedt potentiële gebruikers belangrijke informatie voor het maken van beroeps- en opleidingskeuzes.

b. Specifieke eisen uit vacatures

In CompetentNL ontbreken momenteel specifieke beroepseisen (rijbewijs, BIG-registratie, NEN-normen, etc.) en essentiële “Taal skills” (d.w.z. de schriftelijke en/of mondelinge beheersing van vreemde talen). Dit soort specifieke eisen wordt nadrukkelijk gesteld in veel functieprofielen en vacatures. De pilotpartijen beschouwen het ontbreken daarvan in CompetentNL als een groot gemis.

Technische issues

Tot slot zijn gedurende de pilots enkele technische issues naar voren gebracht. De meeste aandacht is uitgegaan naar de wijze waarop partijen technisch toegang willen krijgen tot de data van CompetentNL. Daarnaast is er een aanvullend technische issues naar voren gebracht over de codering van de entiteiten en elementen.

1. Technische toegang tot CompetentNL

Tijdens de pilots is er veel aandacht besteed aan de gewenste technische toegang tot CompetentNL. De manier waarop de data van CompetentNL beschikbaar komen heeft namelijk implicaties voor de vindbaarheid en het gebruik ervan. Gedurende de pilots is er een vragenlijst uitgezet onder de feedbackgroep om inzicht te verkrijgen in de wensen die er leven ten aanzien van de technische toegang tot de data van CompetentNL (zie ook hoofdstuk 3). De pilotpartijen hebben hun wensen en ideeën over de technische toegang kenbaar gemaakt tijdens de besprekingen en de eindworkshops. Deze bevindingen hebben eerste aandachtspunten opgeleverd voor de inrichting van het beheer en de hosting van CompetentNL in 2025. Het gaat om de toegang en het formaat van de data en de gebruiksmogelijkheden van een portal voor CompetentNL.

a. De toegang

De feedbackgroep en de pilotpartijen zijn het erover eens dat een API of een portaal de beste manieren zijn om toegang te krijgen tot de data van CompetentNL. De meeste opteren voor beide om aan de uiteenlopende wensen van de eigen medewerkers tegemoet te kunnen komen. Toegespitst op verschillende doelgroepen binnen de feedbackgroep, zien we dat:

1. Een API of een downloadbare dataset vooral gewild is bij toolbouwers, dataleveranciers en arbeidsmarktprofessionals. Deze groepen lijken voorkeur te geven aan zowel real-time toegang als de mogelijkheid om gegevens lokaal op te slaan en te verwerken.

2. Het onderwijs lijkt geen specifieke voorkeur te hebben voor een bepaald typetoegang. Dit kan duiden op een flexibele benadering binnen het onderwijs vanwege verschillende doelgroepen, waarbij ze open staan voor verschillende methoden om aan de data te komen.

3. Het bedrijfsleven en de overige respondenten lijken behoefte te hebben aan een meer gestructureerde en toegankelijke interface voor het verkrijgen van informatie, zodat bijvoorbeeld ook HR-professionals met minder (technische) datakennis gemakkelijk en snel gebruik kunnen maken van de beschikbare skillsdata.

b. Het formaat

De feedbackgroep en de pilotpartijen wensen de data te ontvangen in de vorm van een CSV- of XLSX-bestand (Excel). Een pilotpartij verkiest Json als formaat omdat het daarmee mogelijk is om naast platte rijen ook een hiërarchie te maken. De voorkeur gaat uit naar het kunnen downloaden van de meest (volledige) recente versie, met de mogelijkheid om oudere versies te kunnen raadplegen. Enkele respondenten willen delen van de recente versie kunnen downloaden. De respondenten benadrukken het belang van een goed versiebeheer.

De respondenten verschillen van mening over hoe de data van updates voorzien moeten worden. Een grote groep wil dat de data continu van updates worden voorzien, terwijl anderen de updates via een releaseschema willen verkrijgen. Afnemers die de data continu up to date willen hebben, geven aan dat dit belangrijk is vanwege de dynamiek op de arbeidsmarkt. Onderwijspartijen prefereren een releaseschema omdat de veranderingen in het onderwijs minder snel gaan dan op de arbeidsmarkt. Van essentieel belang is een duidelijke en tijdige aankondiging van de updates en de release notes. In de aankondiging moet worden vermeld of het om een minor- of major release gaat en welke veranderingen precies zijn doorgevoerd.

De meningen zijn verdeeld over het belang van het verstrekken van queries. Sommige pilotpartijen verwachten frequent dezelfde queries uit te voeren, terwijl anderen flexibiliteit willen zien in de queryopties. Er zijn ook partijen die geen specifieke voorkeur hebben op dit gebied.

c. Het portaal

Binnen de feedbackgroep zijn er verdiepende vragen gesteld over de customer journey binnen een portaal. De meerderheid van de gebruikers begint hun zoektocht binnen een portaal bij de beroepen, terwijl een kleiner deel de voorkeur geeft aan skills of kwalificaties als vertrekpunt. Sommigen kunnen met alle drie de benaderingen starten, afhankelijk van de specifieke vraag of behoeften. Gebruikers hebben behoefte aan een zoekfunctie binnen het portaal en aan gedetailleerde informatie over beroepen en skills. Het tonen van gerelateerde beroepen voor een verkenning wordt gewaardeerd, hoewel sommigen vrezen dat er dan te gedetailleerde informatie aangeleverd wordt waar zij weinig mee kunnen doen. De meerderheid van de respondenten vindt een doorklikbare boomstructuur handig

om specifieke informatie te vinden. Een minderheid vindt dit te ingewikkeld en verkiest andere zoekmethoden. Crosswalks naar andere standaarden in een menubalk worden over het algemeen niet als nuttig beschouwd, omdat afnemers ervan uitgaan dat deze er al zijn.

2. Verbeteren codering entiteiten en elementen

Ten aanzien van de codering van entiteiten en elementen vraagt het CBS om een andere systematiek. Ten eerste is het behulpzaam om elementen hiërarchisch te coderen wanneer deze hiërarchisch zijn opgebouwd. Dan kan de codering namelijk direct gebruikt worden om inferenties te doen over de samenhang van elementen. Dit verhelpt eveneens het probleem dat elementen soms niet uniek zijn over de verschillende hiërarchische lagen heen. Ten tweede wil het CBS graag een voorloop van nullen toegevoegd zien in de codering van elementen zodat alle codes dezelfde lengte behouden. Als laatste vraagt het CBS om letters en andere tekens weg te nemen in de codering. Deze moeten er anders namelijk door de gebruiker vanaf worden gehaald. De betekenis van het element kan uit de variabelen bij het element worden afgeleid en hoeft niet in de codering te worden vermeld.

5. Reactie CDO: Hoe wordt de input uit de pilots verwerkt?

Deze reactie is verzorgd door het College voor Data & Ontologie (CDO):

• Jacob Molenaar (SBB)

• Arie-Jan Aalbertsen (UWV)

• Brigitte Barendse (SBB)

• Jeroen Bovenlander (UWV)

• Linda Oosterheert (TNO)

• Rijk Rijkse (SBB)

• Sarah Valk (UWV)

• Amir Westhof (Capgemini)

Het CDO is het gremium binnen het programma Vaardig met Vaardigheden dat de inhoudelijke afstemming verzorgt van de werkzaamheden van de Teams Data en Ontologie. Het CDO gebruikt de uitkomsten van de pilots om te komen tot een integraal ontwerp van de Knowledge Graph van CompetentNL. Deze Knowledge Graph wordt ontwikkeld tot aan het einde van het programma (december 2025) en kent drie oplevermijlpalen:

1. Proeflancering CompetentNL in januari 2025

2. Een eerste Minimum Viable Product (MVP) in september 2025

3. Een tweede Minimum Viable Product in december 2025.

De Knowledge Graph bestaat uit:

1. De ontologie van CompetentNL (het datamodel)

2. De data van CompetentNL (CompetentNL-skillstaxonomieën, mappings met externe standaarden, metadatering van broninformatie (beroepeninformatie en opleidingsnormen) met CompetentNL-skills).

Het CDO ontwerpt de Knowledge Graph met een bepaalde, beperkte scope voor ogen:

• Voor oplevering MVP in september 2025: niet alles wat we willen, kunnen we in deze periode ook daadwerkelijk realiseren

• Met als centrale Competency Question in het achterhoofd: Hoe bij het vaststellen van een skills-gap tussen het ene beroep en het andere een transitiepad gespecificeerd kan worden om de ontbrekende skills door middel van opleiding te verwerven (andersom kan ook) Andere competency questions volgen later.

De Knowledge Graph wordt vanaf medio 2024 ontwikkeld in negen ontwikkelsprints van ieder negen weken.

In dit hoofdstuk legt het CDO uit hoe het de uitkomsten van de pilots meeneemt in de doorontwikkeling van de Knowledge Graph (conform de indeling van het vorige hoofdstuk van dit rapport).

Hiërarchie in de skills-data

Wat de hiërarchie van de skills-data betreft is het volgende uit de pilots naar voren gekomen:

1. Aantal skills-lagen in CompetentNL

Het CDO werkt aan een drietal skills-taxonomieën voor CompetentNL:

• Hard skills

• Soft skills

• Kennisgebieden.

De taxonomieën werken van algemeen/generiek (boven) naar specifiek (beneden). Het CDO herkent zich in het beeld dat in de pilots naar voren is gekomen dat er verschillende lagen in de skills-taxonomieën nodig zijn. De taxonomieën van de drie skillstypen zullen echter niet allemaal hetzelfde aantal lagen krijgen. Hiervoor zijn ze te verschillend van aard en omvang. Voor de hard skills worden drie lagen voorzien, de soft skills krijgen er één of hooguit twee en de kennisgebieden vier (de drie lagen van de ISCED-F 2013-taxonomie plus daaronder de rubriekenlaag die door het CBS is ontwikkeld).

Het CDO hanteert de ontwerprichtlijn dat een element op enige laag van een skills-taxonomie niet meer dan zeven nadere specificaties op de laag daaronder mag kennen. Dit om de taxonomie hanteerbaar te houden in de hoofden van gebruikers en in user interfaces van applicaties die met CompetentNL werken.

Het metadateren van de broninformatie zal altijd op de onderste laag van de betrokken skills-taxonomie plaatsvinden.

2. Hiërarchische of semantische relaties tussen de drie lagen skills?

Het CDO opteert voor de ontwikkeling van 'zuivere' skills-taxonomieën. Dat betekent dat er binnen de taxonomie alleen hiërarchische relaties bestaan: ieder element op een bepaalde laag van de taxonomie is een nadere specificatie van een bovenliggend element.

Heel belangrijk is dat er een duidelijke scheiding wordt gemaakt tussen enerzijds activiteiten/taken en anderzijds skills. Skills zijn géén activiteiten/taken. In de Knowledge Graph van CompetentNL zullen skills echter wel aan taken gekoppeld gaan worden. Dit zijn semantische metadateringsrelaties van het type: taak x vereist skill y. Daarbij kunnen 1-op-n-relaties voorkomen: taak x vereist skills y en z. Dit geldt voor alle drie de skillstypen. Taken hebben dus géén hiërarchische relatie tot skills.

3. Twee lagen van generieke hard skills, soft skills en kennisgebieden is onlogisch

Zie hiervoor de reactie op de vorige twee punten. Door gezamenlijk 'zuivere' taxonomieën te ontwikkelen voor toepassing op broninformatie uit arbeidsmarkt én beroepsonderwijs (dus niet meer als UWV en SBB afzonderlijk) wil het CDO onduidelijkheden voorkomen in de interpretatie van de elementen op de verschillende lagen.

4. Hoe zijn de Beroepsvaardigheden te positioneren in CompetentNL?

De manier waarop de beroepsvaardigheden in de pilotdata zijn gepositioneerd is onlogisch. Het is van belang om een goed onderscheid te maken tussen:

1. CompetentNL-data: de skills-taxonomieën

2. Broninformatie: in dit geval de beroepsvaardigheden

Beroepsvaardigheden maken geen onderdeel uit van de hard skills-taxonomie van CompetentNL, maar zijn er wel aan gekoppeld. CompetentNL ontwikkelt gezamenlijk een hard skills-taxonomie. SBB heeft voor de eigen broninformatie een beroepsvaardigheden-taxonomie in ontwikkeling. De hard skills van CompetentNL worden gekoppeld aan de beroepsvaardigheden van SBB en die op hun beurt weer aan de erkende opleidingseenheden mbo, zoals kwalificaties, keuzedelen en mbo-certificaten. De queries van CompetentNL zullen zo ingericht worden dat afnemers van CompetentNL rechtstreeks vanuit de hard skills bij de bijbehorende erkende opleidingseenheden mbo terecht kunnen komen.

5. Relateren van skills aan taken om veranderingen vast te leggen?

In principe worden in de Knowledge Graph van CompetentNL de skills gekoppeld aan de taken van de referentieberoepen en niet aan de referentieberoepen zelf (die laatste relatie is dan natuurlijk indien wenselijk wel af te leiden uit de beschikbare data). Omdat UWV de lijst met taken (ongeveer 5.000 stuks) momenteel nog in bewerking heeft, is het niet mogelijk om de skills-metadatering op taakniveau al in de proefrelease van CompetentNL (januari 2025) te realiseren. Streven is om dit aan te bieden in de MVP-release van september 2025.

6. Het duiden van de relaties in CompetentNL

De pilotpartijen geven aan dat ze het van groot belang vinden dat metadateringsrelaties in CompetentNL een nadere kwalificering krijgen, bijvoorbeeld essentieel/optioneel, belangrijkheid via een weging, frequentie, enzovoort. Het CDO vraagt zich af of deze

informatie noodzakelijk is voor het beantwoorden van de centrale competency question waarvoor de Knowledge Graph van CompetentNL in eerste instantie wordt ontworpen, maar neemt het signaal van de pilotpartijen desalniettemin terdege serieus. Zodra de skills-taxonomieën zijn ontwikkeld zal in samenwerking met de community of practice onderzocht worden of en hoe een ondubbelzinnige en goed hanteerbare nadere kwalificering van de metadateringsrelaties toegevoegd kan worden die het belang van de betrokken skills beschrijft voor de gemedatateerde taken (in de pilotdata gebeurde dit op basis van frequentie).

Kwaliteit van de data

Wat de kwaliteit van de skills-data betreft is het volgende uit de pilots naar voren gekomen:

1. Definiëring skills

Gedurende de ontwikkeling van de drie skills-taxonomieën zullen de definities, die momenteel door de pilotpartijen al als herkenbaar en goed hanteerbaar worden beschouwd, indien nodig nader worden aangescherpt. Het onderscheid tussen hard skills en soft skills is daarbij een bijzonder aandachtspunt. Het streven is om beide taxonomieën inhoudelijk zo goed op elkaar aan te laten sluiten (en elkaar wederzijds uit te sluiten) dat als het ware één eenduidige indeling van CompetentNL-skills ontstaat.

2. Onduidelijkheden over de omschrijving en het abstractieniveau van hard skills en beroepsvaardigheden

De geconstateerde onduidelijkheden in de omschrijving en het abstractieniveau van hard skills en beroepsvaardigheden zullen ondervangen worden door a) deze duidelijk van elkaar te onderscheiden in twee, onderling gerelateerde taxonomieën en b) de hard skills-taxonomie 'zuiver' te ontwerpen. Zie ook eerder in deze reactie.

3. Onderbouwing hard skills, soft skills en kennisgebieden

Hier komen enkele punten samen:

• Hoe verhouden de CompetentNL-skills zich tot bestaande standaarden als ESCO en O*Net

• Is het verschil tussen hard skills en soft skills wel vol te houden?

• Bestrijken de CompetentNL-skills wel het volledige terrein van skills?

CompetentNL gebruikt bestaande skills-standaarden als inspiratiebron, maar conformeert zich er niet 100% aan. Dit betekent dat:

• In de documentatie van de Knowledge Graph van CompetentNL helder onderbouwd zal worden hoe de eigen skills-taxonomieën tot stand zijn gekomen of waarom een bepaalde externe standaard is geadopteerd in eigen beheer

• Voortdurend wordt gecheckt of CompetentNL wel alle skills-gebieden bestrijkt die ook door de bestaande standaarden worden beschreven

• CompetentNL streeft met oog voor de specifieke Nederlandse situatie naar een eigen, wederzijds aanvullend én uitsluitend beeld van hard en soft skills (zie ook eerder in deze reactie)

• CompetentNL mappings zal ontwikkelen naar (relevante delen van) ESCO en O*Net. Hierdoor zullen deze standaarden ook als ingang op de CompetentNL-data gebruikt kunnen worden.

4. Kennisgebieden baseren op ISCED-F 2013

De aanbeveling van de pilotpartijen om de ISCED-F 2013-standaard te gebruiken voor de kennisgebieden-taxonomie wordt integraal overgenomen. Zie ook eerder in deze reactie.

5. Relateren van skills aan persoonlijkheidskenmerken: de Big 5 of de Holland Code?

Het CDO heeft hierover nog geen beslissing genomen. De output van de pilots geeft aan dat de discussie hierover ook nog behoorlijk open ligt. Bij de ontwikkeling van de soft skills-taxonomie zal hier op worden teruggekomen.

6. Fysieke hard skills: het risico op het maken van onderscheid op fysieke kenmerken

Het toevoegen van een fysieke hard skills-taxonomie staat niet op de ontwikkelagenda van CompetentNL. UWV ontwikkelt echter de informatie-entiteit Werkomstandigheden bij beroepen. Dit raakt aan de gesignaleerde informatiebehoefte en kan mogelijk in 2025 aan CompetentNL worden toegevoegd.

7. Beroepsbeschrijvingen: voorstellen tot verbetering

In de pilotdata kwamen twee soorten beschrijvingen van beroepen voor:

• De beschrijvingen van beroepen aangeleverd door UWV

• De beroepsbeschrijvingen van kwalificaties aangeleverd door SBB.

Dit heeft tot onduidelijkheid geleid. Beide beschrijvingstypen hebben een eigenstandige functie en bestaansgrond, maar voeg je ze plompverloren samen in één datacorpus, dan wekt dat verwarring. In de uiteindelijke Knowledge Graph zal deze onduidelijkheid worden weggenomen door of voor één type beschrijving te kiezen of door het toevoegen van context in queryresultaten duidelijk te maken voor welke toepassing welk type beschrijving bedoeld is.

8. Inzicht in het niveau van skills

De pilotpartijen brengen een aantal punten naar voren waarom het toevoegen van nadere niveaukwalificaties van skills-metadateringsrelaties belangrijk is (taak x vereist skill y op niveau z) en ook hoe dat in de praktijk gerealiseerd zou kunnen worden, bijvoorbeeld door koppeling aan NLQF-niveaus, het toevoegen van voorbeelden, drempelwaarden, etc.

Het CDO neemt deze suggesties mee in het eerder in deze reactie al beschreven voornemen om later in het ontwikkeltraject terug te komen op het toevoegen van een 'niveau'-kwalificatie aan de skills-relaties.

9. Taalniveau van de titels en beschrijvingen

Het taalniveau van de titels en de beschrijvingen van de skills in de pilotdata wordt over het algemeen als 'te hoog' ervaren. CompetentNL streeft ernaar om de drie te ontwikkelen skills-taxonomieën in algemeen begrijpelijk Nederlands te formuleren ('klare taal'). Dat zal echter niet altijd mogelijk zijn, bijvoorbeeld op de diepere lagen van de hard skills, waar specifieke vaktaal aan de orde kan zijn ('verspanen'). Desalniettemin zal worden getracht dit soort taal zoveel mogelijk te vermijden en als dat onmogelijk is deze met begrijpelijke omschrijvingen toe te lichten.

10. Gewenste nieuwe informatie

Pilotpartijen geven aan de volgende aanvullende informatie graag toegevoegd te zien aan CompetentNL:

• Perspectieven op de arbeidsmarkt

• Specifieke beroepseisen uit vacatures.

Het betreft hier aanvullende informatie m.b.t. beroepen, niet m.b.t. een van de drie skills-taxonomieën. Het CDO zet deze wensen op de lijst van eventueel in 2025 toe te voegen informatie aan CompetentNL.

Technische issues

Wat de technische aspecten van de skills-data betreft is het volgende uit de pilots naar voren gekomen:

1. Technische toegang tot CompetentNL

Het CDO stelt vast dat de in de pilots geleverde feedback op dit terrein vooral relevant is voor de beheerorganisatie die wordt opgetuigd voor de hosting van het CompetentNL-portaal. Desalniettemin valt er vanuit het perspectief van de ontwikkeling van de Knowledge Graph wel het een en ander over te zeggen:

• De toegang: De Knowledge Graph van CompetentNL wordt ontwikkeld als linked open data en opgeslagen in een zogenoemde triple store. Dit maakt het mogelijk om de data op iedere gewenste manier te ontsluiten, machineleesbaar en/of door mensen leesbaar, met behulp van een API en/of een user interface. De gekozen ontwikkelwerkwijze van CompetentNL legt hier dus in ieder geval geen beperkingen aan op.

• Het formaat: Hiervoor geldt hetzelfde als voor de toegang: de ontwikkelwerkwijze van de Knowledge Graph van CompetentNL legt geen beperkingen op aan de uitleverformaten van de data. Dit kan json, xml, html, csv of wat dan ook zijn, al dan niet uitgeleverd via een API.

• Het portaal: Over het inrichten van een gebruiksvriendelijke user interface op de Knowledge Graph van CompetentNL op het portaal heeft het CDO geen mening. Het moge echter duidelijk zijn dat het doorgronden en toepassen van een zo complex datacorpus als dat van CompetentNL zonder een dergelijke user interface bepaald geen sinecure zal zijn.

2. Verbeteren codering entiteiten en elementen

In de uiteindelijke skills-taxonomieën van de Knowledge Graph van CompetentNL zullen de skills twee typen identificeren:

1. Voor mensen leesbare en begrijpelijke codes, zoals bijvoorbeeld de codes van de ISCED-F 2013 + CBS-rubrieken-indeling

2. Voor machines leesbare persistente en unieke identificeren.

Een goed hanteerbare codesystematiek/conventie zal in overleg met gebruikers worden vastgesteld (bijvoorbeeld het CBS).

6. Input toetsing beleidscriteria go/no-go besluit

Doel en aanpak

In het programma Vaardig met Vaardigheden (VmV) staat na afloop van fase 2 een go/no-go moment ingepland. De stuurgroep Leven Lang Ontwikkelen (LLO) zal begin juli 2024 op DG-niveau van de ministeries SZW, OC&W en EZK een inschatting maken van de slagingskans van CompetentNL, om te besluiten of er structurele middelen worden vrijgemaakt voor de continuering van het programma. De Stuurgroep zal de go/no-go beslissing mede baseren op beleidscriteria over de maatschappelijke adoptie van CompetentNL. Daarmee wordt getoetst of (beoogde) afnemers van CompetentNL een positieve impact verwachten van de landelijke skillstaal op hun eigen dienstverlening en of zij CompetentNL beschouwen als een waardevolle schakel voor leven lang ontwikkelen. De beleidscriteria gaan in op de aannemelijkheid dat maatschappelijke baten worden gerealiseerd, dat een skillstaal daaraan bijdraagt en dat CompetentNL voldoende meerwaarde heeft ten opzichte van beleidsalternatieven.

Om tot een beleidsmatig oordeel te komen zijn zeven beleidscriteria geformuleerd. Deze worden beantwoord op basis van de opbrengsten van de pilots. Hiervoor hebben alle zes externe pilotpartijen en twee van de vijf interne pilotpartijen input geleverd. De inbreng vanuit interne pilotpartijen is geleverd door Leeroverzicht (als zusterprogramma van VmV) en Digilize (winnaar van de start-up in residence programma van SZW in 2023). De interne pilots van de VmV-partners het CBS, SBB en UWV zijn bij deze afweging niet betrokken om een ongewenste vermenging van belangen te voorkomen (de spreekwoordelijke slager die het eigen vlees keurt).

In dit hoofdstuk worden de zeven beleidscriteria besproken aan de hand van de resultaten van de pilots en de inbreng van de pilotpartijen. Eerst worden de oordelen van de pilotpartijen op hoofdlijnen gepresenteerd, waarna per beleidscriterium nader wordt ingegaan op de argumenten en redenen voor de gegeven oordelen.

Oordelen op hoofdlijnen

In tabel 2 zijn de oordelen van de acht pilotpartijen samenvattend weergegeven. Sommige pilotpartijen hebben geen oordeel geveld over een aantal beleidscriteria (blauw) omdat deze niet op hen van toepassing zijn en/of daarover in stap 1 van de pilot (zie hoofdstuk 2) geen afspraken zijn gemaakt om te onderzoeken.

Uit de tabel valt af te lezen dat de pilotpartijen overwegend positief zijn over de voortgang van het programma VmV. Alle gegeven oordelen over de zeven beleidscriteria zijn positief of kritisch positief (groen of geel). Negatieve oordelen (rood) zijn niet gegeven. Wat betreft de kritisch positieve oordelen (geel) vinden de meeste partijen dat CompetentNL verbeterd, aangepast en/of uitgebreid dient te worden om volledig aan de gestelde verwachtingen te voldoen. Zij sluiten daarbij aan op de resultaten van de pilots die gepresenteerd zijn in hoofdstuk 4.

Oordelen per criterium

Criterium 1: de verwachting dat CompetentNL leidt tot een hogere kwaliteit van dienstverlening aan eindgebruikers

Criterium 1 heeft betrekking op de mate waarin pilotpartners verwachten dat zij hun eindgebruikers beter van dienst kunnen zijn door het gebruik van CompetentNL, omdat zij hen een hogere kwaliteit kunnen bieden.

Er is door alle zes externe pilotpartijen en door twee interne pilotpartijen input gegeven op beleidscriterium 1. Van de in totaal acht partijen die input hebben geleverd, zijn zeven positief en is één partij kritisch positief. CompetentNL biedt volgens de pilotpartijen toegevoegde waarde omdat deze gebaseerd is op de Nederlandse context en in de Nederlandse taal toegankelijk wordt gemaakt. Partijen beschouwen een

gemeenschappelijke en voor iedereen toegankelijke skillsontologie als belangrijke voorwaarde voor een brede adoptie van CompetentNL. Daarnaast biedt de connectie tussen taken en skills meer toepassingsmogelijkheden voor de pilotpartijen dan bijvoorbeeld ESCO en O*Net. De koppeling van beroepen en skills met opleidingen is van toegevoegde waarde, omdat deze zorgt voor een betere aansluiting tussen onderwijs en arbeidsmarkt en bijdraagt aan de mogelijkheden tot Leven Lang Ontwikkelen. Het bespaart pilotpartijen veel tijd als zij niet langer zelf deze koppeling hoeven te maken.

De pilotpartijen verwachten dat de volgende aanpassingen in CompetentNL worden doorgevoerd:

• Koppeling met bestaande standaarden als O*Net en ESCO

• Verschillende taalniveaus in de beschrijvingen van entiteiten

• Wegingsfactoren waarmee het belang van skills voor taken en beroepen wordt geduid

• Vermelding van de niveaus in skills

• Actualiteit en regelmatige updates van CompetentNL

Criterium 2: uitwisselen van skills-data met CompetentNL

Criterium 2 heeft betrekking op de mate waarin het voor twee skills-initiatieven mogelijk is om skillsdata uit te wisselen met gebruik van CompetentNL.

Gedurende de pilotfase heeft Matching en Carrière Tool een mock-up gemaakt waarmee gebruikers kunnen uitzoeken welke beroepen, vacatures en opleidingen passen bij hun skills. Met behulp van deze mock-up is de interoperabiliteit van de CompetentNL data getoetst. Dat is gedaan door de B&OC-code van Jobdigger in de Matching- en Carrièretool te laten communiceren met de ESCO-beroepen en opleidingen. De Mock-up laat zien dat in CompetentNL skills-data getoond kunnen worden op basis van de B&OC code. Deze proef laat zien dat uitwisseling van data met gebruik van CompetentNL mogelijk is. Leeroverzicht is tot een vergelijkbare conclusie gekomen op basis van eigen onderzoek.

Aanvullend op criterium 2 is aan vijf externe pilotpartijen en aan één interne pilotpartij gevraagd in welke mate zij verwachten dat het mogelijk is om in de toekomst skillsdata uit te wisselen. Deze zes pilotpartijen verwachten dat het uitwisselen van data met gebruik van CompetentNL mogelijk is (niet verwerkt in tabel 2 omdat het een andere vraag betreft). De partijen geven aan dat zij de data bij voorkeur willen gaan uitwisselen met behulp van API's en queries.

Criterium 3: minder tijd aan hertaling van skills door gebruik van CompetentNL

Criterium 3 heeft betrekking op de mate waarin pilotpartijen verwachten minder tijd te hoeven te besteden aan de hertaling van skills wanneer zij CompetentNL gebruiken.

Er is door drie van de externe pilotpartijen en twee interne pilotpartijen input gegeven op criterium 3. Deze partijen zijn kritisch positief. De pilotpartijen vinden dat CompetentNL veel synoniemen bevat, maar dat er nog wel een verbeterslag moet plaatsvinden in de kwaliteit daarvan. Deze verbeterslag kan plaatsvinden door:

• Meer eenheid in de beschrijvingen (bv. leidinggeven en aansturen niet door elkaar gebruiken).

• Toevoeging van lagen, bijvoorbeeld één hoofdberoep gekoppeld aan verschillende synoniemen, zoals schoonmaker (hoofdberoep) en interieurverzorger (synoniem).

• Aandacht voor context. Ondersteunen houdt in de zorg iets anders in dan in de administratieve sector. Er is behoefte aan contextuele informatie om met synoniemen te kunnen zoeken naar skills en opleidingen.

• Aandacht voor de lengte van beschrijvingen. Deze moeten ook leesbaar zijn op een mobiel. Op termijn zou er een onderscheid moeten komen tussen korte, middellange en lange beschrijvingen.

Criterium 4: verwachting dat CompetentNL bijdraagt aan rendabele(re) business cases

Criterium 4 heeft betrekking op de verwachting van pilotpartijen dat het gebruik van CompetentNL leidt tot rendabele(re) business cases.

Er is door drie externe pilotpartijen en één interne pilotpartij input gegeven op beleidscriterium 4. Daarvan oordelen drie positief en één is kritisch positief. Door het groeiende draagvlak voor een nationale skills-taal zal de skills-transitie sneller verlopen. Hierdoor verwachten ze hun tooling voor een breder scala aan klanten in te kunnen zetten. Daarnaast verwachten pilotpartijen dat een gemeenschappelijke skillstaal, die door iedereen (zowel werkgevers als dienstverleners) gebruikt wordt, leidt tot een efficiënter gebruik van dienstverlening en tooling. De toepassing van CompetentNL kan op deze wijze kostenbesparend werken, hetgeen ten goede komt aan de business case. Ook bij criterium 4 worden de mapping met kwalificatiedossiers en het van toepassing zijn op de Nederlandse arbeidsmarkt als sterke eigenschappen van CompetentNL benoemd.

Criterium 5: Met CompetentNL kunnen gevraagde skills op de arbeidsmarkt geïdentificeerd worden in mbo-opleidingen

Criterium 5: Uit een pilot met een skills-initiatief gericht op het middelbaar beroepsonderwijs blijkt dat (potentiële) afnemers in staat zijn om op basis van CompetentNL op de arbeidsmarkt gevraagde skills te identificeren in (maatwerk) mbo-opleidingen.

Stichting ROC Nijmegen heeft tijdens de pilot met de consortiumpartners onderzocht of de skills die in CompetentNL zijn gekoppeld aan mbo-opleidingen bruikbaar zijn. Naast Stichting ROC Nijmegen hebben de non-formele onderwijsaanbieders ROVC en Salta Group

(onderdeel van het consortium Leeroverzicht) input geleverd op criterium 5. Beide pilotpartijen zijn kritisch positief omdat veel verwachtingen van CompetentNL nog waargemaakt moet worden. De bevindingen per pilotpartij zijn als volgt.

Volgens Stichting ROC Nijmegen helpt een gemeenschappelijke skillstaal om inzicht te verkrijgen in de skills die relevant zijn voor mbo-opleidingen. Een onderscheid tussen soft skills, hard skills en kennisgebieden draagt bij aan het in kaart brengen van verwantschappen en verschillen tussen mbo-opleidingen. Dit zou volgens Stichting ROC Nijmegen kunnen bijdragen aan de ontwikkeling van maatwerk mbo-opleidingen en flexibel onderwijs, zoals mbo-certificaten, keuzedelen en badges.

Als duidelijker zichtbaar is welke skills in de arbeidsmarkt gevraagd worden, kan het onderwijs hier met (onderdelen van) opleidingen gerichter op inspelen. Bovendien kan de informatie in CompetentNL helpen om studenten die een mbo-opleiding voor een brede beroepscontext volgen, gerichter te matchen op basis van de gevraagde skills uit de (regionale) arbeidsmarkt. Hiermee draagt CompetentNL bij aan het vergroten van de wendbaarheid van toekomstige werknemers en het verbeteren van matching trajecten die het onderwijs in samenwerking met de (regionale) arbeidsmarkt uitvoert.

Volgens Leeroverzicht heeft een gemeenschappelijke skillstaal waarde als deze gebruikt wordt om de vraag naar skills op de arbeidsmarkt en het aanbod van opleidingen bij elkaar te brengen. Leeroverzicht wil graag de gap tussen de gevraagde skills in functies en de aanwezige skills bij personen zichtbaar maken en die koppelen aan een opleiding. Ook Leeroverzicht verwacht dat tools gebaseerd op CompetentNL hier een bijdrage aan kunnen leveren.

ROVC en Salta Group zien een groeiende behoefte op de arbeidsmarkt aan skillsgerichte opleidingen. Hoewel veel grote bedrijven al experimenteren met deze benadering, blijven MKB-bedrijven achter. Zij geven aan dat het belangrijk is om met name MKB-bedrijven te betrekken bij de ontwikkeling van CompetentNL.

Kanttekening bij de skillsgerichte benadering van de arbeidsmarkt, is dat dit een herziening van de opzet en inrichting van opleidingen vereist. Opleidingsprogramma's staan voor de uitdaging om zich aan te passen aan de snel veranderende arbeidsmarkt en niet meer coûte que coûte vast te houden aan opleidingscuricula. Deze omslag vraagt om experimenteerruimte in de ontwikkeling van het onderwijsaanbod met een focus op het leren ontwikkelen van skills waar de arbeidsmarkt om vraagt. De vertegenwoordigers van ROVC en Salta Group geven aan dat zij door de grote vraag naar personeel in toenemende mate verzoeken ontvangen van particuliere opleiders om mensen in korte tijd bij- of om te scholen. ROVC en Salta Group verwachten dat een gemeenschappelijke skillstaal een belangrijke bijdrage kan leveren om dit mogelijk te maken. Als inzichtelijk wordt welke hard- en soft skills voor functies nodig zijn, kan maatwerk onderwijs ontwikkeld worden en in zeer korte tijd werknemers of werkzoekenden bijgeschoold worden. De gewenste veranderingen moeten voor opleidingsprogramma's wel rendabel zijn. Het realiseren van voldoende instroom is namelijk een grote uitdaging voor de opleiders.

Criterium 6: Succesvolle koppeling van CompetentNL met O*Net en ESCO

Criterium 6: Er is een succesvolle koppeling van CompetentNL met O*Net en ESCO te realiseren.

Vijf van de acht pilotpartijen hebben input geleverd over criterium 6. Zij zijn positief over de mogelijkheden om succesvolle koppelingen van CompetentNL met ONet en ESCO te realiseren. Er ligt hiervoor al veel klaar aan bewerkingen en crosswalks, zoals een koppeling van de CompetentNL kernberoepen met beroepen van ESCO (de koppeling met de beroepen van ONet is in ontwikkeling). De meeste partijen vinden een koppeling met ESCO relevanter dan een koppeling met ONET. De koppelingen met ESCO kunnen op verschillende entiteiten (beroepen, taken en skills) aangebracht worden. Een koppeling met ONet kan zinvol zijn voor met name het onderbouwen van de generieke skills-laag van CompetentNL, al moet daarbij steeds afgewogen worden wat de waarde is van skills-informatie uit de VS voor de Nederlandse context.

Criterium 7: Komen er met data van CompetentNL meer matches tot stand dan door gebruik te maken van O*Net of ESCO?

Criterium 7 heeft betrekking op de mate waarin pilotpartijen die ervaring hebben met O*Net of ESCO verwachten dat er door het gebruik van CompetentNL meer matches tot stand komen.

Er is door vier externe pilotpartijen en twee interne pilotpartijen input gegeven op beleidscriterium 7. De partijen zijn positief (N=4) of kritisch positief (N=2).

Verbeterde matching is onder meer gelegen in de integratie van mbo-beroepen in CompetentNL, de koppeling van taken aan skills en het van toepassing zijn op de Nederlandse arbeidsmarkt van CompetentNL. Door het grote aantal beroepen in CompetentNL verwachten pilotpartijen dat er meer matches mogelijk worden van werkzoekenden aan werk. Twee pilotpartijen verwachten met behulp van CompetentNL een vergelijkbaar aantal matches te kunnen realiseren als met ESCO of O*Net. Zij sluiten echter niet uit dat een verbeterde versie van CompetentNL in de toekomst vaker een passend advies mogelijk maakt.

7. Conclusie

In dit hoofdstuk worden de vier onderzoeksvragen uit de inleiding beantwoord aan de hand van de resultaten van de pilots en de toetsing van de beleidscriteria door de pilotpartijen.

Data CompetentNL

Vraag 1 luidt: In hoeverre voldoen de (geplande) inhoudelijke data aan de behoefte van potentiële afnemers?

De pilotpartijen verwachten dat CompetentNL een volledig en gevalideerd informatiefundament kan worden voor afnemers en de eindgebruikers. Volgens hen onderscheidt CompetentNL zich ten opzichte van de andere internationale skills-ontologieën (m.n. ESCO en O*Net) door de Nederlandse context, de uitgebreide beroepenindeling en de integratie van onderwijskwalificaties in de ontologie. CompetentNL heeft meerwaarde ten opzichte de data driven taxonomieën of classificaties van sommige private partijen door het bieden van een algemene breed erkende skills-taal (standaardisatie). De data in CompetentNL weerspiegelen de Nederlandse context en zijn toegankelijk gemaakt in de Nederlandse taal. De beroepenindeling op drie niveaus (ISCO, kernberoepen en referentieberoepen) met een uitgebreide set aan verbijzonderingen en synoniemen leveren veel extra informatie op over het aantal beroepen en functies in Nederland en de kenmerken daarvan. Van grote toegevoegde waarde is ook de integratie van onderwijskwalificaties voor het mbo in CompetentNL. De kwalificaties van de overige onderwijsniveaus en het non-formele onderwijs ontbreken weliswaar, maar er wordt verkend hoe deze in latere instantie toegevoegd kunnen worden. De koppeling van beroepen en skills met opleidingen zorgt voor een betere aansluiting tussen onderwijs en arbeidsmarkt en draagt bij aan de mogelijkheden tot Leven Lang Ontwikkelen.

Ondanks deze algemene positieve indruk is er volgens de pilotpartijen nog het nodige te verbeteren aan de data in CompetentNL:

1. In de definieëring van skills dient benadrukt te worden dat hard skills leerbaar zijn en soft skills ontwikkelbaar.

2. De beschrijvingen en abstractieniveaus van hard skills en beroepsvaardigheden zijn in veel gevallen onduidelijk.

3. Er ontbreekt een onderbouwing van de sets hard skills, soft skills en kennisgebieden. Het is niet duidelijk waar deze op zijn gebaseerd.

4. In plaats van de set kennisgebieden eigenhandig samen te stellen verdient het de voorkeur om deze te baseren op de bestaande lijst ISCED-f 2013.

5. De gebruiksmogelijkheden van de skills-data kunnen aanzienlijk uitgebreid worden door deze te relateren aan basale persoonlijkheidskenmerken (bijvoorbeeld de Big 5 of Holland Code).

6. Fysieke hard skills dienen te gaan over de inhoud van het werk en niet over individuen. Dit is van belang om te voorkomen dat er door CompetentNL onderscheid gemaakt kan worden op basis van fysieke eigenschappen van personen.

7. Beroepsbeschrijvingen moeten uniform zijn en voorzien worden van informatie over de context van het werk.

8. Er is een grote behoefte om de niveaus waarop skills in de praktijk worden beoefend toe te voegen aan CompetentNL.

9. Het taalniveau van CompetentNL ligt voor veel potentiële eindgebruikers op een te hoog niveau. De pilotpartijen bepleiten om titels en beschrijvingen op B1 taalniveau beschikbaar te stellen aan afnemers.

10. Aansluitend op de bovengenoemde thema's over de reeds aanwezige data missen de pilotpartijen informatie in CompetentNL. Het gaat om het aangeven van de perspectieven op de arbeidsmarkt (kansrijke beroepen en skills) en de vermelding van specifieke beroepseisen (rijbewijs, BIG-registratie, NEN-normen, etc.) en essentiële "Taal skills" (d.w.z. de schriftelijke en/of mondelinge beheersing van vreemde talen) die vaak in vacatures worden vermeld.

Het model (Skills ontologie)

De tweede onderzoeksvraag gaat over het CompetentNL-model (Skills Ontologie): Welke modellering van de ontologie voor CompetentNL ondersteunt het beste de gebruiksbehoeften van potentiële afnemers?

De pilotpartijen benadrukken dat CompetentNL voor verschillende doeleinden gebruikt gaat worden (scholing, arbeidsmarktbemiddeling, statistiek, etc.) Gelet op deze uiteenlopende gebruiksdoelen is het van essentieel belang dat de hoofdcategorieën beroepen, beroepskenmerken, skills en kwalificaties semantisch aan elkaar gerelateerd worden. Afnemers willen namelijk kunnen aangeven welke skills nodig zijn voor bepaalde taken en beroepen en hoe skills gerelateerd zijn aan kwalificaties van het onderwijs. De pilotpartijen zien graag de beroepskenmerken (taken) als centraal verbindende hoofdcategorie binnen CompetentNL vanuit de gedachte dat alle beroepen en kwalificaties zijn terug te voeren op diverse onderliggende taken.

Binnen de hoofdcategorieën kunnen verschillende lagen van data onderscheiden worden. Voor de hoofdcategorie beroepen is er al een heldere hiërarchische relatie uitgewerkt van generieke beschrijvingen (ISCO, BRC) naar meer specifieke uitsplitsingen op een lager aggregatieniveau in de vorm van kernberoepen en referentieberoepen. Een dergelijke hiërarchische onderverdeling blijkt niet nodig te zijn voor de beroepskenmerken (slechts een laag) en de kwalificaties (alleen semantische relaties). De onderverdeling van de hoofdcategorie skills en de wijze waarop deze gerelateerd wordt aan de overige hoofdcategorieën zijn onderwerp van discussie geweest in de pilots. Daaruit is het volgende naar voren gekomen.

1. De pilotpartijen pleiten voor tenminste drie skills-lagen in CompetentNL: een eerste laag van generieke hard skills, soft skills en kennisgebieden, een onderste laag met gedetailleerde skills-beschrijvingen en één of meer tussenlagen die een verbinding leggen tussen de eerste en de onderste laag.

2. De drie (of meer) skills-lagen dienen hiërarchisch aan elkaar gerelateerd te worden. Dit is met name van belang voor het opstellen van statistiek. De onderste skills-laag kan dan semantisch gekoppeld worden aan de beroepskenmerken (taken) en vandaaruit aan de beroepen. Vooral de pilotpartijen die dienstverlening of tooling aanbieden voor het onderwijs en de arbeidsmarkt hebben deze semantische koppelingen nodig om de eindgebruikers van dienst te kunnen zijn.

3. De pilotpartijen stellen voor de twee lagen generieke hard skills en soft skills systematisch samen te voegen tot één volledige en consistente laag en deze te positioneren als bovenste laag van de skills-hiërarchie. De twee lagen van kennisgebieden zouden aan de hand van ISCED-F 2013 omgevormd kunnen worden tot vier lagen. Hiermee ontstaan er in feite twee hiërarchieën binnen de hoofdcategorie skills.

4. De pilotpartijen bevelen aan om de beroepsvaardigheden te gebruiken voor het samenstellen van de onderste lagen in de skills-hiërarchie of voor het leggen van semantische relaties tussen de taken en de kwalificaties van het mbo.

5. De pilotpartijen verschillen van mening over de wijze waarop CompetentNL veranderingen het beste kan weergeven. Sommigen pleiten voor het vastleggen van veranderingen op taakniveau; anderen zien meer voordeel in het vastleggen van veranderingen op taak- en beroepsniveau.

6. De pilotpartijen hechten unaniem een groot belang aan een systematische duiding van de relaties tussen de verschillende entiteiten in CompetentNL. Deze duiding dient zo uniform mogelijk te zijn. De voorkeur gaat uit naar een weging (op ten minste een tweepunt schaal) van hoe belangrijk een skill is voor een taak en voor een beroep. Voor het uitdrukken van het belang van taken voor beroepen zou een 'ja/nee' relatie kunnen volstaan. Deze duiding van de relaties binnen de ontologie dient onderbouwd te worden om te voorkomen dat er willekeur ontstaat in de wegingen. Als beoordelaars wegingen verschillend gaan toepassen, is CompetentNL niet goed te gebruiken voor het maken van statistiek en voor het ontwikkelen van dienstverlening voor onderwijs en arbeidsmarkt.

Technische toegang

De derde onderzoeksvraag heeft betrekking op technische toegang van CompetentNL: In hoeverre voldoet de geplande technische toegang tot CompetentNL aan de wensen van potentiële afnemers?

Als voorbereiding op de inrichting van de hosting en beheer van CompetentNL zijn in fase 2 verschillende opties verkend:

1. Het verstrekken van Application Programming Interface (API) om de communicatie mogelijk te maken tussen CompetentNL en de applicaties of programma's van afnemers.

2. Het verstrekken van losse bestanden

3. Het toegankelijk maken van CompetentNL door middel van een webbased portal, vergelijkbaar met die van ESCO (https://esco.ec.europa.eu/) en O*Net (https://www.onetonline.org/).

Deze opties zijn voorgelegd aan de feedbackgroep en aan de pilotpartijen. Daaruit komt naar voren dat een API of een portaal de beste manieren zijn om toegang te krijgen tot de data van CompetentNL. De meeste partijen opteren voor beide om aan de uiteenlopende wensen van de eigen medewerkers en eindgebruikers tegemoet te kunnen komen. Kijken we naar de afzonderlijke doelgroepen dan blijkt een API of een downloadbare dataset vooral gewild te zijn bij toolbouwers, dataleveranciers en arbeidsmarktprofessionals. Deze afnemers willen real-time toegang krijgen en gegevens lokaal op kunnen slaan en verwerken. Onderwijspartijen wensen zowel een API als een portal om in te kunnen spelen op de uiteenlopende behoeften van hun eindgebruikers. Het bedrijfsleven en de overige respondenten opteren voor een portal voor het verkrijgen van informatie, zodat bijvoorbeeld ook HR-professionals met minder (technische) datakennis gemakkelijk en snel gebruik kunnen maken van de beschikbare informatie in CompetentNL.

De feedbackgroep en de pilotpartijen willen de data ontvangen in de vorm van een CSV- of XLSX-bestand (Excel); één pilotpartij verkiest Json als formaat. Zij willen in staat worden gesteld om de volledigste en recentste versie te downloaden, met de mogelijkheid om oudere versies te raadplegen. Alle partijen benadrukken het belang van een goed versiebeheer.

Binnen de feedbackgroep en pilotpartijen bestaan er verschillende zienswijzen over hoe de data van updates voorzien moeten worden. Sommigen wensen dat de data continu van updates worden voorzien, terwijl anderen de updates via een releaseschema willen verkrijgen. Van essentieel belang is een duidelijke en tijdige aankondiging van de updates en de release notes. In de aankondiging moet worden vermeld of het om een minor- of major release gaat en welke veranderingen precies zijn doorgevoerd.

De meningen zijn verdeeld over het belang van het verstrekken van queries. Sommige pilotpartijen verwachten frequent dezelfde queries uit te voeren, terwijl anderen flexibiliteit willen zien in de queryopties. Er zijn ook partijen die geen specifieke voorkeur hebben op dit gebied.

De feedbackgroep heeft input geleverd over de gewenste customer journey (klantroute) binnen een portaal. De meerderheid verwacht dat gebruikers hun zoektocht binnen een portaal zullen starten bij de beroepen, terwijl een kleiner deel denkt dat gebruikers skills of kwalificaties zullen kiezen als vertrekpunt. Een derde groep verwacht dat gebruikers op verschillende manieren door het portaal zullen gaan, afhankelijk van hun specifieke vraag of behoeften. Volgens de feedbackgroep zullen de eindgebruikers een zoekfunctie binnen het portaal gebruiken om gedetailleerde informatie over beroepen en skills te vinden. De meerderheid van de feedbackgroep vindt een doorklikbare boomstructuur handig om specifieke informatie te vinden; voor een minderheid is dit te ingewikkeld.

Tot slot kan uit de pilots en de consultatie met de feedbackgroep worden geconcludeerd dat de meeste marktpartijen naar verwachting veel ondersteuning en informatie nodig zullen hebben om de CompetentNL data efficiënt en effectief te gebruiken in de praktijk. Het is van belang om daarmee rekening te houden in de plannen voor de hosting en voor de communicatie van CompetentNL.

Consequentie pilots voor doorontwikkeling CompetentNL

De vierde en laatste onderzoekvraag richt zich op de consequenties voor de doorontwikkeling van CompetentNL: Wat betekenen de bevindingen uit de pilots voor de doorontwikkeling van CompetentNL na de pilotfase?

Het CDO (het gremium binnen het programma Vaardig met Vaardigheden dat inhoudelijke sturing geeft aan de ontwikkeling van de CompetentNL-data) neemt de bevindingen uit de pilots op drie terreinen mee.

1. Kwaliteit van de data

De pilots hebben uitgewezen dat een aantal kwaliteitsaspecten van de CompetentNL-data van groot belang zijn. Het CDO zal hierop sturen bij de doorontwikkeling van CompetentNL. Zekergesteld moet bijvoorbeeld worden dat de CompetentNL-skills het gehele terrein van de beroepsbeoefening en -opleiding in Nederland bestrijken.

In de documentatie van CompetentNL moet duidelijk worden onderbouwd op welke manier de eigen hard en soft skills-taxonomieën zijn opgezet en waarom voor de kennisgebieden is gekozen voor de ISCED-F 2013-indeling plus CBS-rubrieken.

CompetentNL-skills zullen inclusief worden ontwikkeld en zij mogen op geen enkele wijze mensen op of met een afstand tot de arbeidsmarkt uitsluiten of anderszins nadelig beïnvloeden.

CompetentNL-skills zullen in zo toegankelijk mogelijke taal worden geformuleerd en waar nodig voorzien van duidelijke toelichtingen en voorbeelden.

CompetentNL moet voorts gekoppeld worden aan belangrijke bestaande standaarden voor skills, in het bijzonder met (relevante delen van) ESCO en O*Net.

Tenslotte zal onderzocht worden welke nieuwe typen informatie tijdens de looptijd van het programma Vaardig met Vaardigheden nog aan CompetentNL kunnen worden toegevoegd. Denk aan beroepsvereisten of loopbaanperspectieven van beroepen.

2. Hiërarchie van de data

De pilots hebben duidelijk gemaakt dat er een strikter onderscheid gemaakt moet worden tussen enerzijds de gezamenlijk ontwikkelde skills-classificaties in het hart van CompetentNL (hard skills, soft skills en kennisgebieden) en anderzijds de broninformatie die CompetentNL-partijen afzonderlijk aanleveren (beroepeninformatie, zoals taken, beroepsbeschrijvingen, etc. en informatie over erkende opleidingseenheden mbo (kwalificaties, keuzedelen en mbo-certificaten), zoals beroepsvaardigheden, NLQF-niveau, etc. Taken en beroepsvaardigheden maken geen onderdeel uit van de skills-taxonomieën maar moeten hier wel eenduidig aan gekoppeld worden.

De centrale skills-classificaties dienen conceptueel zuivere en goed uitgebalanceerde taxonomieën te zijn waarbinnen één type relatie bestaat: de hiërarchische relatie.

Hard en soft skills moeten inhoudelijk goed op elkaar aansluiten en elkaar niet overlappen.

Tenslotte neemt het CDO in serieuze overweging om een nadere op belang gerichte duiding toe te voegen aan de skills-metadateringsrelaties van de beroepeninformatie.

3. Technische issues

De pilotpartijen hebben diverse wensen geuit met betrekking tot de manier waarop zij de data van CompetentNL zouden willen kunnen gebruiken, bijvoorbeeld door middel van een API. Waar het CDO zorg voor zal dragen is dat de data op zo'n manier ontwikkeld, opgeslagen en ontsloten zullen worden dat deze in alle gewenste formaten uitgeleverd kan worden. De manier waarop dat daadwerkelijk zal gebeuren is aan het beheerteam van CompetentNL.

Bijlage 1: begrippenlijst

Bijlage 2: Leden Feedbackgroep

Organisaties:

• ActiZ

• Arbeidsmarktregio Achterhoek

• Centric

• CINOP- NCP NLQF

• CIV Veiliggeid (namens Vistacollega)

• Curio

• Deltion business

• Doorzaam

• Endoor (ROC Twente)

• Gemeente Amsterdam

• GetsJobsDone

• Goldschmeding Foundation

• GoodHabitz

• HAN University of Applied Sciences

• Humanversity

• KCH

• Koning Willem I College en

• Komensky

• Libereaux

• MBO raad

• MijnSkillsPaspoort

• MyLeaves

• MyTalentBoard

• Nationaal Kenniscentrum EVC

• NGDIL

• NLQF

• NOLOC

• Nxus

• Paragin

• PearlChain

• Platform voor Talent Technologie

• PlaytoWork

• Quantify Group

• Radboud University Nijmegen

• Re:source Agency

• Regio Zwolle

• Regionaal Werkcentrum Groot-Amsterdam

• ROC Noorderpoort

• ROC Rivor

• ROC van Amsterdam

• ROVC Technische opleidingen

• Security Delta (HSD)

• Skillstown

• Skillzilla

• Skills-Connect

• Stichting Bedrijfsfonds Apotheken (SBA)

• Stichting ELBHO

• Stichting het is Netwerken

• Stichting Kwalificatiekamer

• SUAS

• Talent Share

• Verhelder Talent

• VIPD

• VGN

• Werk in Zicht

• WijTechniek

• Wise Up

• WSP Groot-Amsterdam

Bijlage 3: notitie van het CBS over hiërarchie in de skills-data

Is een hiërarchische indeling noodzakelijk voor de skills-statistiek? Notitie van het CBS door Sue Westerman, Femke Bosman, Daniëlle ter Haar

Inleiding

Tijdens de panelsessie die gehouden werd op maandag 18 maart 2024 zijn twee scenario's besproken waarin is uitgewerkt hoe de relaties tussen de taken als kenmerk van beroep, en de hard skills kunnen worden gelegd.

In scenario 1 worden taken gerelateerd aan een hard skill indeling met drie aggregatieniveaus die hiërarchisch is opgebouwd. De onderste laag bevat ongeveer 1250 hard skills. De taken kunnen semantisch gerelateerd worden aan de 3e laag van deze hard skill indeling.

In scenario 2 worden taken gerelateerd aan de ESCO-S hiërarchie.

De voorkeur ging uit naar scenario 1. Er ontstond echter discussie over de noodzaak van het hebben van een hiërarchische indeling en dan met name het principe dat er alleen 1-op-1 relaties gelegd mogen worden. Dit werd gezien als een te grote beperking voor het doel om CompetentNL te kunnen gebruiken voor arbeidsbemiddeling.

Een eerste beperking is dat taken alleen gerelateerd mogen worden aan het onderste meest gedetailleerde niveau van de hard skill indeling. Die laag zou te taakgericht zijn, terwijl de bovenste laag van de indeling omschrijvingen bevat die herkenbaar zijn en beter bruikbaar voor bemiddeling. Mapping van een taak naar meerdere categorieën in laag 3 zou via de hiërarchie naar andere categorieën in laag 1 leiden, dan wanneer je de taken rechtstreeks naar laag 1 zou mappen.

De tweede beperking ligt in het feit dat een taak of een bepaalde hard skill heel goed onder meerdere bovenliggende hard skills zou kunnen vallen en die informatie is ook relevant. Maar als er alleen 1-op-1 relaties gelegd mogen worden vanwege de hiërarchie verlies je informatie. Dit is dus ook niet wenselijk vanuit het oogpunt van arbeidsbemiddeling.

Aan het CBS is gevraagd om toe te lichten waarom voor de skills-statistieken een hiërarchie zo belangrijk is. Eerst wordt ingegaan op wat er precies wordt verstaan onder een hiërarchische indeling, en daarbij wordt verwezen naar de toelichting die hierover is opgenomen in het plan van aanpak opgesteld door het College voor Data & Ontologie (CDO) dat is opgericht binnen het programma Vaardig met Vaardigheden. Vervolgens wordt een toelichting gegeven op de praktijk van het indelen volgens de uitgangspunten van een hiërarchie. Daarna wordt ingegaan op de relevantie van een hiërarchische indeling voor de statistiek en hoe omgegaan kan worden met niet-hiërarchische relaties die ook in CompetentNL voorkomen.

Kenmerken hiërarchie

In het Plan van Aanpak CDO v0.3 staat in het hoofdstuk over kwaliteit op p. 25 uitgelegd wat de principes zijn van een hiërarchische taxonomie:

De waardelijkst van een skillstype bestaat uit één laag of uit verschillende, hiërarchisch opgebouwde lagen (taxonomie)

Elke skillstaxonomie is zuiver.

1. Elke taxonomie kent maar één type relatie: transitief ('[onderliggende x] is een soort [bovenliggende y]') of partitief ('[onderliggende x] is een deel van [bovenliggende y]')

2. Elke laag van een skillstaxonomie bestaat uit gelijksoortige entiteiten van vergelijkbare granulariteit

3. Elk element op de volgende laag van een skillstaxonomie bestaat uit een nadere inhoudelijke specificatie van één en niet meer dan één entiteit op de bovenliggende laag

4. Elke laag van een skillstaxonomie bestaat uit entiteiten die inhoudelijk duidelijk van elkaar onderscheiden zijn (elkaar wederzijds uitsluiten)

5. De onderste laag van een skillstaxonomie bestaat uit enkelvoudige skills (dus niet een samenstelling van verschillende skills).

Praktijk van het indelen volgens de uitgangspunten van een hiërarchie

Het uitgangspunt dat elk element op de volgende laag van een skillstaxonomie bestaat uit een nadere inhoudelijke specificatie van één en niet meer dan één entiteit op de bovenliggende laag punt is in theorie helder, maar in de praktijk niet altijd eenvoudig te realiseren. Soms hebben elementen kenmerken in zich die in verschillende entiteiten van de bovenliggende laag kunnen vallen. Er moet dan een keuze worden gemaakt uit een van deze entiteiten. Vaak worden er in de methodologische verantwoording of handleiding van de hiërarchische indelingen instructies gegeven over hoe om te gaan met deze gevallen.

In de ISCO 2008 zijn er wanneer de omschrijving van beroep en werkzaamheden zodanig is dat meerdere ISCO-codes van toepassing kunnen zijn, een aantal criteria aan de hand waarvan het beroep gekozen moet worden. Beroepsniveau krijgt eerste prioriteit, daarna fase in het productieproces, daarna tijd besteed aan de taken.

Occupations with a broad range of tasks and duties

177. Occupational classifications – national as well as international – define occupations and occupational groups by reference to the most common combinations of tasks and duties. Problems may arise therefore when, in the case of some jobs, the range of tasks and duties performed does not correspond exactly to those specified in the classification. In such cases application of the following rules is suggested, in the order of precedence given below, when implementing ISCO-08 and related classifications.

178. In cases where the tasks and duties performed require skills usually obtained through different levels of training and experience, jobs should be classified in accordance with those tasks and duties which require the highest level of skills. For instance, a job which consists of driving a van, loading and unloading it and delivering goods by hand should be classified in Unit Group 8322: Car, Taxi and Van Drivers.

179. In cases where the tasks and duties are connected with different stages of the production and distribution of goods process, tasks and duties related to the production stage should take priority over associated ones, such as those related to the sales and marketing of the same goods, their transportation or the management of the production process. For example, a baker who bakes bread and pastries and also sells these products should not be classified as a salesperson, but as a baker, which means, in ISCO-08 terms, Unit Group 7512: Bakers, Pastry-cooks and Confectionery Makers.

180. Where the tasks and duties performed are both at the same skill level and at the same stage of production, jobs should be classified according to the predominant tasks performed. For example a “fire door installer” may assemble and install doors, door frames and fittings and also install and connect electrical wiring systems so that the door will close automatically in the event of a fire alarm. In this case, the job requires skills both as a carpenter and as an electrician, but the most time-consuming part of the work relates to carpentry. It should therefore be classified in Unit Group 7115: Carpenters and Joiners, rather than in Unit Group 7411: Building and Related Electricians.

In de manual van de ISCED-F 2013 wordt de volgende instructie gegeven voor hoe opleidingen waarin meerdere richtingen zijn gecombineerd:

Inter-disciplinary programmes

‘Inter-disciplinary programmes’ has here the meaning of programmes combining (generally two) fields of education and training. For these programmes (see example 1 to 3), the ‘majority rule’ should be used, that is the subject that dominates decides into which field the programme should be classified. The criteria for dominating is normally the time used on the subject.

Example 1: A programme consisting of both political science (313) and economics (314) should be classified according to which of the subjects dominates, that is on which subject most of the time is spent.

Ook voor het maken van een hiërarchische hard skills indeling zal er moeten worden nagedacht op grond van welke criteria een keuze kan worden gemaakt, zodat er wanneer een bepaalde hard skill in meerdere entiteiten van de bovenliggende laag kan vallen er 1 wordt gekozen.

Relevantie hiërarchie voor statistiek

Hiërarchische indelingen worden door het CBS veel gebruikt in de statistiekproductie. Ook voor de skills-statistieken zou het CBS bij voorkeur willen kunnen werken met een hiërarchie. Dit heeft namelijk de volgende voordelen:

1. Totaal bovenliggend aggregatieniveau is gelijk aan totaal van onderliggend. Als er in 10 vacatures de skill 'meubilair monteren' voorkomt, en in het bovenliggende niveau deze skill wordt ingedeeld in skills 'gereedschap hanteren' en 'installeren' worden deze vacatures in het bovenliggende niveau dubbel geteld. Ontwikkelingen en verdelingen van het aantal vacatures naar dit bovenliggende aggregatieniveau zijn hierdoor niet correct weergegeven.

2. Betrouwbaarheid data Het maken van de vertaalslag van vacatureteksten naar taken heeft een bepaalde foutenmarge, en er is geen garantie dat alle automatische extracties en matchings correct verlopen. Om betrouwbare uitspraken te kunnen doen wordt er daarom gewerkt met een minimale omvang die per categorie nodig voor publicatie. De mogelijkheid om te kunnen aggregeren geeft meer flexibiliteit in het geven van betrouwbare informatie over gevraagde skills. Dit geldt ook voor de wens om skills te kunnen uitsplitsen op bijvoorbeeld regionaal niveau, of andere kenmerken.

3. Overzicht Boven taken liggende aggregatieniveaus geven de mogelijkheid om op globaler niveau inzicht te kunnen geven in trends van gevraagde skills of om analyses te kunnen doen over skills in een bepaald terrein. De clusters die in de hiërarchie als standaard al beschikbaar zijn kunnen hiervoor gebruikt worden, maar clusters kunnen ook op maat worden samengesteld door een alternatieve hergroepering van de meest gedetailleerde laag taken, of door clustering van hard skills L3, bijvoorbeeld om groene skills te kunnen relateren aan andere kenmerken, zoals regio's of beroepsgroepen. De beschikbaarheid van verschillende aggregatieniveaus geeft hierin meer flexibiliteit dan wanneer 5000 taken alleen naar 1 laag van bijvoorbeeld 60 hard skills zijn gemapt.

Hiërarchie skills in CompetentNL in relatie tot statistiek

Een van de programmaresultaten van CompetentNL is een periodieke levering van big data-bronnen aan het CBS (vacatures, profielen) voor actualisatie en verrijking van CompetentNL m.b.v. AI. Het CBS gebruikt deze bronnen in combinatie met CompetentNL ook voor het produceren van statistiek.

Vacature teksten worden geanalyseerd m.b.v. Word2Vec en gematcht naar de taken. Tellingen worden gedaan over de in de vacatureteksten genoemde taken en gevraagde skills, maar deze moeten voor analyse- en publicatiedoeleinden worden ingedikt.

Taken worden in CompetentNL gerelateerd aan beroepen en aan skills in (in ieder geval de hard skills, maar misschien ook aan de soft skills of de kennisgebieden). De relatie van taken naar bovenliggende skills is niet hiërarchisch, dus 1 taak kan aan meerdere skills worden toegewezen.

Dit heeft gevolgen voor de wijze waarop het CBS de statistische informatie kan gaan samenstellen.

Samenstellen statistische informatie bij niet-hiërarchische relatie tussen taken en skills

Als een taak naar meerdere skills (soft, hard en kennis) wordt gemapt zijn er verschillende oplossingen mogelijk zodat taken kunnen worden geaggregeerd naar bovenliggende aggregatieniveaus zonder dat er dubbeltellingen ontstaan.

1. Het CBS gaat op grond van een algoritme dat is ontwikkeld voor de matching van vacatureteksten aan skills de beste match opzoeken in het bovenliggende aggregatieniveau in het geval er bij een bepaalde taak meerdere skills van toepassing zijn.

2. Het CBS gaat wanneer een taak aan meerdere bovenliggende skills is gemapt deze naar rato van het aantal bovenliggende skills verdelen zodat er geen dubbeltellingen gaan ontstaan in het bovenliggende niveau. Dit kan per type skill worden uitgevoerd, maar ook voor alle skills zonder uitsplitsing naar type.

De bruikbaarheid van deze oplossingen moet nog worden onderzocht, en op basis van de uitkomsten van dit onderzoek kan uit optie 1 of 2 een keuze worden gemaakt.

Het CBS zal waarschijnlijk ook tellingen gaan maken op basis van de beroepsvaardigheden die resultaat zijn van het volgen van mbo-opleidingen. Op dit moment is nog onduidelijk hoe de mapping van beroepsvaardigheden naar de skills eruit komt te zien. Mogelijk speelt hier een vergelijkbare problematiek (1 bv naar meerdere skills) en moet er ook hiervoor worden bekeken welke oplossing het beste is

competentnl

CompetentNL wordt in opdracht van de ministeries OCW en SZW ontwikkeld door:

TNO innovation for life

CERTIFIED

CERTIFIED

beroepsonderwijs bedrijfsleven