FAQ

ALGEMEEN

Professional performance gaat over dat wat artsen laten zien in de praktijk. Het gaat over het functioneren en presteren van artsen.

Professional performance gaat over beide, de kwaliteit van zorg en de kwaliteit van opleiden. Anders gezegd, professional performance gaat over het functioneren en presteren van artsen in zowel hun rol als zorgverlener als hun rol als opleider. Binnen het Professional Performance Online programma zijn daarom evaluatiesystemen beschikbaar voor zowel opleiding (onder andere de SETQ, TeamQ, D-RECT) als zorg (onder andere de IFMS/INCEPT, Quick Scan, Groepsmonitor).

Professional performance gaat over beide. Voor het kunnen bieden van goede kwaliteit van zorg en opleiding moeten artsen immers zowel individueel als collectief goed functioneren. Binnen het Professional Performance Online programma zijn er daarom evaluatiesystemen specifiek gericht op het individueel functioneren van artsen (onder andere de SETQ, IFMS/INCEPT) of het groepsfunctioneren (onder andere de TeamQ, Quick Scan).

Er zijn verschillende manieren om zicht te krijgen op de performance van artsen. Binnen Professional Performance Online kiezen we voornamelijk voor evaluatie van de performance van (groepen) artsen met behulp van percepties van ‘de relevante omgeving’ of van de artsen zelf. De SETQ bijvoorbeeld evalueert de opleiderskwaliteiten van supervisoren met behulp van de percepties van meerdere assistenten in opleiding tot specialist (AIOS). En de TeamQ bijvoorbeeld evalueert het groepsfunctioneren van opleidersgroepen met behulp van de beoordeling van de leden van de opleidersgroep zelf.

Van een goede professional wordt verwacht dat hij regelmatig kritisch zijn eigen professionele performance evalueert. En verbetert indien mogelijk. De Orde van Medisch Specialisten en de wetenschappelijke verenigingen verwoordden dit eerder in zowel hun visiedocument “Verantwoord Functioneren” (2013) als in de “Leidraad IFMS“ (2014). De Inspectie voor de Gezondheidszorg (IGZ) onderschrijft deze professionele verantwoordelijkheid van artsen in “Staat van de Gezondheidszorg” (2013). Specifieke regelgeving stelt nadere eisen aan welke evaluatie wanneer moet of kan worden gebruikt. De D-RECT is de facto verplicht bij een opleidingsvisitatie, en de Quick Scan bijvoorbeeld is onderdeel van de kwaliteitsvisitaties.

Het College Geneeskundige Specialismen (CGS) stelt eisen op voor opleidingen, opleiders en leden van opleidersgroepen. Ook formuleert het CGS de eisen voor de individuele herregistratie van medisch specialisten. In (de wijzigingen op) het kaderbesluit staan de eisen beschreven; zie hiervoor de website van de KNMG/CGS. In het kort komt het erop neer dat opleiders en leden van opleidingsgroepen verantwoordelijk zijn voor het bieden van een veilig opleidingsklimaat en een goede opleiding, inclusief de zorg voor het systematisch monitoren en verbeteren van de kwaliteit van de opleiding (= kwaliteitszorg). Voor de individuele herregistratie als medisch specialist wordt in 2015 deelname aan IFMS/INCEPT verplicht. Nu al is deelname aan de kwaliteitsvisitatie (waarvoor de Quick Scan wordt uitgevoerd) verplicht voor de herregistratie.

Het bewaken en bevorderen van goede professional performance van artsen is een essentieel onderdeel van de systematische zorg voor de kwaliteit (=kwaliteitszorg) van opleiding en patiëntenzorg. Continue verbetering van de professional performance van artsen vereist het meten en het waar mogelijk verbeteren van die performance. Ook wel aangeduid met de Plan Do Check Act (PDCA)- of kwaliteitscyclus. Professional Performance biedt inzicht in de actuele performance op basis waarvan (verbeter)prioriteiten en vervolgstappen kunnen worden bepaald.

VOORAFGAAND AAN DE EVALUATIES

Het primaire doel van de Professional Performance evaluaties is het bijdragen aan de Professional Performance van medisch specialisten, zowel in hun rol als zorgverlener als in hun rol als opleider. Aan de hand van de feedback die wordt verkregen met de Professional Performance evaluaties, kunnen medisch specialisten hun Professional Performance goed houden of zelfs verbeteren.

Onderstaande tabel geeft een overzicht van de instrumenten die beschikbaar zijn op Professional Performance Online. Wilt u meer informatie over de instrumenten? Deze vindt u op onze website.

Onze evaluatie-instrumenten en -systemen worden voortdurend onderworpen aan onderzoek. De Professional Performance Onderzoeksgroep richt zich voornamelijk op het meten, verklaren en verbeteren van de professional performance van artsen. Een belangrijk aspect van dit onderzoek betreft de validatie van de instrumenten die worden aangeboden. Een actueel overzicht van de wetenschappelijke evidence van alle aangeboden Professional Performance evaluaties vindt u onder het kopje publicaties

Elke type evaluatie kent zijn eigen respondentgroepen, afhankelijk van het doel van de evaluatie. Hieronder vindt u een beknopt overzicht van de relevante deelnemers per evaluatie.

Aanbevelingswaardig is om gericht en naar behoefte gebruik te maken van de verschillende evaluaties. U hoeft niet ieder jaar het complete beschikbare palet aan evaluaties te doorlopen. Het is zinvol aan de hand van een behoefte-inventarisatie binnen uw eigen groep/opleiding te besluiten aan welke performance-informatie en daarmee aan welk type evaluaties u prioriteit wilt geven. Wilt u meer advies over welke evaluaties voor u geschikt zijn? Neem dan contact op met de professional performance onderzoeksgroep.

Ook voor kleine opleidings-/vakgroepen zijn er geschikte evaluaties. Zo is de SETQ al geschikt voor vakgroepen met drie A(N)IOS. Kleine opleidings-/vakgroepen wordt verder ook aangeraden om na te denken over alternatieve evaluatiemethoden. Zo kan het in gesprek gaan met betrokkenen al veel aanknopingspunten bieden voor het verbeteren van performance. Denkt u bijvoorbeeld aan het voeren van exitgesprekken. Wilt u meer advies? Neem dan contact op met de Professional Performance Onderzoeksgroep

Het is raadzaam om evaluaties in onderlinge samenhang te bekijken. Om na te denken over een programma van evaluaties in plaats van over losse, geïsoleerde evaluaties. Idealiter wordt dit programma samengesteld op basis van een inventarisatie van behoeften aan performance-informatie. Hierin kunnen ook eisen of afspraken vanuit de (ziekenhuis)organisatie of externe instanties (zoals CGS/RGS, wetenschappelijke verenigingen) worden meegenomen. In het programma zal er in ieder geval aandacht moeten zijn voor (periodieke) evaluatie van zowel het individuele als het groepsfunctioneren. Niet alle evaluaties hoeven elk jaar te worden ingezet. Goede spreiding van evaluaties – naar behoefte ingezet – is zinvoller en beter haalbaar. Wel is het belangrijk dat het niet bij meten blijft; opvolgen van de verkregen resultaten is essentieel om tot verbetering te komen.

Voorafgaand aan iedere evaluatie zullen respondenten automatisch (vanuit het PPO-systeem) een uitnodiging per e-mail ontvangen. Hierin wordt informatie gegeven over de meetmaand en deelname. Verder geldt: hoe meer aandacht voor de evaluaties, hoe beter. Door voorafgaand aan het aanvragen van een meting te inventariseren waar behoefte aan is en doelen te stellen, voelen deelnemers zich meer betrokken bij het invullen van de evaluaties. U kunt aanvullend de respondenten verwijzen naar de PPO-website. Hier is veel informatie te vinden over de instrumenten en de doelen van de verschillende evaluaties. Ook is hier wetenschappelijke evidence te vinden over onze systemen.

Op dit moment zijn er nog geen PowerPoint presentaties beschikbaar. De Professional Performance Onderzoeksgroep is wel druk bezig met het maken van geschikt voorlichtingsmateriaal. Deze zullen in 2015 beschikbaar worden gesteld via de PPO-website. Op dit moment wordt er functioneel gezien gebruik gemaakt van uitlegmails of telefonisch uitleg gegeven.

Het is noodzakelijk eerst een evaluatieperiode in PPO aan te maken en een e-mailadres van de persoon die de evaluatieperiode binnen het ziekenhuis of instelling coördineert vast te leggen. U kunt hiervoor contact opnemen met de helpdesk van MEDOX.nl, de aanbieder van Professional Performance Online. Dit doet u door een email te sturen naar info@professionalperformanceonline.nl of te bellen met +31 (0)73 615 9999.

Stap 1. Log in als ‘beheerder’. Het wachtwoord hiervoor heeft u recent ontvangen van info@professionalperformanceonline.nl. Wachtwoord vergeten? Ga naar: www.professionalperformanceonline.nl en klik op ‘Nieuw wachtwoord aanvragen’. Of mail/bel de helpdesk (MEDOX): info@professionalperformanceonline.nl / +31 (0)73 615 9999.

Stap 2: Alle opleiders en AIOS die eerder hebben meegedaan aan een evaluatie zijn al opgenomen in het systeem. Klik op de link ‘Opleidingsevaluaties’ en daarna op ‘Beheren’. U kunt kiezen tussen de tabbladen ‘Lijst Medisch Specialisten’ en ‘Lijst A(N)IOS’. Gelieve alle specialisten en A(N)IOS die deze ronde ook weer participeren aan te melden door het aanklikken van het hokje ‘Neemt deel’ achter de naam.

Stap 3. Nieuwe A(N)IOS en stafleden toe te voegen door te klikken op ‘TOEVOEGEN’.
 
Stap 4. Ook controleren achter de naam van de nieuw ingevoerde deelnemer een √ zetten in de kolom ‘Neemt deel’ (zie stap 2).

Let op:
vermijd de knop ‘verwijderen’. Daarmee wist u een deelnemer voorgoed uit het bestand inclusief opgebouwde historische data.

Voor technische/praktische vragen (bijv. wachtwoord vergeten) met betrekking tot Professional Performance meetinstrumenten kunt u mailen met de helpdesk (MEDOX): info@professionalperformanceonline.nl. Ook kunt u telefonisch contact opnemen met de helpdesk: +31 (0)73 615 9999. Voor inhoudelijke vragen kunt u het beste de onderzoekers van Professional Performance benaderen

Op de website kan het afdelingshoofd/beheerder inloggen en bij “HOME” het responsoverzicht inzien. Ook zal de contactpersoon van Professional Performance Online indien gewenst het afdelingshoofd/formele opleider wekelijks een responsoverzicht sturen. Let op: Bent u AIOS of medisch specialist, dan kunt u aan uw afdelingshoofd/formele opleider vragen om het actuele responsoverzicht door te sturen.

ALS DE EVALUATIES EENMAAL ‘LOPEN’

Afhankelijk van het type evaluatie duurt het invullen van de vragenlijsten 5 tot 10 minuten per vragenlijst. Indien u uitgenodigd bent om meerdere vragenlijsten in te vullen, kan het langer duren.

Ja, alle evaluaties worden anoniem verwerkt. In geval van kleine groepen echter (bijvoorbeeld een opleiding met 3 A(N)IOS) bestaat soms desondanks de vrees van herleidbaarheid (m.n. door de geschreven feedback). Om de herkenbaarheid van individuele respondenten te voorkomen, worden er geen feedbackrapporten gegenereerd als er minder dan 4 personen een evaluatie hebben ingevuld. Op verzoek van de (gezamenlijke leden van de) vakgroep of opleidersgroep kan dit aangepast worden. Een anonieme dataverzameling en opslag van de gegevens wordt gewaarborgd door MEDOX.nl. MEDOX.nl laat een doorlopende audit op privacy en beveiliging uitvoeren door een extern bureau en voldoet aan de strengste veiligheidscriteria voor de bescherming van data.

Ja, iedere vragenlijst biedt de mogelijkheid om ‘vrije tekst’ te noteren als antwoord op zogenaamd ‘ open vragen’. De bedoeling is dat u hier uw antwoorden toelicht of verheldert. Hier kunt u dus zowel positieve opmerkingen als ook verbetersuggesties geven. Over het algemeen vinden de ontvangers van geschreven feedback deze zeer waardevol. Probeer daarom de opmerking zo constructief, specifiek, gedragsgericht en concreet mogelijk te formuleren.

Feedback geven kan soms lastig zijn, maar er zijn aantal praktische tips om feedback op een goede manier te verwoorden. Goed geformuleerde feedback wordt over het algemeen beter gewaardeerd door de ontvanger en leidt vaker tot een positieve verandering in gedrag. De volgende tips kunnen u helpen bij het geven van feedback:
Beschrijf en geef feedback op concreet en veranderbaar gedrag, in plaats van op persoonlijke of karakter eigenschappen. Het is ook goed om te beschrijven welk effect het gedrag op u heeft.
Feedback is het meest effectief als het zo specifiek mogelijk verwoord is en/of als er suggesties voor verbetering worden gegeven.

Normaal gesproken duurt een meetperiode één maand. Er kan hier in overleg van worden afgeweken als dit wenselijk is.

Op iedere afdeling is er een eindverantwoordelijke die de evaluatieperiodes aanmaakt en beheert. Indien u de evaluatieperiode wilt verlengen, kunt u de beheerder op uw afdeling vragen om dit te doen.Als de evaluatieperiode verlengd dient te worden, dan volstaat een verzoek hiertoe door de beheerder via een e-mail naar info@professionalperformanceonline.nl minimaal één dag voor de einddatum. Als de einddatum als verstreken is, kan de evaluatieperiode heropend worden. Ook dit kan via een e-mailverzoek. Let u er wel op dat de reeds gegenereerde rapporten dan tijdelijk verdwijnen totdat de nieuwe einddatum is verstreken.

Indien u gebruik maakt van de INCEPT, dan kunt u een meetperiode verlengen door het klikken op “Bewerken” naast de naam van de specialist (voor SETQ) of afdeling (voor D-RECT, TeamQ, etc.). Op de volgende screen kunt u een andere einddatum kiezen. Klik “opslaan”. De veranderingen worden meteen doorgevoerd (zie onderstaand voorbeeld).
Stap 1:

stap 2:

Hieronder vindt u een overzicht met het aantal gewenste (minimale) respondenten per instrument op basis van aantal ingevulde evaluaties. Om deze aantallen te behalen is het meestal noodzakelijk om meer mensen uit te nodigen.
SETQ – 3 voltooide A(N)IOS evaluaties per staflid en minimaal 80% van de vragen op de zelfevaluatie
D-RECT – 3 evaluaties voor het kunnen genereren van betrouwbare feedback van het opleidingsklimaat, 8 evaluaties voor betrouwbare evaluatie van alle subschalen
TeamQ – 6 evaluaties
INCEPT – 8 evaluaties per groep respondenten (A(N)IOS, collega specialisten, overige medewerkers)
QuickScan – alle leden van de opleidingsteam
Groepsmonitor – ten minste 6-7 ingevulde evaluaties

Als de respons gedurende de meetperiode laag blijft, kunt u de beoogde respondenten persoonlijk of tijdens vergaderingen aanspreken en motiveren om mee te doen aan de evaluaties. Het is belangrijk om het belang van de evaluaties voor het verbeteren de kwaliteit van de opleiding/zorg hierbij te benadrukken. Het is ook mogelijk om de meetperiode te verlengen, maar wij raden dat alleen aan in combinatie met andere acties om de respons te verhogen. Ook als de einddatum verstreken is, kan de evaluatieperiode heropend worden. Let u er wel op dat de reeds gegenereerde rapporten dan tijdelijk verdwijnen totdat de nieuwe einddatum is verstreken. Het is mogelijk dat er automatische herinneringen worden ingesteld bij de heropening van een evaluatieperiode. Het versturen van uitnodigingsmails is niet mogelijk.

Meldt dit probleem bij degene die op uw afdeling verantwoordelijk is voor het beheer van de evaluaties, vaak is dit de formele opleider. Deze persoon kan nagaan of uw emailadres correct in het systeem staat en deze eventueel aanpassen. In het geval dat uw emailadres correct in het systeem staat adviseren we u dit probleem te melden via info@professionalperformanceonline.nl of te bellen met de helpdesk van PPO (ondergebracht bij MEDOX.nl) via 073-615 9999. Voor het aankomen van uitnodigingsmails en herinneringsmails bij de deelnemers van info@professionalperformanceonline.nl adviseren wij dat de ICT afdeling van uw organisatie dit e-mailadres op de “whitelist” plaatst. Dit voorkomt dat het spam-filter van uw organisatie onze mails niet of maar gedeeltelijk doorlaat.

Dit komt af en toe voor. Als u een mail van info@professionalperformanceonline.nl in uw spambox vindt, kunt u het volgende doen: u gaat met uw muis op de email staan en klikt op uw rechter muisknop. Selecteer vervolgens “ongewenste mail” en daarna “geen ongewenste mail”. Toekomstige mails van dezelfde afzender worden nu niet meer als spam aangezien.

Mocht u uw inloggegevens niet meer hebben kunt u via www.professionalperformanceonline.nl een nieuw wachtwoord aanvragen. Dit kunt u doen door te klikken op “nieuw wachtwoord aanvragen” en hier uw emailadres in te vullen. U ontvangt dan een mail met daarin uw nieuwe wachtwoord. Het e-mailadres waarmee u een nieuw wachtwoord aanvraagt, dient overeen te komen met het in PPO ingevoerde e-mailadres.

Ja dat kan. U kunt dit doen door onderaan de vragenlijst te klikken op “Tijdelijk bewaren”. Als u op deze optie klikt kunt u voor het einde van een meetperiode opnieuw inloggen en uw vragenlijst bewerken of afmaken. Zodra u klikt op “vragenlijst verzenden” is de vragenlijst definitief verzonden en kunt u deze niet meer bewerken.

Het systeem verstuurt automatische reminders naar personen die de vragenlijsten nog niet hebben ingevuld. Dit gebeurt 1 dag voor de einddatum, 10 dagen voor de einddatum en 20 dagen voor de einddatum van de meetperiode.

Ja dat kan. Dit kan het afdelingshoofd of degene die op uw afdeling verantwoordelijk is voor het beheer van de evaluaties doen door te gaan naar: de link: “Opleidingsevaluaties” gevolgd door de link: “Beheren” en afhankelijk van de rol van de deelnemer onder de tab Lijst Medisch specialist of Lijst A(N)IOS de deelnemer te registreren. Er wordt daarna direct een uitnodigingsmail gestuurd.

Een meetperiode duurt gewoonlijk één maand. Hier kan op verzoek van worden afgeweken.

NA DE METING

U kunt altijd de resultaten van uw eigen evaluatie inzien. In geval van een Team-evaluatie ziet u de uitslag van het Team. Inzage in uw resultaten door bijvoorbeeld de formele opleider of het afdelingshoofd in de individuele feedback rapporten kan alleen indien dit met binnen uw groep is afgesproken.
Indien toestemming door de afdeling is verleend kan de beheerder een verzoek e-mailen naar info@professionalperformanceonline.nl. De helpdesk kan een functionaliteit aanzetten dat de beheerder de individuele feedback rapporten kan raadplegen.

De terugkoppeling naar de respondenten is belangrijk om de stap van meten naar verbeteren met elkaar te maken. De respondenten hebben zich ingezet om feedback te geven en daarmee recht op een terugkoppeling. Het is aanbevelenswaardig om met elkaar de evaluatieresultaten, al dan niet geaggregeerd, terug te koppelen en te bespreken. In geval van de SETQ en D-RECT is het zeker van belang de A(N)IOS inzicht te geven in de resultaten en dan bij voorkeur aangevuld met verbeteracties.

Alle meetinstrumenten zijn gevalideerd of zijn onderwerp van validatie-onderzoek. De validiteit van de instrumenten wordt regelmatig opnieuw onderzocht. Evidence voor de instrumenten vindt u op onze website

De norm voor goede performance wordt door de opleidersgroepen zelf bepaald. Er is geen harde norm beschikbaar.

Jazeker kan dat. In het SETQ rapport wordt uw resultaat vergeleken met die van u collega’s binnen de eigen groep/maatschap in de vorm van een ranking. De ranking is actief als er minimaal 15 specialisten hebben meegedaan aam de evaluatie.
In het IFMS/INCEPT rapport is een gemiddelde van alle (landelijk) eerder beoordeelde specialisten opgenomen. In het D-RECT rapport vindt u ook een overzicht van de scores uit de regio.

U kunt hiervoor bijvoorbeeld een artikel met 12 tips voor het ontvangen van feedback raadplegen. Dit artikel is geschreven door twee onderzoekers van de professional performance onderzoeksgroep Dr Renée van der Leeuw en Irene Slootweg. Het artikel biedt praktische tip voor het ontvangen van feedback.

De professional performance onderzoekers hebben contact met een aantal coaches die de professional performance evaluatiesystemen goed kennen en ervaring hebben met het begeleiden van medisch specialisten bij het bespreken van de resultaten van de evaluaties. U kunt contact opnemen met de PP-onderzoeksgroep.

Dat hangt ervan af hoe open de samenwerking en hoe effectief de vergadercultuur is. De opleidersgroep is zelf verantwoordelijk voor de kwaliteit van de opleiding. Externe hulp op de achtergrond of tijdens de vergadering kan de vraag, wat de evaluatiegegevens betekenen, met meer diepgang bespreken.

Mooi als dat gebeurt! De opleiders kunnen best practices uitwisselen en elkaar stimuleren vooral zo door te gaan.

Als de periode is beëindigd krijgt het staflid een e-mail waarin er wordt medegedeeld dat een feedback rapport klaar staat om te downloaden. Als er geen rapport klaar staat (vanwege geen/te weinig respons) dan krijgt dit staflid een non-respons mail waarin wordt uitgelegd waarom er geen rapport voor het staflid klaar staat.

Nadat de evaluatieperiode is beëindigd kan de specialist inloggen met het medisch specialist-account op de website (www.professionalperformanceonline.nl). Hier kan het staflid het feedback rapport in MS Word downloaden. MS Word werkt niet goed samen met een niet-Windows computer (Apple, MacBook). Als het feedback rapport in Word niet correct wordt weergegeven kan de specialist een e-mail sturen naar info@professionalperformanceonline.nl. Vervolgens zal het feedback rapport in PDF formaat wordt toegestuurd.

Alle feedbackrapporten die in het verleden zijn gegenereerd blijven beschikbaar om te downloaden. Zij zijn beschikbaar in het medisch specialist – account op de website (www.professionalperformanceonline.nl).

Deze zijn beschikbaar in het medisch specialist – account op de website (www.professionalperformanceonline.nl).

De houder van het “Afdelingshoofdsaccount” , ofwel de beheerder, kan de afdelingsrapporten downloaden. Deze rol kan uitgevoerd worden door de (hoofd)opleider, teamsecretaresse, aangewezen specialist, etc. De feedback rapporten zijn door deze persoon in te zien, mits daarvoor uitdrukkelijke toestemming is gegeven door de afdeling. Als er toestemming door de afdeling is gegeven, kan de MEDOX beheerder functionaliteit inschakelen welke inzicht in de feedback rapporten verschaft aan het afdelingshoofd. Er is ook een rol “Opleidingscoördinator”. Voor deze rol geldt hetzelfde als voor het “Afdelingshoofd”.