Implementering af teknologien Operating Room Black Box – Et datadrevet paradigmeskifte på operationsstuen  

Skrevet af: Kjestine Emilie Møller, læge og Ph.d-stud., Jette Led Sørensen, professor, PhD, MMEd, Kim Reynolds, oversygeplejerske, Susana Slemming, oversygeplejerske, Jeanett Strandbygaard, afdelingslæge, PhD. (For forfatternes tilhørsforhold se bunden af artiklen).

Abstract

Operating Room Black Box er en teknologi der indsamler anonymiserede patient-fysiologiske registreringer, video- og lyddata fra operationsstuen. Dette giver mulighed for identifikation og analyse af faktorer, som har indflydelse på operationer. Teknologien har været implementeret på én operationsstue på Rigshospitalet siden 2020. Der var høj accept blandt interessenter til projektet. Praktiske aspekter før, under og efter implementeringen såsom formelle/uformelle møder, inklusion af patienter, etisk og juridisk godkendelse var acceptable, men tidskrævende. Det var nødvendigt med løbende evaluering, informationsmøder og opbakning fra interessenter for at opretholde momentum. Særligt fordi implementeringen foregik på en stor afdeling med mange nye ansatte og kursister. 

Baggrund 

Operating Room (OR) Black Box er en innovativ teknologi, der danner grundlag for et nyt paradigme indenfor indsamling og sammenstilling af data fra operationsstuen(1). Teknologien bag er inspireret fra flyindustrien, hvor såkaldt sorte bokse i mange år har været anvendt til at indsamle data fra hændelser og ulykker med henblik på analyse og at dele data for at øge flysikkerheden. Med samme tilgang i sundhedsvæsenet er formålet med OR Black Box at øge patientsikkerheden og læring på operationsstuen. Dette ved at kunne give et realistisk og transparent billede af kompleksiteten af de hændelser, der foregår under et operativt indgreb.  

Operationsstuen er et risikofyldt, komplekst og dynamisk arbejdsområde, hvor mange arbejdsgange foregår simultant og sundhedsprofessionelle med forskellige faglige baggrunde skal samarbejde. Hver faggruppe har hver deres kritiske faser under operationen, hvor der er behov for fuld opmærksomhed fx under intubation/extubation, incision, operative procedurer, optælling af instrumenter og servietter etc. Forstyrrelser (fx døre der åbnes/lukkes, alarmer, høje lyde, telefoner der ringer, personale der kommer og går) kan have indvirkning på de arbejdsgange, der er på operationsstuen – og i værste tilfælde kan manglende opmærksomhed på grund af forstyrrelser føre til komplikationer (2). Nyligt publiceret data viser eksempelvis at operationsholdet ubegrundet forstyrres hver 40. sekund under en elektiv operation, døren til operationsstuen åbnede/lukkede i gennemsnit 42 gange pr operation og i 33 % af alle operationerne fungerede operationsstyret ikke (1).  

Til trods for en lang række initiativer er antallet af komplikationer i forbindelse med operative indgreb fortsat høj: op mod 15 % af alle kirurgiske patienter oplever komplikationer, og det er estimeret at mere end en tredjedel af disse kan undgås (3, 4). Hidtil er vores viden omkring de procedurer og indgreb, der sker på operationsstuen primært baseret på operationsbeskrivelser som er retrospektive. Operationsbeskrivelserne er stærkt afhængigt af operatørens evne til at huske alt, hvad der er hændt på stuen, hvilket kan medføre tab af vigtige detaljer (5). Viden om hændelser fra operationsstuen kan tilsvarende være fra operationspersonalets indberetning af utilsigtede hændelser, der også er retrospektive og som kan være mangelfulde (6, 7). OR Black Box indsamler en stor mængde hidtil utilgængelige og tidstro data ved hjælp af lyd- og videooptagelser samt patient-fysiologiske registreringer (se figur 1). Data bliver analyseret ved hjælp af bl.a. kunstig intelligens. Fordelen ved kunstig intelligens er at store mængder data kan analyseres og afkodes hurtigt og mønstre kan genkendes (8). Noget der vil være alt for ressource- og tidskrævende for mennesker at gøre.  

Med denne teknologi er det nu muligt at analysere på de hændelser og faktorer, som kan have indflydelse på det operative indgreb og de procedurer, der foregår på operationsstuen. Dette uden at have en person til at observere på operationsstuen, hvilket ville være tidskrævende og vigtige detaljer kan gå tabt, da mange ting foregår simultant (9). Ydermere giver det anæstesi- og operationspersonalet mulighed for at gense operationen, hvilket kan bidrage til en forståelse for og læring af, hvorfor komplikationer opstår, hvordan vi kan optimere og blive endnu bedre til at gennemføre operationer. Helt ultimativt er målet at denne læring vil være med til at øge patientsikkerheden. Operationsstuen er et af de mest lukkede rum på et hospital, og OR Black Box giver en mulighed for bedre adgang til data og mere transparens (10).  

Implementering af OR Black Box er stadig i en tidlig fase verden over, og det er fortsat en stor og kompleks udviklingsopgave. Der foreligger sparsom litteratur omkring implementeringsprocesser af denne form for sundhedsteknologi, særligt omkring det dilemma der kan opstå ved brug af video- og lydoptagelser fra operationsstuen. Teknologien er aktuelt implementeret på 20 hospitaler i hhv. Canada, USA, Holland, Belgien og Danmark. På nuværende tidspunkt er der kun én OR Black Box installeret og implementeret på Rigshospitalet (11), men yderligere opskalering til flere kirurgiske specialer og operationsgange på Rigshospitalet er på vej i 2023.  

Formål

Formålet er at beskrive dele af implementeringsprocessen af OR Black Box på én gynækologisk operationsstue på Rigshospitalet med henblik på at formidle hvilke faktorer, der har haft betydning for processen og formidle viden, som kan bruges i implementering af lignende initiativer.  

Metode 

Studiet blev udført på Gynækologisk afdeling og Afdeling for Bedøvelse og Operation, Juliane Marie Centeret, Rigshospitalet i perioden Maj 2017-Maj 2021(11) og det er resultater for denne tidsperiode der præsenteres i denne artikel.  

OR Black Box har siden installeringen og implementeringen indsamlet data på daglig basis. 

Model til vurdering af gennemførlighed  

Til vurdering af gennemførligheden af implementering af OR Black Box blev et rammeværktøj bestående af otte fokusområder beskrevet af Bowen et al. (12) anvendt. Fordelen ved at anvende denne metode er, at det er med til at sikre struktur og gennemsigtighed i implementeringsprocessen samt at bestemme, hvorvidt interventionen virker inden det evalueres i en større skala.  

Otte fokusområder defineret af Bowen et al.(12):

Bowens fokusområder	Definition	Outcome i aktuelle OR Black Box projekt
1.Accept	I hvilken grad er udvalgte personer og de, der er involveret i implementeringsprocessen interesserede og villige til at deltage i projektet	Tilslutning til projektet
2.Ressourceforbrug  Praktiske aspekter	I hvilken grad kan projektet blive udført med eksisterende ressourcer og engagement	Faktorer der har indflydelse på implementeringsprocessen.   Antallet af ressourcer der er behov for i implementeringsprocessen
3.Implementering	I hvilken grad er interventionen implementeret som planlagt	Graden af udførelse af projektet
4.Efterspørgsel	I hvilket omfang er det forventet at intervention vil blive brugt	Visioner og strategimål på hospitalet
5.Adaptation	I hvilken grad vil interventionen være passende i en ny situation	Ændringerne i arbejdsgange og optagetider
6.Integration	I hvilken grad kan interventionen integreres i nuværende system	Indflydelse på planlagt operationsprogram, arbejdsgange og operationer.  Tekniske foranstaltninger relateret til integrationen af systemet
7.Udvidelse	I hvilket omfang kan interventionen udvides	Implementering af OR Black Box på andre afdelinger og hospitaler
8.Limited-efficacy testing	I hvilket omfang er studiet designet til at teste interventionen i et begrænset omfang	Implementeringsstrategi

 

Godkendelser

Det overordnede OR Black Box projekt blev i 2019 godkendt af Videnscenter for Dataanmeldelser (VD-2019-275) samt i 2018 vurderet af Videnskabsetisk Komite til ikke at skulle anmeldes (H-18018801), fordi der ikke ændres på patientbehandling eller inddrages biologisk materiale.  

Dataindsamling

Projektet er samtykkebaseret, hvilket vil sige at der kun indsamles data, hvis alle der er tilstede på operationsstuen har givet samtykke. Patienter og operationspersonale modtager både mundtlig og skriftlig information om projektet forud for deltagelse. Samtykkeerklæringen skal underskrives for at deltage i projektet. Deltagere kan til enhver tid trække deres samtykke tilbage. Projektet vil på ingen måde have betydning for personalets ansættelsesforhold eller patientens behandling og alle operationer vil blive udført som planlagt. OR Black Box indsamler i dette projekt data fra elektive gynækologiske operationer via laparoskopisøjlen, anæstesi-apparatet, kameraer og mikrofoner i loftet. Alle data bliver efterfølgende anonymiseret (stemmer bliver forvrænget og ansigter sløret) og analyseret ved af hjælp eksperter uddannet til vurdering heraf samt ved kunstig intelligens. 

Resultater

Gennemførligheden af implementering af OR Black Box vurderet ud fra Bowen et al.’s fokuspunkter. Enkelte fokuspunkter om accept, implementering og ressourceforbrug nævnes her. For resterende fokuspunkter og detaljer se ref. 11. 

Accept  

Der blev identificeret i alt tre interessentgrupper  

1. Ledelsen: Fem ledelsesniveauer – Rigshospitalets øverste ledelse, centerledelsen og afdelingsledelse (hhv. lægelig og sygeplejerske ledelse på gynækologisk og anæstesiologisk afdeling).  
2. Medarbejdere: operationssygeplejersker, anæstesisygeplejersker, gynækologer og anæstesilæger. 
3. Patienter: alle gynækologiske patienter planlagt til elektiv kirurgi på operationsstuen med OR Black Box 

Overordnet var der stor tilslutning og interesse til projektet blandt alle interessenter.  

Tilslutningen blandt interessentgrupperne var: 

1. Ledelsen: Fem ud af fem niveauer (100 %) 
2. Medarbejdere: 141 ud af 152 (93 %) 
3. Patienter: 300 ud af 306 (98 %) 

Ressourceforbrug/praktiske aspekter  

Aktiviteter i perioden fra 2017-2021.  

I 2017 blev de første indledende informationsmøder med ledelsen på alle niveauer (hospitals-, center- og afdelingsledelse) afholdt for at diskutere og kortlægge, hvad det ville kræve af ressourcer at implementere OR Black Box i en dansk kontekst. Efter godkendelse til projektet fra alle ledelsesniveauer blev der afholdt informationsmøder for alle medarbejdere. Sideløbende blev der ansøgt om etisk og juridisk godkendelse samt fondsmidler til at drive projektet. I april 2020 blev OR Black Box installeret på én gynækologisk operationsstue. Installation af systemet skete over en weekend, uden indflydelse på operationsprogrammet, i samarbejde med IT-ingeniører fra Surgical Safety Technologies, Toronto, Canada og Rigshospitalets IT-afdeling. Installationen havde ingen indvirkning på operationsprogrammet. I perioden april-september 2020 blev der udført tekniske justeringer af systemet og de første data blev indsamlet i september 2020. Indhentning af samtykke fra medarbejdere og patienter skete på daglig basis og var en kontinuerlig proces grundet udskiftning af personale og daglig skift af patienter. Tidsmæssigt blev der anvendt ca. 30 min pr deltager mhp. samtykke.  

Implementering 

I perioden fra september 2020 til maj 2021 blev 229 ud af 289 operationer (80%) optaget. Procentdelen ændrede sig fra initialt 67% (85/126) september-december 2020 til 89% (144/162) i januar til maj 2021. I alt 20 % (60/289) blev ikke optaget enten pga. tekniske årsager eller fordi systemet blev slukket, hovedsageligt på grund af medarbejdere, der ikke havde givet samtykke til projektet. 

Implementeringen forløb som planlagt uden ændringer. Udfordringer (fx håndtering af personale der ikke har givet samtykke til projektet, økonomi til forskning etc.) og styrker (fx ledelsesopbakning, teknisk support fra egen IT afdeling) som dukkede op blev identificeret og noteret, så det kan bruges som læringspunkter i videre implementering.  

Implikationer i praksis 

Baseret på vores resultater var det muligt og gennemførligt at implementere OR Black Box i en dansk kontekst, om end det var en tidskrævende og udfordrende proces både juridisk og kulturelt. Den initiale idé til projektet kom helt tilbage i 2016, og blev modnet i en mindre ledelses- og forskningsgruppe i årene derefter. I 2017 og frem blev de første strukturerede initiativer igangsat og i 2020 blev de første operationer optaget. De praktiske aspekter og ressourceforbruget involveret i projektet har været omfattende både inden og efter OR Black Box begyndte at indsamle data fra operationsstuen. Vi fandt, at der overordnet var høj grad af accept og tilslutning til projektet blandt alle interessenter. Der var 100 % opbakning fra ledelsen på alle niveauer, 98 % af alle patienter gav samtykke og 93 % af alle medarbejdere gav samtykke. Under den initiale dataindsamling fra september 2021-december 2021 opnåede vi forståelse for de vilkår og udfordringer systemet kunne give. Den primære årsag til at operationer ikke blev optaget var manglende samtykke fra én eller flere medarbejdere på operationsstuen. Efter dialog med ledelsen og medarbejdere, blev de medarbejdere, som ikke ønskede at deltage allokeret til stuer uden OR Black Box, hvilket øgede antallet af operationer som kunne optages.  

Implementering af OR Black Box er med til at skabe grundlag for en ny tankegang i sundhedsvæsenet. Det er relevant at understrege, at når der implementeres nye initiativer og laves forandringer i sundhedsvæsenet, så afhænger det også stærkt af de lokale forhold. Det er tidskrævende og en udfordrende proces, særligt hvor der er mange faggrupper og medarbejdere involveret og hvor forandringsprocesser gør sig gældende(13). Derudover vil der ved introduktion af nye interventioner altid være personer, der er mere villige og hurtige til at tilegne sig og acceptere interventionen end andre. Størstedelen af personalet vil dog over tid acceptere interventionen(14).    

Operationsstuen har hidtil været et lukket rum, hvor meget lidt data og viden fra har været tilgængelig(10). Ved at introducere og implementere en teknologi, som OR Black Box, er det vigtigt at forstå kompleksiteten og den kontekst den implementeres i. Det er en samskabende proces, hvor input fra dem der skal modtage interventionen (medarbejdere og patienter), dem der skal levere (forskningsgruppen) og dem der er beslutningstagere (ledelsen på alle niveauer) har stor betydning. Det er relevant at understrege, at berøringsfladen for dette projekt er stor og foregår på mange planer, hvor mange af de involverede ikke nødvendigvis har arbejdsmæssigt overlap eller rent fysisk er placeret samme sted på hospitalet. Derfor kræver det planlægning og overblik for at sikre sig at man åbent og aktivt involver dem der er målgruppe for indsatsen, så de bliver hørt, informeret og inddraget. Kontinuerlig, systematisk indsamling og opsummering af data, særligt video- og lydoptagelser, fra operationsstuen har ikke tidligere været muligt. Det er et helt nyt felt og en ny tankegang som kan give spændinger. Det er derfor vigtigt at være tydelig og transparent omkring, hvad rationalet bag interventionen er, hvordan data anvendes og hvordan det kan skabe en positiv forandring (15, 16). Samtidig er det helt afgørende at interventionen er etisk og juridisk forsvarlig og at den ikke medfører negative konsekvenser for medarbejderne(17). Hvilket understreger vigtigheden af at have en konstant åben dialog med alle interessenter involveret.  

Fra data til indsigt  

Med de data der er tilgængelige fra OR Black Box skabes en ny måde for læring blandt alle faggrupper der er på operationsstuen både på et individuelt niveau, indenfor den enkelte faggruppe, og det tværfaglige samarbejde. Her kan både tekniske og ikke-tekniske færdigheder evalueres og analyseres. Derudover skabes der grundlag for mere præcis læring og viden omkring, hvordan intraoperative nærhændelser opstår, håndteres og korrigeres inden de fører til en reel komplikation. Studier har vist at der ved hvert operativt indgreb sker et stort antal nærhændelser og mange af disse ikke efterfølgende bliver dokumenteret (5, 18). Herved mistes en stor mængde viden og læring omkring, hvad der gør operationshold gode og hvordan operationsholdet agerer og korrigerer deres arbejdsgange for at undgå at komplikationer opstår (19).    

Ved anvendelse af data bør det prioriteres at skabe en kultur med psykologisk tryghed og et læringsmiljø, hvor alle kan føle sig trygge til at modtage feedback, fremsætte forslag til forbedringer og påpege fejl (20). Som led i denne proces er det relevant at inddrage og sammensætte en ’styringsgruppe’ bestående af interessenter med relevante ressourcer og beslutningskompetencer. Repræsentanter fra forskellige faggrupper kan bidrage til at kvalificere og definere læringsmålene og således at fokus bliver på relevante kompetenceområder. Er fokus på organisationsudvikling, ændring i arbejdsgang, arbejdstilrettelæggelse og lignende skal relevant ledelse og faggrupper involveres.  

Mål 

Hypotesen er, at man i fremtiden på baggrund af store mængder data, vil kunne forudsige, korrigere og dermed reducere antallet af komplikationer betydeligt. Det på baggrund af den læring det giver operationspersonalet om eksempelvis resiliens, tekniske og ikke-tekniske færdigheder, og i høj grad også ved brugen af kunstig intelligens. Kunstig intelligens danner grundlag for en ny måde at træffe beslutninger på. Systemet sammenholder data i en helt anden skala end hvad mennesker er i stand til. På sigt er det tanken, at det kan anvendes som konkret værktøj til at gøre beslutningsvejene hurtigere og anvendes som beslutningsstøtte i at vurdere risici i realtime. Det baseret på den løbende identificering og mønstergenkendelse af, hvorfor komplikationerne opstår. Helt konkret vil det betyde at systemet på sigt vil komme med realtime advarsler under operationen, når der er behov for ændret handling fx er der behov for at en mere erfaren læge overtager operationen, bør der tilkaldes ekstra hjælp, er der behov for at bestille blod til patienten. I denne vurdering vil der tages højde for patientens risikoprofil, operationstype, tid på døgnet, personalets uddannelse- og erfaringsniveau etc. 

Delmål og aktuelle projekter 

Aktuelt anvendes OR Black Box data til at se på en række forskellige outcomes eksempelvis brugen af WHO Surgical Safety Checklist (21), debriefing (22), identificering bl.a. af forstyrrelser (1) og ikke-tekniske færdigheder under operationer (23, 24). For at fremhæve et af studierne, så viste et studie fra Texas baseret på OR Black Box data fra 3879 operationer at brugen af den kirurgisk tjekliste særligt var mangelfuld under tjek ud-fasen. Ved at identificere denne afvigelse og målrette en indsats medførte det signifikant bedring af brugen af den kirurgiske tjekliste (21).  

På Rigshospitalet ser vi aktuelt på brugen af den kirurgiske tjekliste vurderet ud fra både OR Black Box data og ud fra patientjournalen. Samtidig undersøger vi i en spørgeskemaundersøgelse personalets holdning til brugen af den kirurgiske tjekliste og graden af psykologisk tryghed på operationsstuen. Ydermere kører et studie omkring hvor konsistente (intra- og interrater reliabilitet) gynækologer med forskellige subspecialer er til at bedømme spredningen af æggestokkekræft ud fra en valideret skala. Her anvendes laparoskopiske videoer indsamlet med OR Black Box.  

Disse studier er alle sammen små skridt på vejen til at opnå det ambitiøse og ultimative mål om at OR Black Box er et værktøj til at skabe transparens i alle faggruppers arbejdsgange på operationsstuen for dermed at øge patientsikkerheden.  

For yderligere information og interesse om projektet, se venligst vores hjemmeside: www.rigshospitalet.dk/orblackbox.    

Forfatternes tilhørsforhold: 

Kjestine Emilie Møller, læge og phd stud. – Afdeling for Kvindesygdomme og Afdeling for Graviditet, Fødsel og Barsel, Juliane Marie Centret for Børn, Kvinder og reproduktion, Rigshospitalet.

Jette Led Sørensen, professor, PhD, MMEd – Juliane Marie Centret for Børn, Kvinder og Reproduktion, Rigshospitalet, Institut for Klinisk Medicin, Københavns Universitet.

Kim Reynolds, oversygeplejerske – Afdeling for Bedøvelse og Operation, Juliane Marie Centeret, Rigshospitalet.

Susana Slemming, oversygeplejerske – Afdeling for Bedøvelse og Operation, Juliane Marie Centeret, Rigshospitalet.

Jeanett Strandbygaard, afdelingslæge, PhD – Afdeling for Kvindesygdomme og Afdeling for Graviditet, Fødsel og Barsel, Juliane Marie Centret for Børn, Kvinder og reproduktion, Rigshospitalet.

Referencer

1. Jung JJ, Juni P, Lebovic G, Grantcharov T. First-year Analysis of the Operating Room Black Box Study. Ann Surg. 2020;271(1):122-7.
2. Mentis HM, Chellali A, Manser K, Cao CG, Schwaitzberg SD. A systematic review of the effect of distraction on surgeon performance: directions for operating room policy and surgical training. Surg Endosc. 2016;30(5):1713-24.
3. Makary MA, Daniel M. Medical error-the third leading cause of death in the US. BMJ. 2016;353:i2139.
4. Anderson O, Davis R, Hanna GB, Vincent CA. Surgical adverse events: a systematic review. Am J Surg. 2013;206(2):253-62.
5. Alsubaie H, Goldenberg M, Grantcharov T. Quantifying recall bias in surgical safety: a need for a modern approach to morbidity and mortality reviews. Can J Surg. 2019;62(1):39-43.
6. WHO. https://www.who.int/publications/i/item/9789240010338 Tilgået FEB 2023 [
7. Sygeplejeråd D. https://dsr.dk/sygeplejersken/arkiv/sy-nr-2019-7/travlhed-er-gift-for-uth-systemet Tilgået FEB 2023 [
8. He J, Baxter SL, Xu J, Xu J, Zhou X, Zhang K. The practical implementation of artificial intelligence technologies in medicine. Nat Med. 2019;25(1):30-6.
9. Yanes AF, McElroy LM, Abecassis ZA, Holl J, Woods D, Ladner DP. Observation for assessment of clinician performance: a narrative review. BMJ Qual Saf. 2016;25(1):46-55.
10. Langerman A, Grantcharov TP. Are We Ready for Our Close-up?: Why and How We Must Embrace Video in the OR. Ann Surg. 2017;266(6):934-6.
11. Moller KE, Sorensen JL, Topperzer MK, Koerner C, Ottesen B, Rosendahl M, et al. Implementation of an Innovative Technology Called the OR Black Box: A Feasibility Study. Surg Innov. 2022:15533506221106258.
12. Bowen DJ, Kreuter M, Spring B, Cofta-Woerpel L, Linnan L, Weiner D, et al. How we design feasibility studies. Am J Prev Med. 2009;36(5):452-7.
13. Gale R, Grant J. AMEE Medical Education Guide No. 10: Managing change in a medical context: Guidelines for action. Medical Teacher. 1997;19(4):239-49.
14. Rogers EM. Diffusion of Innovations, 4th Edition: Free Press; 2010.
15. Strandbygaard J, Dose N, Moeller KE, Gordon L, Shore E, Rosthoj S, et al. Healthcare professionals’ perception of safety culture and the Operating Room (OR) Black Box technology before clinical implementation: a cross-sectional survey. BMJ Open Qual. 2022;11(4).
16. van Dalen A, Strandbygaard J, van Herzeele I, Boet S, Grantcharov TP, Schijven MP. Six Sigma in surgery: how to create a safer culture in the operating theatre using innovative technology. Br J Anaesth. 2021;127(6):817-20.
17. Gordon L, Reed C, Sorensen JL, Schulthess P, Strandbygaard J, McLoone M, et al. Perceptions of safety culture and recording in the operating room: understanding barriers to video data capture. Surg Endosc. 2022;36(6):3789-97.
18. Jung JJ, Adams-McGavin RC, Grantcharov TP. Underreporting of Veress Needle Injuries: Comparing Direct Observation and Chart Review Methods. J Surg Res. 2019;236:266-70.
19. Boet S, Burns JK, Brehaut J, Britton M, Grantcharov T, Grimshaw J, et al. Analyzing interprofessional teamwork in the operating room: An exploratory observational study using conventional and alternative approaches. J Interprof Care. 2023:1-10.
20. Edmondson A. Psychological Safety and Learning Behavior in Work Teams. Administrative science quarterly. 1999;44(2):350-83.
21. Al Abbas AI, Sankaranarayanan G, Polanco PM, Cadeddu JA, Daniel W, Palter V, et al. The Operating Room Black Box: Understanding Adherence to Surgical Checklists. Ann Surg. 2022;276(6):995-1001.
22. van Dalen ASHM, Jansen M, van Haperen M, van Dieren S, Buskens CJ, Nieveen van Dijkum EJM, et al. Implementing structured team debriefing using a Black Box in the operating room: surveying team satisfaction. Surgical endoscopy. 2021;35(3):1406-19.
23. Nensi A, Palter V, Reed C, Schulthess P, McLoone M, Grantcharov T, et al. Utilizing the Operating Room Black Box to Characterize Intraoperative Delays, Distractions, and Threats in the Gynecology Operating Room: A Pilot Study. Curēus (Palo Alto, CA). 2021;13(7):e16218-e.
24. Doyen B, Gordon L, Soenens G, Bacher K, Vlerick P, Vermassen F, et al. Introduction of a surgical Black Box system in a hybrid angiosuite: Challenges and opportunities. Phys Med. 2020;76:77-84.