Implementering av Helhetlig Støtte System i barnevernet

I perioden 2011 til 2014 gjennomførte Bufetat Region-Nord et omfattende arbeid for å heve kvaliteten i sine barneverninstitusjoner. Implementeringen ble kalt Helhetlig Støtte System (HSS). Hvordan ble implementeringen gjennomført og hvilke resultater gav den?

Innledning

I en norsk undersøkelse fra 2015 møtte 76 % av barn og unge i barneverninstitusjoner i Norge kriteriene for en eller flere psykiske lidelser. Det betyr at en høy andel barn og unge i institusjon trenger hjelp for sine psykiske helseutfordringer (Jozefiak, Kayed, Rimehaug, Wormdal, Brubakk & Wichstrøm, 2015; Kayed, Jozefiak, Tjelflaat, Brubakk & Wicstrøm, 2015). Den høye forekomsten er belastende for barn og unge og gir store faglige utfordringer for ansatte og ledere i barnevernet. Resultatene samsvarer med tidligere psykologisk forskning (Kjellsberg og Nygren, 2004; Bragvin, 2007) og med offentlige utredninger som over år har pekt på store behov for kvalitetsheving av praksis både i kommunalt og statlig barnevern (NOU, 2009-22; NOU, 2009: 8; Prop. 106 L, 2012-2013). For å kunne gi effektiv og god hjelp trenger ansatte i barnevernet spesifikk kompetanse rettet mot sammensatte emosjons- og samspillsproblemer. Det er dermed stort behov for å implementere effektive kunnskapsbaserte intervensjoner i tjenestene for barn og unge, og samtidig sikre at best mulig kvalitet i intervensjoner etterleves og opprettholdes over tid. Et slikt kvalitetsløft krever omfattende endringstiltak på flere nivå i organisasjonen.

Kunnskapsbasert praksis i arbeidet med barn og unge

Psykologisk forskning peker på hvilken behandling som bør implementeres for ulike målgrupper av barn, unge og foresatte (Kendall, 2011; Weizs & Kazdin, 2010; Ogden, Bjørnbekk, Kjøbli, Patras, Christiansen, Taraldsen, Tollefsen, 2012). På tross av dette er det et stort gap mellom anbefalte tiltak og hva som faktisk tilbys (Kazdin 2008; McHugh & Barlow, 2012; Shafran, Clark, Fairburn, Arntz, Barlow, Ehlers, Freeston, Garety, Hollon, Øst, Salkovskis & Wilson, 2009). Manglende bruk av anbefalte tiltak for barn og unge med psykiske plager innen barnevern er sammensatt. Vi kan påpeke at 1) det er for lite fokus på kunnskapsbasert praksis og utilstrekkelig ferdighetstrening i grunnutdanningene (Aarons, Farahnak & Ehrhart 2014; Edmunds, Beidas & Kendall, 2013), 2) resultater fra behandlingsforskning når av forskjellige grunner ikke frem til praksisfeltet (Fixsen, Blase, Van Dyke 2019), 3) metoder velges ut i større grad ut fra personlige preferanser istedenfor anbefalte retningslinjer og 4) organisasjonskultur, læringsmiljø og lederstøtte legger i for liten grad til rette for bruk av kunnskapsbasert praksis (Sørlie, Ogden, Solholm & Røyrhus Olseth, 2010). Det er nødvendig å forstå mer av hvilke faktorer som påvirker gapet mellom faglige/politiske anbefalinger og praksis ved å tilrettelegge for god implementeringsforskning (Colditz 2012; Fixsen et al, 2019).

Bufetat region Nord: Mandatet

I Bufetat region Nord var det 12 institusjoner hvor ledelsen ønsket å implementere kunnskapsbaserte metoder for å heve kvaliteten i egen institusjonsdrift. Begrunnelsen var målgruppenes store utfordringer samt relativt store interne variasjoner i institusjonstilbudet. Regionsledelsen ønsket også å innføre felles systemer for å kunne dokumentere og evaluere klientarbeidet. I mandatet fra 2010 ønsket regionen «å legge til rette for en gjennomgripende og konsistent dokumentasjon knyttet til metoder, evaluering og praksis» ved alle sine barneverninstitusjoner. Som svar ble Helhetlig Støtte System (HSS) implementert ved alle de statlige barnevernsinstitusjonene i regionen fra våren 2011.
HSS ble utviklet som en sammensatt implementering av systematiske tiltak for opplæring, trening og veiledning av personell på organisasjon-, leder-, personal- og klientnivå i barnevernet (Matre, Bragvin, Jensen & Midtskogen, 2005; Matre & Jensen 2012; Neumer, Raknes, Martinsen, Haugland, Matre, og Dahl 2013).
I HSS var målsettingen å utvikle kvaliteten i tjenester gjennom systematisk trening og veiledning i kognitiv atferds terapi (KAT). Opplæringen besto av en spesifikk kartleggings- og behandlingsmodul med vekt på systematikk, kunnskapsbaserte tiltak og evaluering av måloppnåelse. Regelmessig opplæring og trening med systematisk veiledning av terapeuter er en grunnleggende forutsetninger for å oppnå varig kvalitetsheving (Edmunds et al., 2013). HSS gikk over fire år med målinger av terapeututvikling hvert halvår. Dette gjør det mulig å si noe om etterlevelse av metoder og terapeutenes utvikling.

Utvikling av kompetanse, målrettethet og jobbtilfredshet hos terapeuter
Innføring av prinsipper og basisferdigheter i kognitiv atferdsterapi for ulike målgrupper er sentralt i implementeringen av HSS. I tillegg integreres modeller som; 1) High Performance Cycle (HPC) (Locke & Latham, 2013) og 2) Deklarativ, Prosedural, Refleksjonsmodellen (DPR) (Kolb 1984; Schön 1987; Milne & Reiser 2017; Bennet-Levy, Thwaites, Haarhof, & Perry, 2015).
HPC ble utviklet av Locke og Latham (1990; 2013) og er en overordnet rammemodell med faktorer som predikerer, og modererer ansattes prestasjoner i jobben og deres jobbtilfredshet. Modellen beskriver også flere sentrale mekanismer og rammefaktorer som påvirker krav og mål som er viktige for høyere prestasjon og jobbtilfredshet hos terapeutene. Innsats, utholdenhet, utfordrende mål og målorientering er eksempler på sentrale faktorer som medierer høyere prestasjoner. Faktorer som påvirker prestasjoner og jobbtilfredshet er lederstøtte og belønningssystemer.
HPC predikerer at jobbprestasjoner fører til jobbtilfredshet, som gir en større forpliktelse til organisasjonen og økt vilje til å sette utfordrende mål og følge krav til jobbutførelsen. Denne prosessen skaper en positiv selvforsterkende sirkel. HPC omfatter dermed både medarbeidere og ledere, hvor alle bidrar til å skape et organisasjonsklima for økt jobbtilfredshet og bedre jobbprestasjoner.
DPR modellen består av tre kjerneaktiviteter i kompetanseutvikling; utvikling av kunnskaper (deklarativ kompetanse), klinike ferdigheter (prosedural kompetanse) og egen refleksjonskompetanse. Bennet-Levy og andre har satt sammen denne modellen basert på bidrag fra mellom annet Kolb (1984) og Schøn (1983). Denne har gitt sentrale pedagogiske bidrag til læring og terapeututvikling. DPR modellen viser hvordan veiledning og kompetanseutvikling kan legges opp i forhold til ulike nivåer av kunnskapsforutsetninger hos terapeuter.

Artikkelens formål er å beskrive erfaringer og resultater fra implementeringen av sammensatte tiltak knyttet til kompetanseheving i KAT for ansatte i Bufetat Region-Nord. Opplæring og trening for psykologer og miljøterapeuter i barnevernsinstitusjoner krever en systematisk og organisert implementering som her består av ulike opplærings- og veiledningsmoduler i HSS. Vi presenterer først en kort oppsummering av resultater av tiltak rettet mot ledelse og ansatte, og drøfter deretter noen styrker og svakheter vi erfarte i gjennomføringen av implementeringen.

Metode

Deltakere

Utvalget besto av 320 ansatte og 12 institusjonsledere (62% kvinner og 38% menn), som alle fikk opplæring i modulbasert kognitiv miljøterapi og systematisk kartlegging. I alt hadde cirka 70% høyskole eller høyere universitetsutdannelse. Utvalget ble redusert til 230 ansatte i 2012 som følge av etatens arbeid med «budsjett i balanse» hvor flere oppgaver ble overført til kommunene. Over 54% hadde inntil seks års erfaring i samme eller tilsvarende virksomheter og 58% arbeidet i turnus.

Prosedyre

Datainnsamlingen på personalnivå ble gjennomført årlig i perioden 2011 – 2014 som en nettbasert survey undersøkelse. I tillegg ble det samlet inn data fra årlige strukturerte intervjuer med ledere og ansatte på hver institusjon og fra selvutfyllingsskjemaer for egen terapeututvikling hvert halvår. Ledernes egen plan, rapport og evaluering av den lokale implementeringen ble skrevet i en egen feltrapport. I ledersamlinger (kalt målting og resultatoppfølginger) ble implementeringsframdriften beskrevet i feltrapporten gjennomgått, evaluert og gitt tilbakemeldinger på fire ganger hvert år.

Instrumenter

Måleinstrumentene ble gitt til ulike målgrupper, i ulike formater og repetert over faser. Se tabell 1. Måleinstrumentene er vel gjennomprøvde med akseptabel til høy validitet og reliabilitet.

Tabell 1 Evalueringsinstrumenter i HSS

Empowered Thinking Questionnaire (ETQ) er en Questback undersøkelse på nett sammensatt av fem instrumenter. Undersøkelsen består av 133 spørsmål og gir informasjon om 1) lederstøtte, 2) målrettethet 3) mestringstro, 4) tilknytting til organisasjonen (Locke & Latham 1990, 2013; Bandura, 1997), 5) jobbengasjement, 6) jobbtilfredshet, 7) fornøydhet (Schaufeli & Bakker, 2003), 8) målorientering (VandeWalle, 2001), 9) tankestil (Wells & Cartwright-Hatton, 2004) og 10) KAT praksis ved virksomheten.
Site Visit Questionnaire (SVQ) gjennomføres årlig som strukturert intervju med ledere og personell og består av 180 spørsmål. Intervjuet består av 11 hovedkategorier som dekker; 1) administrative, personal og økonomiske forhold, 2) kartleggingspraksis, 3) analyse, 4) kasusfomulering, 5) målarbeid (spesifikt om brukermedvirkning), 6) generelle tiltak, 7) bruk av KAT spesifikke metoder, 8) evaluering, 9) om en setter mål for egen terapeututvikling, 10) fornøydhet med implementeringen, 11) nytte og forslag til forbedringsområder til neste intervju. Intervjuet har både forhåndsdefinerte kategorier (skåres fra 1-5), kommentarfelter og åpne spørsmål. På systematikk og KAT spesifikke områder (syv områder til sammen) beregnes skår for hvert delområde samt en samleskår for alle syv områdene.
Cognitive Therapy Adherence and Competence Scale (CTACS) (Liese, Barber & Beck, 1995) er et selvevalueringsskjema som vurderer egen etterlevelse og kompetanse i kognitiv atferdsterapi med spørsmål om struktur, allianse og relasjon, kasusformulering og spesifikke KAT metoder. I tillegg er det ett overordnet spørsmål hvor respondenten helhetlig vurderer egen KAT utøvelse. En norsk versjon tilpasset kognitiv miljøterapi ble benyttet (Nordahl, Nysæter & Mikkelsen, 2006).
Evidence-Based Practice Attitude Scale (EBPAS) er et selvrapportskjema hvor respondenten skårer holdninger til kunnskapsbasert praksis (KBP) innenfor 1) krav til bruk av KBP, 2) intervensjonens appell, 3) åpenhet til KBP og 4) holdninger til forskningsbaserte intervensjoner (Aarons, 2004).
Opplæring, trening og vedlikehold av terapeutferdigheter
Opplæringen og treningen av alle ansatte ble gitt som 14 lokale samlinger de to første årene med seks fordypningssamlinger regionalt i samme periode. Samlingene regionalt var for et utvalg terapeuter (kjernegruppe) med fordypning i kartlegging, evaluering og dokumentasjon.

Det første året av HSS implementeringen fokuserte på opplæring og trening av grunnleggende ferdigheter i kartlegging med anerkjente instrumenter og direkte observasjonsmetodikk, kasusformulering med vekt på funksjonell analyse og systematisk målarbeid med barn, unge og foresatte. Alle fikk generell kunnskap om kartlegging, trening i felles kasusformulering ved hjelp av den kognitive diamanten, trekolonne skjema, livsløpskartlegging og individuelle styrker og sårbarheter. Alle fikk også opplæring og trening i praktisk målarbeid, med innføring av periodeplan som felles metode.
Formålet med en felles kasusformulering var at alle fikk økt forståelse for utløsende og opprettholdende faktorer og å tilrettelegge for samarbeide om felles prosjekt og innsats mellom terapeut, barnet, ungdommen og deres foresatte, med mål om å etablere brukerstyrte endringsmål (Kuyken, Padesky & Doodly 2009; Skjerve 2011). Opplæringen og treningen i det systematiske målarbeidet la vekt på at barnet, ungdommen og foresatte selv setter personlige mål som utformes spesifikt i jeg form og i presens. Målet var å fokusere på atferd og tanker som det er mulig å endre. Det ble også lagt til rette for en aktiv målevaluering og å øke brukerdeltagelsen og forpliktelsen i eget endringsarbeid (Matre, Dahl, Jensen, & Nordahl, 2013). Kjernegruppen fikk i regionale samlinger utvidet kompetanse og trening for å screene og dokumentere de vanligst forekommende emosjonelle problemene hos barn og unge.

Fokuset andre året var bruk av KAT som verktøy for emosjonsregulering med økt forståelse for bakenforliggende faktorer av emosjonell karakter som ofte er årsak til atferds- og samspillsproblemer hos barn, unge og foresatte (Chorpita, Daleiden & Weizs, 2005; Mennin, Ellard, Fresco & Gross, 2013). Modulene besto av trening innenfor kognitiv atferdsterapi for de vanligste psykiske utfordringene hos barn og ungdom; 1) depresjon, 2) angst, 3) traume og 4) atferd- og samspillsproblemer.
Tredje og fjerde års implementering ble rettet mot vedlikehold av ferdigheter og opplæring og trening av framtidige veiledere. Målet var å ivareta kvalitetsutviklingen via de lokale veilederne, som så kunne vedlikeholde og videreutvikle de nye ferdighetene hos ansatte ved alle institusjonene innenfor KAT basert miljøterapi. Veilederutdanningen gav innføring i veiledningens oppgaver og struktur, ulike former for intervensjoner i veiledning, veiledning i grupper, og hvordan gi og motta veiledning og tilbakemeldinger. Veilederne i kognitiv miljøterapi sto for vedlikeholdsarbeidet med HSS for å sikre kvalitet i utførelse på de ulike institusjonene.
Basisopplæringen og veilederutdanningen ble i 2012 og 2013 godkjent som videreutdanning ved UiT, campus Harstad. Veilederutdannelsen kvalifiserte til godkjent veileder i kognitiv miljøterapi i Norsk Forening for Kognitiv Terapi (NFKT).

Lederstøtte

I tillegg til systematisk opplæring og veiledning er lederforankring og regelmessig lederstøtte grunnleggende for varig kvalitetsheving i den daglige driften (Fixsen et al. 2019; Sørlie et al., 2010). På ledernivå ble det årlig gjennomført tre resultatoppfølginger med oppfølging av den enkelte institusjonsleders virksomhetsmål. I det årlige «Måltinget» satte toppledelsen i regionen forpliktende mål for hele det kommende året, som den enkelte institusjonslederen forpliktet seg å følge opp i sin virksomhet. Innsats og måloppnåelse ble evaluert i henhold til spesifikk milepælsplan konkretisert i Måltinget og i foregående resultatoppfølging. Den enkelte leders feltrapport ble i resultatoppfølgingene bearbeidet i mindre grupper, slik at hver enkelt på bakgrunn av tilbakemeldinger kunne spesifisere egen institusjons mål og gjøre nødvendige justeringer i framdriften (Stenberg, 2014). Mellom samlingene bearbeidet hver leder mål for sin virksomhet sammen med medarbeiderne på bakgrunn av tilbakemeldinger og egen forpliktelse til regionsledelsen.

Resultater

I perioden 2011-2014 kom det inn totalt 602 svar på personalnivå. Reduksjonen i antall deltagere fra 2011 til 213 var 30%. I samme periode ble det samlet inn 471 selvevalueringsskjemaer knyttet til kompetanseutvikling og holdninger til kunnskapsbasert praksis.
I løpet av implementeringen økte opplevd lederstøtte rapportert av personalet med 25%. Målrettethet og måloppnåelse økte med 35%, og støtte til utførelse av kognitiv miljøterapi økte med 15%. I samme periode økte jobbengasjement med 20%.
Personalet rapporterte selv en 22% relativ kompetanseøkning (p< .001) på egen KAT utøvelse målt med CTACS. I HSS ble holdningene til intervensjonene mer positive i løpet av implementeringsperioden.
Ansatte og ledere skåret sin virksomhet på flere spørsmål gjennom det strukturerte intervjuet Site-Visiting Questionnaire (SVQ). Gjennomsnittskåren knyttet til systematikk og bruk av KAT for 2011 var 23,1 med laveste skår for en av virksomhetene på 19 og høyeste på 25. I 2012 var gjennomsnittsskåren 28,3 med høyeste skår på 30 og laveste på 27. I 2013 var gjennomsnittskåren på 31,6 med en virksomhet som skårer høyest med 34 mens to virksomheter skårer lavest med 30. Dette indikerer at det i implementeringsperioden ble en betydelig og signifikant økning i systematisk bruk av kognitiv miljøterapi (p<.05) og at det ble mindre forskjell i praksisen mellom virksomhetene.
Det ble gjennomført en SEM analyse av HPC modellen (Locke & Latham, 2013) knyttet til personaldata på bakgrunn HSS over tre måletidspunkt i perioden 2011-2013 (Kylling, 2014). SEM analysen ble gjennomført ved hjelp av M+ og vi fant at HPC modellen gav veldig god fit indeks: χ²[368] = 1856,57, p < .001; CFI= .817 og TLI=.570, RMSEA= .112 CI (90%) = .107-.117 (Se figur 1).

Resultatene viser signifikante sammenhenger mellom mål og prestasjon (b = .54), prestasjon og betinget belønning (b = .85), betinget belønning og jobbtilfredshet (b = .94), betinget belønning og jobbengasjement (b = .58) og jobbtilfredshet og konsekvenser (b = .88). De sentrale faktorene i HPC modellen viser en signifikant sammenheng og illustrerer den relative betydningen av prediktorer og moderatorer som ligger bak jobbengasjement. Vi fant en sterk sammenheng mellom veiledning/tilbakemeldinger og spesifikke mål (b = .61), og veiledning/tilbakemeldinger kan sannsynligvis være en moderator mellom spesifikke mål og jobbutførelse.

Diskusjon

HSS implementeringen med basis i kompetanseheving innen KAT var utfordrende på flere områder. Dette til tross viser undersøkelsene at det ble mer samordnet faglig arbeid og i høyere grad en fellesfaglig plattform i regionen. Lederne ble mer samkjørte, med høyere grad av erfart lederstøtte hos medarbeiderne. Undersøkelsene viste at det ble mer positive holdninger til kunnskapsbaserte metoder og at en i større brukte tilstandstilpassede metoder på en mer målrettet måte. Dette medførte høyere forståelse for bakenforliggende emosjonelle faktorer som årsak til barn og unges dysfunksjonelle atferd og samspill. Svarene viser økt bruk av systematisk kognitiv miljøterapi og at det ble etablert en styrket faglig og driftsmessig internkontroll. I samme periode fikk man en merkbar stabilisering av drift med økt kapasitetsutnyttelse og færre uønskede hendelser ved regionens institusjonstiltak.
I prosjektperioden hadde lederne et høyt fokus på bruk av kunnskapsbasert praksis, noe personalet oppfattet som økt lederstøtte. Spesielt ser vi at veiledning og hyppige tilbakemeldinger er en viktig moderator mellom spesifikke mål og prestasjoner. Dette kan indikere at veiledning bør ha en fremtredende rolle i implementering.
Selv med mye omstilling i institusjonsapparatet økte både jobbengasjement, motivasjon og målrettethet i personalet. Noe av utfordringen i implementeringen var imidlertid endringer i organisasjonen i form av nedbemanning og flytting av kompetanse innad i Bufetat. Slike endringer påvirker og stiller store krav til fleksibilitet og tilpassing i implementeringsprosessen.
Det ble innført en minstestandard kartlegging og en systematisk arbeidsmodell for utøvelse av klientarbeidet ved institusjonene, noe som var et overordnet mål for regionsledelsen for å kunne dokumentere resultater av tiltak på klientnivå og sammenligne resultater mellom virksomheter.
Studien har gitt oss mulighet til å observere hva som er sentralt i arbeid med implementering i store organisasjoner og viser noen faktorer som kan ha betydning for å oppnå suksess med implementeringsprosesser i naturlige norske settinger. Her vil vi trekke frem detaljerte målrettede løsningsbeskrivelser, systematisk monitorering og tett oppfølging i form av praktisk øvelse og trening med systematisk veiledningsstøtte.
Svakheter ved implementeringen er blant annet stort frafall med en reduksjon i antall respondenter på cirka 30%. Ettersom reduksjonen hovedsakelig var betinget av ytre årsaker antar vi at det ikke hadde avgjørende betydning for hovedfunnene i undersøkelsen. En annen svakhet i undersøkelsen er at vurdering av kompetanse og etterlevelse kun ble basert på selv-evaluering uten muligheter for bruk av eksterne observatører. Den miljøterapeutiske utførelsen ble imidlertid styrket gjennom omfattende øving og trening ved 20 treffpunkt i lokale samlinger og i de regionale kjernegruppesamlingene, hvor man fikk tilbakemeldinger på eget arbeid i grupper eller i plenum. En tredje svakhet ved undersøkelsen er at de store omstillingene i organisasjonen kan ha redusert ansattes og ledernes fokus på selve utviklingsarbeidet i et så langvarig implementeringsprosjekt.

Konklusjon

HSS var et betydelig implementeringsprosjekt som omfattet flere intervensjonsnivåer; for ansatte, ledere og barn og unge ved barnevernsinstitusjoner. Spesielt viktig for implementeringen var den tette oppfølgingen av ledere og ansatte med fokus på spesifikk kompetanseheving. Som følge av dette økte målrettethet og jobbtilfredshet. For implementeringen av HSS har det vært av avgjørende betydning å få en tydelig bestilling fra oppdragsgiver, høy grad av lederstøtte og lederinvolvering ved institusjonene, samt systematisk og kontinuerlig veiledning og evaluering av personalet. En analyse av HPC modellen benyttet i implementeringen viser et godt samsvar mellom implementeringsoppgavene og jobbtilfredshet, som i neste omgang dannet grunnlag for ytterligere fagutvikling i institusjonene. Region nord videreutviklet praksisen med dialektisk atferdsterapi og en systematisk overførings og generaliseringsmetodikk med standardisering i forløpet ved institusjonsplassering. Dette er nå den nasjonale standarden for institusjonsarbeid i Bufetats omsorgsinstitusjoner.

Referanser

Aarons, G. (2004). Mental Health Provider Attitudes Toward Adoption of Evidence-Based Practice: The Evidence-Based Practice Attitude Scale (EBPAS). Mental Health Services Research, 6(2), 61-74. doi: 10.1023/b:Mhsr.0000024351.12294.65

Aarons, G. A., Farahnak, L. R., & Ehrhart, M. G. (2014). Leadership and Strategic Organizational Climate to Support Evidence-Based Practice Implementation. In R. S. Beidas & P. C. Kendall (Eds.), Dissemination and Implementation of Evidence-Based Practices in Child and Adolescent Mental Health. Oxford: Oxford University Press.

Backe-Hansen, E. (2009). Hva innebærer kunnskapsbasert barnevern? Fontene Forskning, 2.

Bandura, A. (1997). Self-Efficacy. The Exercise of Control. New York: W.H. Freeman and Company.

Bennet-Levy, J., Twaites, R., Haarhof, B., & Perry, H. (2015). Experiencing CBT from the Inside Out: A Self-Practice/Self-Reflection Workbook for Therapists. Self-Practice/Self-Reflection Guides for Psychotherapists. New York: Guilford Press.

Bragvin, U. E. (2007). Utbredelse av følelsesmessig og atferdsmessig problembelastning hos jenter og gutter i barneverninstitusjon. (Mastergrad i sosialt arbeid), HiOA, Oslo, Norway. Lastet fra: https://www.bufdir.no/bibliotek/Dokumentside/?docId=BUF00001004

Chorpita, B. F., Daleiden, E. L., & Weizs, J. R. (2005). Identifying and Selecting the Common Elements of Evidence Based Interventions: A Distillation and Matching Model. Mental Health Services Research, 7(1). doi:10.1007/s11020-005-1962-6

Christiansen, Ø., Bakketeig, E., Skilbred., D., Madsen, C., Havnen, K. J. S., Aarland, K., & E., B. H. (2015). Forskningskunnskap om barnevernets hjelpetiltak.

Colditz, G. A. (2012). The Promise and Challenge of Dissemination and Implementation Research. In R. C. Brownson, G. A.

Colditz, & E. K. Proctor (Eds.), Dissemination and Implementation Research in Health. Translating Science to Practice. Oxford Oxford University Press.

Edmunds, J. M., Beidas, R. S., & Kendall, P. C. (2013). Dissemination and Implementation of Evidence-Based Practices: Training and Consultation as Implementation Strategies
Clinical Psychology, 20(1), 152-165. doi: 10.1111/cpsp.12031

Kjelsberg E, Nygren P. The prevalence of emotional and behavioural problems in institutionalized childcare clients. Nord J Psychiatry 2004;58; 319-325. Oslo. ISSN 0803-9488.

Fixsen, D. L., Blase, K. A., Naoom, S. F., & Wallace, F. (2009). Core implementation Components. Research on Social Work Practice, 19(5), 531-540. https://doi.org/10.1177/1049731509335549

Fixsen, D. L., Blase, K. A., & Van Dyke, M. K. (2019). Implementation. Practice and Science. Lastet fra; http://www.activeimplementation.org

Jozefiak, T., Kayed, N. S., Rimehaug, T., Wormdal, A. K., Brubakk, A. M., & Wichstrøm, L. (2015). Prevalence and comorbidity of mental disorders among adolescents living in residential youth care. European Child & Adolescent Psychiatry, 25, 33-47. doi:10.1007/s00787-015-0700-x

Kayed, N.S., Jozefiak, T., Tjelflaat, T., Brubakk, A.M & Wicstrøm, L. (2015). Psykisk helse hos barn og unge i barneverninstitusjoner. NTNU; Regionalt kunnskapssenter for barn og unge. – Psykisk helse og barnevern.
Kazdin, A. E. (2008). Evidence-Based Treatment Practice. New Opportunities to Bridge Clinical Research and Practice, Enhance the Knowledge Base, and Improve Patient Care. American Psychologist, 63(3), 149-159. doi: 10.1037/0003-066X.63.3.146

Kendall, P. C. (2011). Child and adolescent therapy: Cognitive-behavioral procedures (3rd ed.). New York: Guilford Press.

Kolb, D. A. (1983). Experiential Learning: Experience as the Source of Learning and Development. London: Prentice Hall.

Kuyken, W., Padesky, C. A., & Dudley, R. (2009). Collaborative case conceptualization: Working effectively with clients in cognitive-behavioral therapy. New York: The Guilford Press.

Kylling, R. (2014). Motivasjon, målrettethet, prestasjon og engasjement i jobbsammenheng. Gjennomgang av teori på området og analyse av The High Performance Cycle i barneverns-institusjoner, Bufetat region Nord. (Mastergrad i MALK), HiOA, Oslo, Norway.
Lastet fra: https://oda-hioa.archive.knowledgearc.net/handle/10642/2174

Locke, E. A., & Latham, G. P. (1990). A theory of Goal setting & Task performance. Englewood Cliffs, NJ: Prentice Hall.

Locke, E. A., & Latham, G. P. (2013). New Developments in Goal Setting and Task Performance. New York and London: Routledge. Taylor & Francis Group.

Matre, P. J., Bragvin, U., Jensen, R., & Midtskogen, B. (2005). Lokal praksisutvikling – universell nytte? Tidsskrift for Norges Barnevern, nr. 3, 41-51.

Matre, P. J., Dahl, D., Jensen, R., & Nordahl, H. M. (2013). Working with goals in therapy. In E. A. Locke & G. P. Latham (Eds.),

New Developments in Goal Setting and Task Performance. New York: Routledge Academic

Matre, P. J., & Jensen, R. (2012). Kognitiv Miljøterapi. In K. H. Martinsen, R. (Ed.), Håndbok i Kognitiv Atferdsterapi for barn og unge. Oslo: Gyldendal.

McHugh, R. K., & Barlow, D. H. (2012). Training in Evidence-Based Psychological Interventions. In R. K. McHugh & D. H. Barlow (Eds.), Dissemination and Implementation of Evidence-Based Psychological Interventions. Oxford: Oxford University Press.

Mennin, D. S., Ellard, K. E., Fresco, D. M., & Gross, J. J. (2013). United We Stand: Emphasizing Commonalities Across Cognitive-Behavioral Therapies. Behavior Therapy, 44, 234-248.
doi: 10.1016/j.beth.2013.02.004

Milne, D. L., & Reiser, R. P. (2017). A Manual for Evidence-Based CBT Supervision. NJ: John Wiley & Sons.

Neumer, S. P., Raknes, S., Martinsen, K., Storm Haugland, B., Matre, P. J., & Dahl, K. (2013). Oppstart av tre KAT-baserte forskningsprosjekter for barn og unge – finansiert av Norges Forskningsråd. Tidsskrift for Norsk Kognitiv Forening, 4, 6-19.

Nordahl, H. M., Nysæter, T. E., & Mikkelsen, B. (2006). Cognitive Therapy Adherence and Competence Scale. Tidsskrift for Kognitiv Terapi, 3.

Ogden, T., Bjørnbekk, G., Kjøbli, J., Patras, J., Christiansen, T., Taraldsen, K., & Tollefsen, N. (2012). Measurement of Implementation components ten years after a nationwide introduction of empirically supported programs – a pilot study Implementation science, 7(49). doi:10.1186/1748-5908-7-49

Schaufeli, W., & Bakker, A. (2003). Utrecht Work Engagement Scale (UWES). Preliminary Manual. Version 1, November 2003. Lastet fra; Occupational Heath Psychology Unit.

Schön, D. A. (1987). Educating the Reflective Practitioner. San Francisco: Jossey-Bass.

Shafran, R., Clark, D. M., Fairburn, C. G., Arntz, A., Barlow, D. H., Ehlers, A., Wilson, G. T. (2009). Mind the gap: Improving the dissemination of CBT. Behavior Resaerch and Therapy, 47, 902-909. doi: 10.1016/j.brat.2009.07.003

Skjerve, J. (2011). Kasusformuleringer i kognitiv atferdsterapi med barn og unge – et nyttig og praktisk hjelpemiddel? Tidsskrift for Norsk Psykologforening, 48(1), 16-20.

Stenberg, J. E. (2014). Resultatledelse i teori og praksis (2nd ed.): Considium Consulting Group AS

Sørlie, M.-A., Ogden, T., Solholm, R., & Røyrhus Olseth, A. (2010). Implementeringskvalitet-om å få tiltak til å virke: En oversikt. Tidsskrift for Norsk Psykologforening, 47, 315-321.

Vandewalle, D. (2001). Goal Orientation: Why Wanting to Look Successful Doesn’t Always Lead to Success. Organizational Dynamics, 30(2), 162-171. doi: http://dx.doi.org/10.1016/S0090-2616(01)00050-X

Weisz, J. R., & Kazdin, A. E. (2010). Context, Background and Goals. In J. R. Weisz & A. E. Kazdin (Eds.), Evidence-based psychotherapies for children and adolescents (2nd ed.). New York, NY: Guilford Press.

Wells, A., & Cartwright-Hatton, S. (2004). A short form of the metacognitions questionnaire: properties of the MCQ-30. Behaviour Research and Therapy, 42, 385-396.
doi: 10.1016/S0005-7967(03)00147-5

Øvrige referanser:
Norges offentlige utredninger 2009: 22. Det du gjør, gjør det helt. Bedre samordning av
tjenester for utsatte barn og unge
Norges offentlige utredninger 2009: 8. Kompetanseutvikling i barnevernet Kvalifisering til arbeid i barnevernet gjennom praksis nær og forskningsbasert utdanning
Prop. 106 L (2012–2013). Endringer i barnevernloven