Handleiding voor inclusieve ML: AutoML

Bij Google hebben we goed nagedacht over de principes die ons op het gebied van artificial intelligence (AI) motiveren en ons werk vormgeven. We zetten ons in voor een mensgerichte aanpak die de nadruk legt op verantwoordelijke AI-toepassingen en producten die voor alle mensen en alle contexten goed werken. Ons streven naar verantwoordelijke, inclusieve AI vormt de kern van alle machinelearning-producten uit de AutoML-serie en komt op de volgende manieren tot uiting.

Snel aan de slag

Dankzij AutoML kunnen uiteenlopende organisaties en individuen op een eenvoudige manier gebruikmaken van AI, zonder programmeercode of kennis van machine learning.

AutoML-lead

Met behulp van algoritmische technieken, zoals Transfer Learning en Learning to Learn, verlaagt AutoML de drempel om aan de slag te gaan, omdat organisaties hun eigen modellen kunnen ontwerpen met kleinere datasets dan normaal gesproken nodig zijn.

Kleding

AutoML biedt de mogelijkheid op eenvoudige wijze betekenisvolle en contextueel relevante ML-systemen te ontwikkelen. Als u bijvoorbeeld ziet dat ons algemene model geen jargon of taal in uw domein vastlegt, kunt u een eigen model maken met de taalkundige kenmerken die belangrijk voor u zijn. Als u vindt dat algemene classificatiemodellen voor kleding niet werken voor de kleding die door uw doelgroep wordt gedragen, kunt u een model trainen dat het beter doet.

Eerlijkheid in ML

Als onderdeel van onze missie om de voordelen van machine learning voor iedereen beschikbaar te stellen, besteden we veel aandacht aan het wegnemen van bestaande vooroordelen rond maatschappelijke categorieën die ons leven structuur geven en beïnvloeden. Bij Google wordt dit onderzoeksgebied Machine Learning Fairness (eerlijkheid in machine learning) genoemd. Op deze pagina laten we zien hoe we over dit onderwerp denken en delen we onze aanbevelingen voor het gebruik van AutoML gebaseerd op eerlijkheid in ML.

Eerlijkheid wereldwijd

Wat is eerlijkheid in machine learning?

Eerlijkheid in machine learning is een spannend en levendig onderzoeks- en discussiegebied onder wetenschappers, experts en het brede publiek. Het doel is om onrechtvaardige of bevooroordeelde behandeling van mensen met betrekking tot ras, inkomen, seksuele geaardheid, geloof, geslacht en andere kenmerken die historisch gezien in verband worden gebracht met discriminatie en marginalisatie, te begrijpen en te voorkomen, wanneer en waar deze kenmerken voorkomen in algoritmische systemen of algoritmisch ondersteunde besluitvorming.

Deze algoritmische uitdagingen komen op verschillende manieren naar voren. Dit gebeurt bijvoorbeeld in de vorm van maatschappelijke vooroordelen die onderdeel uitmaken van trainingsdatasets, beslissingen die zijn genomen tijdens de ontwikkeling van een ML-systeem of via complexe feedbackloops die ontstaan als een ML-systeem wordt geïmplementeerd.

Bij het nastreven van eerlijkheid in machine learning zien we een grote verscheidenheid aan valide perspectieven en doelen. We kunnen bijvoorbeeld ML-classificaties trainen om even goede voorspellingen te leveren in alle sociale groepen. Of we kunnen op basis van onderzoek naar de impact van historische ongelijkheid proberen ML-systemen te ontwerpen die voortaan nadelige resultaten corrigeren of afzwakken. Deze en vele andere benaderingen zijn belangrijk en vaak met elkaar verbonden.

Bekijk voor meer informatie de verantwoordelijke AI-toepassingen van Google en aanbevolen tips voor eerlijkheid, de video van Google over machine learning en menselijke vooroordelen en de tutorial 'Fairness in ML' van Moritz Hardt en Solon Barocas.

Schoenen

Eerlijkheid in ML en AutoML

In AutoML hebben we de mogelijkheid om inclusie en eerlijkheid op verschillende manieren te bevorderen. Als de machinelearning-modellen waarover u momenteel beschikt niet volledig in de behoeften van uw gemeenschap of gebruikers voorzien wegens ontbrekende of vertekenende historische gegevens, kunt u zoals eerder gezegd uw eigen modellen maken die betere resultaten leveren. In elk eigen model dat u met AutoML maakt, kunt u uw doelstellingen op het gebied van eerlijkheid dichterbij brengen door gegevens op te nemen waarmee het model in alle categorieën die relevant zijn voor uw toepassing even goede voorspellingen kan leveren. Deze op eerlijkheid gerichte acties kunnen helpen het risico te verkleinen van de volgende typen negatieve gevolgen van bepaalde ML-systemen.

Antenne

Schadelijke representatie

Dit type schade treedt op wanneer een ML-systeem negatieve stereotypen over bepaalde groepen versterkt of weerspiegelt. ML-modellen die zoekresultaten voor afbeeldingen of geautomatiseerde tekstsuggesties genereren, zijn bijvoorbeeld vaak getraind op eerder gedrag van gebruikers (bijvoorbeeld veelvoorkomende zoektermen of opmerkingen). Dit kan aanstootgevende resultaten opleveren. Bovendien kan zo'n schadelijke representatie op een bepaald moment niet alleen beledigend zijn voor een individuele gebruiker, maar ook allerlei langdurige maatschappelijke gevolgen hebben voor grote groepen mensen.

Toga's

Kansen ontnemen

Machinelearning-systemen worden steeds vaker gebruikt om voorspellingen te doen en beslissingen te nemen die in de praktijk consequenties hebben en individuen de toegang tot kansen, middelen en een goede levenskwaliteit ontnemen.

Uitroepteken

Onevenredig productfalen

In sommige gevallen is oneerlijkheid een kwestie van alledaags gebruiksgemak en toegankelijkheid. Zo constateren mensen met een donkere huid onevenredig vaak dat bepaalde zeepdispensers (met infraroodsensors) in openbare toiletten geen zeep geven.

Laten we ons dan nu bezighouden met de stappen die u kunt zetten om uw eigen modellen in AutoML eerlijker te ontwerpen en ze in uw ML-systemen te gebruiken. We richten ons op het beperken van vertekening in trainingdatasets en het evalueren van uw eigen modellen op ongelijkheid in de uitvoering. Ook bekijken we waar u rekening mee moet houden bij het gebruik van uw eigen model.

Wat zijn de eerste stappen bij het beoordelen van uw toepassing op eerlijkheid in machine learning?

Houd rekening met de context en het gebruik van uw product.

Gebruiksgemak

Zoals we al zagen, is eerlijkheid in sommige gevallen een kwestie van alledaags gebruiksgemak en toegankelijkheid.

Wetgeving

In andere gevallen valt eerlijkheid samen met wetten en voorschriften die het gebruik beperken van gegevens die leiden tot directe identificatie van of samenhang met bepaalde gevoelige kenmerken, zelfs als die gegevens statistisch relevant zouden zijn. Mensen met enkele van die kenmerken kunnen in bepaalde contexten wettelijk zijn beschermd tegen discriminatie (bijvoorbeeld 'beschermde klassen').

Ballonnen

In andere gevallen is oneerlijkheid echter niet meteen duidelijk, maar moeten genuanceerde sociale, politieke en ethische vragen worden gesteld over hoe uw ML-systeem in de praktijk kan worden gebruikt en hoe het in de loop van de tijd gevoelig kan worden voor vooroordelen. Als u AI bijvoorbeeld gebruikt voor het genereren van geautomatiseerde tekst of vertalingen, is het belangrijk u af te vragen welke soorten vertekening of stereotypen ethisch problematisch kunnen zijn (zoals het leggen van verbanden tussen geslacht en bepaalde banen of geloof en politieke opvattingen).

Als u een eigen ML-systeem gaat ontwerpen, is het raadzaam u te verdiepen in de regelgeving inzake discriminatie in uw eigen regio én op de locaties waar uw app wordt gebruikt. Kijk ook naar bestaande onderzoeken of productinformatie in uw domein als u meer wilt weten over eerlijkheid in ML.

Stel uzelf de volgende belangrijke vragen

Hieronder volgen een paar vragen die uw aandacht verdienen. Als u een van deze vragen met 'ja' beantwoordt, is het wellicht raadzaam uw toepassing grondiger te analyseren op mogelijke problemen die te maken hebben met vooroordelen.

Wordt in uw toepassing gebruikgemaakt van een van de volgende gegevens: biometrische gegevens, ras, huidskleur, geloof, seksuele geaardheid, sociaal-economische status, inkomen, land, locatie, gezondheid, taal of dialect?

Gebruikt u in uw toepassing of product gegevens die een sterke samenhang vertonen met een van de hierboven genoemde persoonlijke kenmerken? (Postcodes en andere georuimtelijke gegevens hangen bijvoorbeeld vaak samen met sociaal-economische status en/of inkomen. En beeld- en videogegevens kunnen informatie onthullen over ras, geslacht en leeftijd.)

Kan uw toepassing of product een negatieve invloed hebben op de economische kansen of andere belangrijke mogelijkheden van individuen?

Laten we nu kijken naar wat u kunt doen om eerlijkheid in machine learning te bevorderen tijdens de verschillende stappen in de AutoML-workflow.

Gegevensrichtlijnen

We beginnen met de eerste stap in AutoML: Het samenstellen van uw trainingsgegevens. Hoewel trainingsgegevens nooit honderd procent 'onbevooroordeeld' kunnen zijn, kunt u de kans op het ontwerpen van een beter, meer inclusief product aanzienlijk vergroten als u mogelijke bronnen van vertekening in uw gegevens zorgvuldig overdenkt en stappen zet om deze aan te pakken.

Welke soorten vertekening kunnen er in gegevens voorkomen?

Vertekende distributie

Vertekende verdeling van gegevens

Dit gebeurt als uw trainingsgegevens niet echt representatief zijn voor de bevolkingsgroep die u met uw product wilt bereiken. Denk goed na over hoe uw gegevens zijn verzameld. Als u bijvoorbeeld een dataset heeft met door gebruikers ingezonden foto's en deze filtert op beeldhelderheid, kan dit voor vertekening zorgen omdat gebruikers met een dure camera dan oververtegenwoordigd zijn. Kijk kritisch naar de verdeling van gegevens over de groepen gebruikers die u met uw product wilt bedienen. Heeft u voldoende gegevens voor elke relevante groep? Er zijn vaak subtiele, structurele redenen waarom uw dataset mogelijk niet de volledige diversiteit van uw toepassing in de echte wereld vastlegt.

Om dit te verhelpen, kunt u proberen gegevens uit meerdere bronnen te verzamelen of gegevens zorgvuldig te filteren om ervoor te zorgen dat u alleen de meest bruikbare voorbeelden uit oververtegenwoordigde groepen gebruikt.

Vertekende voorstelling

Vertekende voorstelling van gegevens

Het is mogelijk dat u over voldoende gegevens beschikt voor elke demografische groep die u maar kunt bedenken, maar dat sommige groepen minder positief worden voorgesteld dan andere. Neem bijvoorbeeld een dataset van posts in een microblog over acteurs. Het is mogelijk dat u het geweldig heeft gedaan en dat mannen en vrouwen allebei met precies 50% in uw gegevens zijn vertegenwoordigd. Maar als u de content beter bekijkt, ontdekt u dat posts over actrices doorgaans negatiever zijn dan die over acteurs. Dit kan ertoe leiden dat uw model een vorm van vooroordeel op grond van geslacht leert.

Voor sommige apps hoeven verschillende voorstellingen van groepen geen probleem te zijn. Bij medische classificatie is het bijvoorbeeld belangrijk om subtiele demografische verschillen vast te leggen om nauwkeuriger diagnoses te kunnen stellen. Maar voor andere apps kunnen negatief vertekende associaties financiële of educatieve gevolgen hebben, economische kansen beperken en emotioneel en mentaal leed veroorzaken.

Kijk of u uw gegevens handmatig op dergelijke negatieve associaties kunt controleren. U kunt ook op regels gebaseerde filters toepassen om negatieve voorstellingen te verwijderen als u denkt dat dit bij het gebruik van uw app past.

Proxyvariabelen

U denkt misschien dat uw model automatisch vrij van vooroordelen is omdat u de variabelen heeft verwijderd die voor informatie over beschermde demografische gegevens staan. Veel variabelen hebben echter een sterke correlatie met demografische gegevens. Denk hierbij aan locatie, opleidingsniveau en inkomen, om er maar een paar te noemen. Als u toegang tot demografische informatie over uw gegevens heeft, is het altijd verstandig uw resultaten te analyseren op basis van deze informatie. Zo kunt u ervoor zorgen dat verschillende groepen een gelijke behandeling krijgen.

Vertekende labels

Vertekende labels

Een essentiële stap bij het maken van trainingsgegevens voor AutoML is het labelen van uw gegevens met relevante categorieën. Het minimaliseren van vertekening in deze labels is net zo belangrijk als de zorg voor representatieve gegevens. Begrijp wie degenen zijn die uw gegevens labelen. Waar bevinden ze zich? Wat is hun moedertaal? Wat is hun leeftijd en geslacht? Homogene groepen met beoordelaars kunnen leiden tot labels die onjuist of vertekend zijn, op manieren die misschien niet meteen voor de hand liggen.

In het ideale geval zijn de personen die uw gegevens labelen experts in uw domein of zorgt u voor de benodigde bijscholing. Het is ook raadzaam een secundair beoordelingsproces te hebben om de kwaliteit van labels steekproefsgewijs te controleren. Hoe moeilijker het is om de gegevens te labelen, hoe meer u zou moeten doen om te zorgen dat labelers hun taak begrijpen. Het tekenen van begrenzingsvakken en het labelen van tekstentiteiten is misschien niet voor iedereen vanzelfsprekend. Beschrijf elke taak dus in detail en bedenk van tevoren een antwoord op vragen die u verwacht. Streef in uw besluitvorming naar optimaliseren voor objectiviteit in plaats van subjectiviteit. Ook is gebleken dat het trainen van labelers op 'onbewuste vooroordelen' bijdraagt aan de kwaliteit van labels ten aanzien van diversiteitsdoelen. Ten slotte kunt u vooroordelen bij het labelingsproces beperken als u labelers de mogelijkheid geeft zelf problemen te melden en om verduidelijking te vragen over instructies.

Tip: Als u de service voor labelen door mensen in AutoML gebruikt, denk dan aan de volgende richtlijnen bij het schrijven van uw instructies.

Notitieblok

Voorzie uw labelinstructies en trainingsmaterialen van gedetailleerde en specifieke context over uw toepassing, een beschrijving van de eindgebruikers en verhelderende voorbeelden, zodat labelers beter rekening kunnen houden met de diversiteit van uw gebruikers.

Speaker

Controleer alle reacties die u van beoordelaars ontvangt om te identificeren waarover verwarring bestaat. Let ook goed op gevoelige categorieën bij het controleren, goedkeuren en afwijzen van de gegevenslabels die u terugkrijgt.

Zodra uw dataset gereed is, kunt u overwegen de splitsing tussen testen en trainen te specificeren

In de ML-beginnershandleidingen (Vision, Natural Language, Translation, Video Intelligence, Tables) bespraken we hoe uw dataset wordt verdeeld in het proces voor machine learning. Zoals vermeld, kunt u in AutoML uw dataset automatisch door Google laten splitsen of handmatig de splitsing tussen testen en trainen specificeren. Overweeg deze tweede optie als uw toepassing dat vereist.

Gegevenstest

Houd bij het handmatig splitsen van uw gegevens rekening met de richtlijnen die we tot nu toe hebben behandeld om gevarieerde en inclusieve testsets te maken. Als u alleen uw beste, meest inclusieve gegevens gebruikt om te trainen, kunt u problemen ondervinden als u gaat testen, omdat u een te rooskleurig beeld krijgt van de prestaties van uw model voor ondervertegenwoordigde subgroepen. Als u weinig gegevens over een bepaalde subgroep heeft, kunt u ervoor zorgen dat de gegevens representatief worden onderverdeeld tussen uw training- en testsets door zelf de splitsing tussen trainen en testen uit te voeren. In sommige AutoML-producten, zoals AutoML Tables, kunt u ook aangepaste wegingsfactoren voor zeldzame gegevens opgeven, zodat deze meer gewicht krijgen in het trainingsproces.

Uw trainingsgegevens controleren

  • Hebben al uw categorieën het aanbevolen aantal gegevensitems? Vertegenwoordigen uw categorieën en afbeeldingen/video's/tekst de diversiteit van uw gebruikersbestand? Is de verdeling over klassen ongeveer gelijk? Komen uw trainingsgegevens (afbeeldingen, video's, tekst, zin-paren) overeen met het type gegevens op basis waarvan uw model voorspellingen moet doen?
  • Evalueren: De prestaties van uw model beoordelen

    Om uw model te beoordelen op eerlijkheid, moet u goed nadenken over uw specifieke toepassing en over de invloed die uw model op uw eindgebruikers zou kunnen hebben als het fouten maakt. Dit betekent dat u inzicht moet hebben in de gevolgen van verschillende soorten fouten voor verschillende gebruikersgroepen. Het is belangrijk dat u hierbij nadenkt over potentiële kwesties met betrekking tot eerlijkheid. Zijn modelfouten bijvoorbeeld van invloed op alle gebruikers of zijn ze schadelijker voor bepaalde gebruikersgroepen?

    Nadat u over dit probleem heeft nagedacht, kunt u beter bepalen voor welke prestatiestatistieken u het model moet optimaliseren (bijvoorbeeld precisie versus geretourneerde relevante resultaten). U kunt bekijken wat een optimaal evenwicht hiertussen is en voorbeelden van fouten onderzoeken op eventuele vertekende resultaten.

    Toepassing: Evaluatie van paspoortfoto's

    Stel dat u een tool wilt maken waarmee mensen pasfoto's kunnen bewerken en afdrukken. Elk land heeft zijn eigen regels over foto-afmetingen, randen, acceptabele achtergrondkleuren, aanvaardbare gezichtsuitdrukkingen en items die wel of niet in beeld mogen zijn. U wilt mensen voordat ze een paspoortaanvraag indienen, waarschuwen dat hun foto mogelijk niet acceptabel is.

    Fout-positief resultaat

    Fout-positief resultaat:

    Een fout-positief resultaat doet zich in dit geval voor als een systeem een foto aanduidt als onaanvaardbaar, maar de paspoortautoriteit van het land in kwestie de foto feitelijk toch zou hebben geaccepteerd. Niet erg, de nieuwe foto is waarschijnlijk zelfs beter bruikbaar.

    Fout-negatief resultaat

    Fout-negatief resultaat:

    Een fout-negatief zou in dit geval het niet detecteren van een onbruikbare foto zijn. De klant moet kosten betalen voor het afdrukken van een foto en het insturen van een aanvraag, en die wordt vervolgens afgewezen. In het ergste geval mist de klant een geplande reis omdat het paspoort niet op tijd wordt geleverd.

    Overwegingen van eerlijkheid: In dit geval zou het belangrijk zijn om te controleren of het model vaker fout-negatieve resultaten oplevert voor bepaalde groepen mensen, bijvoorbeeld op basis van ras of geslacht. In AutoML kunt u dit doen door afzonderlijke fout-negatieven te onderzoeken op de aanwezigheid van een bepaald patroon.

    Optimalisatie: In dit geval wilt u waarschijnlijk optimaliseren voor geretourneerde relevante resultaten. Het doel is het aantal fout-negatieven te verminderen, wat in dit scenario de meer problematische fouten zijn.

    Toepassing: Contentfilter voor kinderen

    U ontwerpt bijvoorbeeld een lees-app voor kinderen en wilt een digitale bibliotheek in de app opnemen, met boeken die geschikt zijn voor die leeftijd. U wilt een tekstclassificatie ontwerpen die kinderboeken in een database met boeken voor volwassenen en kinderen selecteert op basis van de titel en een beschrijving van elk boek.

    Tekst fout-positief resultaat

    Fout-positief resultaat:

    Een fout-positief resultaat zou in dit geval een boek voor volwassenen zijn dat onjuist wordt aangeduid als een boek voor kinderen en daarom in de lees-app voor kinderen wordt opgenomen, waardoor kinderen mogelijk worden blootgesteld aan content die ongeschikt is voor hun leeftijd. Ouders zouden erg ontdaan zijn en waarschijnlijk de app verwijderen.

    Tekst fout-negatief resultaat

    Fout-negatief resultaat:

    Een fout-negatief resultaat zou in dit geval een kinderboek zijn dat onjuist wordt gemarkeerd als een boek voor volwassenen en daarom niet in de app-bibliotheek wordt opgenomen. Afhankelijk van het boek kan dit een klein ongemak zijn (bijvoorbeeld als een onbekend vervolg op een niet-populaire serie wordt uitgesloten). Maar het kan ook veel problematischer zijn, bijvoorbeeld als het kinderboek content bevat die door sommigen als controversieel wordt beschouwd, maar waarvan algemeen wordt geaccepteerd dat het boek een duidelijke educatieve of maatschappelijke waarde heeft.

    Overwegingen van eerlijkheid: Dit geval, dat op het eerste gezicht eenvoudig lijkt, toont aan hoe complex het kan zijn om toepassingen op eerlijkheid te beoordelen. Aan de ene kant is er een duidelijke behoefte om fout-positieve resultaten te vermijden (en zo de kans te minimaliseren dat kinderen worden blootgesteld aan voor hun leeftijd ongeschikte content). Aan de andere kant kunnen fout-negatieven ook schadelijk zijn. Als de tekstclassificatie bijvoorbeeld kinderboeken met LHBTQ-thema's (bijvoorbeeld verhalen over kinderen met twee ouders van hetzelfde geslacht) bestempelt als ongeschikt, is dit problematisch. Ook als boeken over bepaalde culturen of locaties vaker worden uitgesloten dan andere, is dat zorgwekkend.

    Optimalisatie: In dit geval wilt u waarschijnlijk optimaliseren voor precisie. Van alle kinderboeken ter wereld brengt uw app slechts een klein deel onder de aandacht. U kunt het zich dus veroorloven om kieskeurig te zijn over wat u aan gebruikers laat zien. Toch is het raadzaam ook eens na te denken over het opnemen van gebruikerservaringen voor het aanbieden van boeken waarvoor de betrokkenheid van een ouder vereist kan zijn. U kunt bijvoorbeeld een functie toevoegen die ouders adviseert een boek samen met hun kinderen te lezen, zodat ze kunnen praten over kwesties die in het boek worden behandeld.

    Toepassing: Verspreiding van enquêtes

    Stel dat u een enquête wilt verspreiden en daarvoor een model wilt ontwerpen dat deelnemers selecteert die het meest waarschijnlijk zullen reageren. Daarvoor mag u hun inkomen niet als factor gebruiken, maar uw gegevens hebben een kolom 'Inkomen'. U verwijdert dus in AutoML Tables de kolom 'Inkomen' uit de training, maar als u uw gegevens naar inkomen segmenteert, ontdekt u dat in uw model niet alle inkomensklassen evenredig vertegenwoordigd zijn. Hoe komt dat?

    Proxyvariabelen: Hoewel u de kolom 'Inkomen' heeft verwijderd, kunnen de gegevens in uw dataset nog wel andere variabelen van personen bevatten die samenhangen met het inkomen. Beschikt u over hun postcode, opleidingsniveau of zelfs leeftijd? Al deze variabelen kunnen indirect samenhangen met het inkomen. Als u zeker wilt weten dat uw model een steekproef kiest die representatief is voor alle demografische segmenten, kunt u op het tabblad 'Analyseren' in AutoML Tables kijken of er correlaties zijn. Let er wel op dat u het model op vertekeningen beoordeelt voordat u het inzet voor productiedoeleinden.

    Voorspellen: Test uw model

    Checklist

    Nadat u de prestaties van uw model op eerlijkheid heeft geëvalueerd met behulp van de statistische gegevens van machine learning in AutoML, kunt u uw eigen model uitproberen met nieuwe content op het tabblad 'Voorspellen'. Houd hierbij rekening met de volgende aanbevelingen voor eerlijkheid:

    Diagram

    Denk goed na over uw probleemdomein en de kans op oneerlijkheid en vertekening. U kent uw gebied het best. Is uw classificatie van afbeeldingen of video's mogelijk beïnvloed door het ras of geslacht van mensen in de content? Is uw classificatie van tekst misschien gevoelig voor termen die verwijzen naar demografische groepen? Kent het talenpaar waarvoor u een vertaaltool ontwerpt culturele verschillen die kunnen worden benadrukt of is er sprake van een niet-overeenkomende reeks voornaamwoorden die uiteindelijk een onderliggend maatschappelijk vooroordeel kunnen blootleggen? Bedenk gevallen waarin er negatieve gevolgen voor uw gebruikers zijn als deze zaken tijdens de productiefase worden aangetroffen. Test die vervolgens op de pagina 'Voorspellen' of in uw eigen tests van eenheden.

    Bedenk dat uw gebruikers niet alleen door aanstootgevende of oneerlijke voorspellingen negatief kunnen worden beïnvloed, maar ook door ontbrekende duidelijke voorspellingen (fout-negatieve resultaten). Als u merkt dat de resultaten niet zijn afgestemd op de beleving die u aan al uw eindgebruikers wilt bieden, kunt u de vertekening van uw dataset verminderen door meer gegevens toe te voegen aan relevante klassen. U kunt uw model ook gebruiken om aangetroffen problemen te corrigeren.

    Gebruik: Uw model in productie

    Schaar

    Implementeer eenvoudige correcties. Als uw model niet perfect is, is opnieuw trainen met nieuwe gegevens niet het enige antwoord. Soms kan een eenvoudige voor- of nabewerkingsstap om bepaalde woorden of typen afbeeldingen te verwijderen, een effectieve oplossing zijn.

    Drempelwaarden

    Pas de scoredrempels van uw model aan om een acceptabel 'eerlijk' evenwicht te vinden tussen precisie en geretourneerde relevante resultaten, gezien uw inzicht in hoe verschillende fouttypen uw gebruikers beïnvloeden.

    Equalizer

    Zodra uw model klaar is en voorspellingen oplevert, kan uw gegevensverdeling in de loop van de tijd subtiel veranderen en is het mogelijk dat uw model de relevante contexten van uw app niet langer weergeeft. Houd de prestaties van het model in de loop van de tijd in de gaten om te zorgen dat het net zo goed werkt als u verwacht. Verzamel ook feedback van uw gebruikers om potentiële problemen te identificeren waarvoor mogelijk nieuwe gegevens en opnieuw trainen vereist zijn.

    Reddingsboei

    Soms komen er problemen bovendrijven waar u gewoon niet aan heeft gedacht. Bedenk een plan van aanpak voor het geval uw model zich gedraagt op een manier die een nadelige invloed kan hebben op uw gebruikers en uw bedrijf.

    Feedback

    Dit is een document dat voortdurend wordt aangepast op basis van alle opgedane kennis. We ontvangen graag feedback op de richtlijnen die we hier hebben gegeven. Stuur een e-mail naar inclusive-ml-feedback@google.com om ons te vertellen over uw ervaringen met het maken van uw eigen modellen, wat wel werkte en wat niet. We kijken uit naar uw feedback.