Een op deep learning gebaseerd OCR-model bouwen: geleerde lessen - neptune.ai (2023)

Deep learning-oplossingen hebben de wereld stormenderhand veroverd en allerlei soorten organisaties, zoals techreuzen, goed gegroeide bedrijven en startups, proberen nu deep learning (DL) en machine learning (ML) op de een of andere manier in hun huidige workflow op te nemen. Een van deze belangrijke oplossingen die de afgelopen jaren behoorlijk aan populariteit hebben gewonnen, is de OCR-engine.

OCR (optische tekenherkenning)is een techniek om tekstuele informatie rechtstreeks uit digitale documenten en gescande documenten te lezen zonder enige menselijke tussenkomst. Deze documenten kunnen elk formaat hebben, zoals PDF, PNG, JPEG, TIFF, enz. Er zijn veel voordelen aan het gebruik van OCR-systemen, deze zijn:

Het extraheren van informatie uit digitale documenten is nog steeds eenvoudigmetagegevens, die u de tekstinformatie kan geven. Maar voor de gescande kopieën heb je een andere oplossing nodig, daar helpen metadata niet. Hier komt de behoefte aan diep leren dat oplossingen biedt voor het extraheren van tekstinformatie uit afbeeldingen.

In dit artikel leer je over verschillende lessen voor het bouwen van een op diep leren gebaseerd OCR-model, zodat wanneer je aan een dergelijke use case werkt, je misschien niet de problemen tegenkomt die ik tegenkwam tijdens de ontwikkeling en implementatie.

Wat is op diep leren gebaseerde OCR?

OCR is tegenwoordig erg populair geworden en is door verschillende industrieën overgenomen voor het sneller lezen van tekstgegevens van afbeeldingen. Terwijl oplossingen zoalscontourdetectie,beeld classificatie,analyse van verbonden componenten, enz. worden gebruikt voor documenten met vergelijkbare tekstgrootte en lettertype, ideale lichtomstandigheden, goede beeldkwaliteit, enz., zijn dergelijke methoden niet effectief voor onregelmatige, heterogene tekst die vaak wilde tekst of scènetekst wordt genoemd. Deze tekst kan afkomstig zijn van het kenteken van een auto, huisnummerplaat, slecht gescande documenten (zonder vooraf gedefinieerde voorwaarden), enz. Hiervoor worden Deep Learning-oplossingen gebruikt. Het gebruik van DL voor OCR is een proces in drie stappen en deze stappen zijn:

1. voorbewerking:OCR is geen gemakkelijk probleem, althans niet zo eenvoudig als we denken. Het extraheren van tekstgegevens uit digitale afbeeldingen/documenten is nog steeds prima. Maar als het gaat om gescande afbeeldingen of afbeeldingen waarop via de telefoon is geklikt, verandert er iets. Real-world afbeeldingen worden niet altijd onder ideale omstandigheden aangeklikt/gescand, ze kunnen ruis, onscherpte, scheefheid, enz. bevatten. Dat moet worden afgehandeld voordat de DL-modellen erop worden toegepast. Om deze reden,beeld voorbewerkingnodig is om deze problemen aan te pakken.

2. Tekstdetectie/lokalisatie:In dit stadium houden modellen vanMasker-RCNN,Oost-tekstdetector,YoloV5,SSD, enz. worden gebruikt om de tekst in afbeeldingen te lokaliseren. Deze modellen maken meestal begrenzingskaders (vierkante/rechthoekige kaders) over elke tekst die in de afbeelding of een document wordt geïdentificeerd.

3. Tekstherkenning:Zodra de tekstlocatie is geïdentificeerd, wordt elk begrenzingskader verzonden naar het tekstherkenningsmodel, dat meestal een combinatie is vanRNN's,CNN's, EnAandacht netwerken. De uiteindelijke uitvoer van deze modellen is de tekst die uit de documenten is gehaald. Sommige open-source tekstherkenningsmodellen zoalstesseract,MMOCR, enz. kunnen u helpen een goede nauwkeurigheid te verkrijgen.

Laten we, om de effectiviteit van OCR-modellen uit te leggen, eens kijken naar enkele segmenten waar OCR tegenwoordig wordt toegepast om de productiviteit en efficiëntie van de systemen te verhogen:

• OCR in het bankwezen:Het automatiseren van de klantverificatie, het storten van cheques, enz. processen met behulp van op OCR gebaseerde tekstextractie en verificatie.

• OCR in verzekeringen:Extraheren van de tekstinformatie uit verschillende documenten in het verzekeringsdomein.

• OCR in de gezondheidszorg:Het verwerken van de documenten, zoals de geschiedenis van een patiënt, een röntgenrapport, een diagnostisch rapport, enz. kan een zware taak zijn die OCR gemakkelijk voor u maakt.

Dit zijn slechts enkele van de voorbeelden waarbij OCR wordt toegepast. Om meer te weten te komen over de gebruiksscenario's kunt u het volgende raadplegenkoppeling.

Lessen uit het bouwen van een op deep learning gebaseerd OCR-model

Nu u weet wat OCR is en waarom het een belangrijk concept is in de huidige tijd, is het tijd om enkele van de uitdagingen te bespreken waarmee u te maken kunt krijgen terwijl u eraan werkt. Ik heb deel uitgemaakt van verschillende op OCR gebaseerde projecten die verband hielden met de financiële (verzekerings)sector. Om er een paar te noemen:

• Ik heb gewerkt aan eenKYCverificatie OCRproject waarbij informatie uit verschillende identificatiedocumenten moest worden geëxtraheerd en tegen elkaar gevalideerd om een ​​klantprofiel te verifiëren.
• heb ik ook aan gewerktverzekeringsdocumenten OCRwaar informatie uit verschillende documenten moest worden geëxtraheerd en gebruikt voor verschillende andere doeleinden, zoals het maken van gebruikersprofielen, gebruikersverificatie, enz.

Een ding dat ik heb geleerd tijdens het werken aan deze OCR-use-cases, is dat je niet elke keer hoeft te falen om verschillende dingen te leren. Ook van de fouten van anderen kun je leren. Er waren verschillende stadia waarin ik voor uitdagingen kwam te staan ​​terwijl ik in een team werkte voor deze op financiële DL gebaseerde OCR-projecten. Laten we die uitdagingen bespreken in de vorm van verschillende stadia van de ontwikkeling van ML-pijplijnen.

Gegevensverzameling

Probleem

Dit is de eerste en belangrijkste fase bij het werken aan elke ML- of DL-use-case. Meestal worden OCR-oplossingen gebruikt door financiële organisaties zoals banken, verzekeringsmaatschappijen, beursvennootschappen, enz. Omdat deze organisaties veel documenten hebben die moeilijk handmatig te verwerken zijn. Aangezien het financiële organisaties zijn, komen hier de regels en voorschriften van de overheid die deze financiële organisaties moeten volgen.

Om deze reden, als u eraan werktPOC (Proof-of-Concept)voor deze financiële firma's bestaat de kans dat ze niet heel veel gegevens voor u delen om uw tekstdetectie- en herkenningsmodellen te trainen. Aangezien deep learning-oplossingen allemaal over gegevens gaan, krijgt u mogelijk modellen met slechte prestaties. Dit houdt natuurlijk verband met de naleving van de regelgeving dat ze de privacy van gebruikers kunnen schenden, wat financiële en andere soorten verlies voor klanten kan veroorzaken als ze de gegevens delen.

Oplossing

Heeft dit probleem een ​​oplossing? Ja het heeft. Stel dat u wilt werken aan een soort formulier of ID-kaart voor tekstextractie. Voor formulieren kunt u klanten om de lege sjablonen vragen en deze vullen met uw willekeurige gegevens (tijdrovend maar efficiënt) en voor de identiteitskaart kunt u op internet veel voorbeelden vinden die u kunt gebruiken om aan de slag te gaan. Ook kunt u gewoon een paar voorbeelden van deze formulieren en ID-kaarten gebruikenbeeldvergrotingtechnieken om nieuwe vergelijkbare afbeeldingen te maken voor uw modeltraining.

Soms, wanneer u wilt gaan werken aan OCR-use cases en geen organisatiegegevens heeft, kunt u een van de datasets gebruiken die online beschikbaar zijn (open-source) voor OCR. U kunt de lijst met beste datasets voor OCR bekijkenhier.

Labelen van de gegevens (gegevensannotatie)

Probleem

Nu je je gegevens hebt en ook nieuwe voorbeelden hebt gemaakt met behulp van beeldvergrotingstechnieken, is het volgende op de lijst Gegevenslabels. Gegevenslabeling is het proces waarbij begrenzingskaders worden gemaakt voor de objecten waarvan u wilt dat uw objectdetectiemodel ze in afbeeldingen vindt. In dit geval is ons object tekst, dus u moet de begrenzingsvakken maken over het tekstgebied dat u wilt dat uw model identificeert. Het maken van deze labels is een erg vervelende maar belangrijke taak. Dit is iets waar je niet vanaf kunt komen.

Ook zijn begrenzingskaders te algemeen als we het hebben over annotaties, voor verschillende soorten use cases worden verschillende soorten annotaties gebruikt. Voor gebruikssituaties waarin u de meest nauwkeurige coördinaten van een object wilt, kunt u bijvoorbeeld geen vierkante of rechthoekige begrenzingsvakken gebruiken. Daar moet u Polynomiale (meerlijnige) begrenzingsvakken gebruiken. Voor gebruikssituaties met semantische segmentatie waarbij u een afbeelding in verschillende delen wilt scheiden, moet u een label toewijzen aan elke pixel in een afbeelding. Voor meer informatie over verschillende soorten annotaties kunt u hiernaar verwijzenkoppeling.

Oplossing

Is er een manier waarop u het labelproces voor uw werk kunt versnellen? Ja dat is er. Gewoonlijk, als u beeldvergrotingstechnieken gebruikt, zoals het toevoegen van ruis, vervaging, helderheid, contrast, enz. Er is geen verandering in de afbeeldingsgeometrie, dus u kunt de coördinaten van de originele afbeelding gebruiken voor deze verbeterde afbeeldingen. Als u uw afbeeldingen roteert, zorg er dan voor dat u ze in meerdere 90 graden draait, zodat u ook uw annotaties (labels) in dezelfde hoek kunt draaien en het bespaart u veel nawerk. Voor deze taak kunt u gebruikenVGGofVoTThulpmiddelen voor beeldannotaties.

Als u veel gegevens heeft om te annoteren, kunt u dit soms zelfs uitbesteden. Er zijn veel bedrijven die annotatieoplossingen bieden. U hoeft alleen maar uit te leggen welk type annotatie u wilt en het annotatieteam doet het voor u.

Modelarchitectuur en trainingsinfrastructuur

Probleem

Een ding dat u moet verzekeren, is de hardwarecomponent die u hebt voor het trainen van uw modellen. Modellen voor het detecteren van trainingsobjecten vereisen een behoorlijke RAM-capaciteit en een GPU-eenheid (sommige kunnen ook met CPU werken, maar training zou supertraag zijn).

Een ander deel daarvan is dat er in de loop der jaren verschillende objectdetectiemodellen zijn geïntroduceerd op het gebied van computervisie. Het kan moeilijk zijn om degene te kiezen die het beste werkt voor uw gebruik (tekstdetectie en -herkenning) en die ook goed werkt op uw GPU/CPU-machine.

Oplossing

Voor het eerste deel, als u een op GPU gebaseerd systeem heeft, hoeft u zich geen zorgen te maken, aangezien u uw model eenvoudig kunt trainen. Maar als u een CPU gebruikt, kan het trainen van het hele model in één keer veel tijd kosten. In dat geval,leren overdragenkan de juiste keuze zijn, omdat het niet gaat om het helemaal opnieuw trainen van modellen.

Elk nieuw geïntroduceerd computervisiemodel heeft een geheel nieuwe architectuur of verbetert de prestaties van de bestaande modellen. Voor kleinere en dichte objecten zoals tekst,YoloV5heeft de voorkeur voor tekstdetectie boven andere vanwege de architectonische voordelen.

Als u een afbeelding in meerdere delen wilt segmenteren (pixelsgewijs),Gemaskerd-RCNNwordt als beste beschouwd. Voor tekstherkenning zijn enkele van de meest gebruikte modellen dat welMMOCR,PaddleOCREnCRNN.

Opleiding

Probleem

Dit is een zeer cruciale fase waarin u uw op DL gebaseerde tekstdetectie- en herkenningsmodellen zou trainen. Een ding waarvan we ons allemaal bewust zijn, is dat het trainen van een deep learning-model een black box-ding is, je kunt gewoon verschillende parameters uitproberen om de beste resultaten voor je use-case te krijgen en zou niet weten wat eronder gebeurt. Mogelijk moet u verschillende deep learning-modellen uitproberen voor tekstdetectie en -herkenning, wat behoorlijk moeilijk is met al die hyperparameters waarmee u voor training moet zorgen.

Oplossing

Een ding dat ik hier heb geleerd, is dat je je moet concentreren op een enkel model totdat je alles hebt uitgeprobeerdhyperparameter afstemming, afstemming van modelarchitectuur, enz. U hoeft de prestaties van een model niet te beoordelen door slechts een paar dingen uit te proberen.

Verder zou ik je adviseren om je model in onderdelen te trainen voor bv. als u uw model wilt trainen tot 50 tijdperken, verdeel het dan in drie verschillende stappen: 15 tijdperken, 15 tijdperken en 20 tijdperken en evalueer het tussentijds. Op deze manier krijgt u resultaten in verschillende stadia en krijgt u een idee of het model goed of slecht presteert. Het is beter dan alle 50 tijdperken een paar dagen tegelijk te proberen en uiteindelijk te leren kennen dat het model helemaal niet werkt op uw gegevens.

Ook, zoals hierboven al besproken,leren overdragenzou de sleutel kunnen zijn. U kunt uw model vanaf het begin trainen, maar als u een reeds getraind model gebruikt en het afstemt op uw gegevens, krijgt u zeker een goede nauwkeurigheid.

Testen

Probleem

Zodra u uw modellen gereed heeft, is het volgende in de wachtrij het testen van de prestaties van het model. Het testen van de deep learning-modellen is vrij eenvoudig, omdat u de resultaten kunt zien (kaders die op het object zijn gemaakt) of de geëxtraheerde tekst kunt vergelijken met grondwaarheidsgegevens, in tegenstelling tot traditionele gevallen van machine learning waarbij u de resultaten uit cijfers moet interpreteren.

Tegenwoordig kunt u handmatige DL-modeltesten gebruiken of een van de beschikbare modellen proberengeautomatiseerd testenDiensten. Het handmatige proces neemt enige tijd in beslag, omdat u elke afbeelding zelf moet controleren om de prestaties van de modellen te zien. Als u aan financiële use-cases werkt, moet u mogelijk alleen aan handmatige tests werken, omdat u de gegevens niet kunt delen met online automatiseringstestservices.

Oplossing

Een belangrijk advies dat ik hier zou geven, is om uw modellen nooit te testen op de trainingsdatasets, omdat dit niet de werkelijke prestaties van uw model zou laten zien. U moet drie verschillende datasets maken, trainen, valideren en testen. Ten eerste zouden er twee worden gebruikt voor training en runtime-modelbeoordeling, terwijl de testdataset u de werkelijke prestaties van het model zou laten zien.

Het volgende zou zijn om de beste statistieken te bepalen om de prestaties van uw detectie- en herkenningsmodellen te beoordelen. Aangezien tekstdetectie een vorm van objectdetectie is, wordt mAP (mean average precision) gebruikt om de prestaties van de modellen te beoordelen. Het vergelijkt de door het model voorspelde begrenzingsvakken met de grondwaarheidsbegrenzingsvakken en retourneert de score, hoe hoger de score hoe beter de prestatie.

Voor het tekstherkenningsmodel is de veelgebruikte maatstaf CER (Character Error Rate). Voor deze meting wordt elk voorspeld karakter vergeleken met de grondwaarheid om de modelprestaties te vertellen, hoe lager de CER, hoe beter de modelprestaties. Uw model moet minder dan 10% CER hebben om het te kunnen vervangen door een handmatig proces. Als u meer wilt weten over CER en hoe u deze kunt berekenen, kunt u het volgende controlerenkoppeling.

Implementatie en monitoring

Probleem

Zodra u uw definitieve modellen met behoorlijke nauwkeurigheid klaar heeft, zou u ze ergens moeten inzetten om ze toegankelijk te maken voor de doelgroep. Dit is een van de belangrijkste stappen waarbij u problemen kunt tegenkomen, ongeacht waar u het gaat implementeren. Drie belangrijke uitdagingen waarmee ik te maken kreeg bij het implementeren van deze modellen zijn:

1. Ik gebruikte dePyTorchbibliotheek om het objectdetectiemodel te implementeren, staat deze bibliotheek u niet toe om multithreading te gebruiken op het moment van deductie als u het niet hebt getraind om multithreading te gebruiken op het moment van training.
2. De modelgrootte kan te groot zijn, omdat het een op DL gebaseerd model zou zijn en het kan langer duren om te laden op het moment van deductie.
3. Het implementeren van het model is niet voldoende, u moet het een paar maanden in de gaten houden om te weten of het presteert zoals verwacht of dat er nog ruimte is voor verbetering.

Oplossing

Dus om het eerste probleem op te lossen, zou ik willen voorstellen dat je je ervan bewust moet zijn dat je het model zou moeten trainen met behulp van de Pytorch met multithreading, zodat je het kunt hebben op het moment van inferentie of een andere oplossing zou zijn om over te schakelen naar een ander raamwerk, d.w.z. zoeken naar deTensorFlowalternatief voor het fakkelmodel dat u wilt, omdat het al multithreading ondersteunt en vrij eenvoudig is om mee te werken.

Voor het tweede punt: als u een zeer groot model heeft dat veel tijd nodig heeft om te laden voor het maken van conclusies, kunt u uw model converteren naar hetONNXmodel, kan het model met ⅓ worden verkleind, maar dit heeft een kleine invloed op uw nauwkeurigheid.

Modelmonitoring kan handmatig worden gedaan, maar er zijn technische middelen voor nodig om te zoeken naar de gevallen die niet werken met uw OCR-model. In plaats daarvan kunt u verschillende monitoringoplossingen gebruiken die bijvoorbeeld geautomatiseerd werkenNeptunus,Hij huilde,WaaromLabs, enz.

U kunt meer over hen weten in dit artikel:Beste tools om ML-modelbewaking uit te voeren.

Conclusie

Na het lezen van dit artikel weet je nu wat een op Deep Learning gebaseerde OCR is, wat de verschillende use-cases zijn en heb je eindelijk enkele lessen gezien op basis van scenario's die ik heb gezien tijdens het werken aan OCR-use-cases. OCR-technologie neemt nu het handmatige gegevensinvoer- en documentverwerkingswerk over, dit is misschien het juiste moment om ermee aan de slag te gaan, zodat u zich niet buitengesloten voelt in de DL-wereld. Bij het werken aan dit soort use cases moet je bedenken dat je niet in één keer een goed model kunt hebben. Je moet verschillende dingen uitproberen en leren van elke stap waaraan je zou werken.

Het is misschien geen goede oplossing om een ​​geheel nieuwe oplossing te creëren, omdat u niet heel veel gegevens zou hebben terwijl u aan verschillende gebruiksscenario's werkt, dus het proberen van overdrachtsleren en het verfijnen van verschillende modellen op uw gegevens kan u helpen een goede nauwkeurigheid te bereiken. Het motief van dit artikel was om u verschillende problemen te vertellen waarmee ik te maken heb gehad tijdens het werken aan OCR-use-cases, zodat u ze niet in uw werk hoeft te zien. Toch kunnen er enkele nieuwe problemen zijn met de verandering in technologie en bibliotheken, maar u moet naar andere oplossingen zoeken om het werk gedaan te krijgen.