PiTextReader - un lecteur de documents facile à utiliser pour les troubles de la vision : 8 étapes (avec images)

2024 Auteur: John Day | [email protected]. Dernière modifié: 2024-01-30 09:08

Aperçu

Mise à jour: Courte démo vidéo:

PiTextReader permet à une personne malvoyante de « lire » du texte à partir d'enveloppes, de lettres et d'autres éléments. Il prend un instantané d'une image de l'élément, le convertit en texte brut à l'aide de la reconnaissance optique de caractères (OCR), puis prononce le texte à l'aide de la synthèse vocale.

Le Reader est conçu pour être aussi absolument simple à utiliser que possible. Pas besoin d'Internet, pas d'interface graphique, un seul bouton. Placez simplement l'élément à lire sur le support et appuyez sur un bouton. Après quelques instants, le texte leur sera relu.

J'ai conçu ceci pour un parent âgé souffrant de problèmes de vue tels que la dégénérescence maculaire, mais il peut être utilisé plus largement pour toute personne souhaitant traduire un texte imprimé en discours audio.

Il existe de nombreux lecteurs disponibles, mais la plupart coûtent des milliers de dollars ou s'adressent à une personne avertie en technologie nécessitant une connectivité Internet et l'utilisation d'un téléphone intelligent. Ce lecteur est conçu pour être complètement autonome sans Internet et sans interface autre qu'un gros bouton poussoir.

Avantages

• Un bouton pour contrôler
• Aucune connexion Internet requise
• Aucune interface utilisateur graphique pour naviguer
• Coût total inférieur à 100 $
• Toujours prêt à partir

Les inconvénients

• L'OCR peut être limité en raison des polices, des couleurs, de la taille du texte, etc.
• Le discours ressemble à celui de Stephen Hawking
• Fonctionne mieux pour de petites sections de texte noir sur du papier blanc.

Étape 1: Matériel

• Raspberry Pi 3 (a besoin de la puissance !)
• 8 Go + carte micro SD
• Alimentation 5v 2A DC pour Raspberry
• Caméra Raspberry Pi (régulière ou NoIR)https://www.adafruit.com/product/3099
• Câble de caméra Raspberry Pi 24"https://www.adafruit.com/product/1731
• Support ou étui pour appareil photohttps://www.adafruit.com/product/3253 ouhttps://www.adafruit.com/product/1434
• Outil de réglage de l'objectif (pour mettre au point la caméra)https://www.adafruit.com/product/3518
• Haut-parleur mono alimenté par USB (taille minuscule préférée !)https://www.adafruit.com/product/1363
• Grand bouton poussoir - Momentané avec LEDhttps://www.adafruit.com/product/1440
• Résistance de 330 ohms pour la LED du bouton ci-dessus
• Boîte en bois 8"x8"x2" de Michaels ou d'autres grands magasins de fournitures d'art.
• Rebuts de bois pour la construction du support de caméra:
• Bande plate 8"Lx1"Wx1/2"T
• Bande plate 5"Lx1"Wx1/4"T
• Goujon carré 6"Lx1/2"x1/2" pour un guide de placement
• Vis, colle, fil, soudure, etc.

Étape 2: Construction du matériel

Utilisation de la boîte 8"x8":

1. Percez un trou à l'arrière pour le cordon d'alimentation.

2. Percez un trou dans le coin avant droit pour le bouton momentané3. Percez le(s) trou(s) pour le haut-parleur. (voir l'étape audio 12 ci-dessous)

4. J'ai utilisé un morceau de bande d'aluminium de 2"x1/4"x13" pour le support de la caméra, mais les bandes de bois fonctionnent aussi.

une. Montez la bande de bois plate de 8 po à l'arrière du COUVERCLE de la boîte. (assurez-vous qu'il est attaché au COUVERCLE et non au fond de la boîte, sinon vous ne pourrez pas l'ouvrir !)

b. Montez la bande de bois plate de 5" sur la verticale de 8" avec des vis et de la colle. NOTEZ que la hauteur de l'appareil photo détermine la taille du document et la mise au point nécessaire. Vous voudrez peut-être aller plus haut pour les documents de plus grande surface.

5. Coupez une fente de 1"x1/16" dans le haut de la boîte près de la verticale de 8" pour que le câble de la caméra passe à travers.

REMARQUE: Pour l'électronique, je suggère de NE PAS monter les composants de manière permanente pour le moment, afin que vous puissiez facilement effectuer des ajustements.

6. Connectez le câble de la caméra 24 à la caméra. NE VOUS CONNECTEZ PAS encore à RASPBERRY.

Étape 3: Suite du matériel…

7. Montez la caméra vers le bas à partir de l'extrémité de la bande de bois de 5 pouces. Je vous conseille d'attendre avant de ranger l'appareil photo dans son étui afin de pouvoir mieux faire la mise au point de l'objectif une fois en marche !

Pour la mise au point initiale, utilisez l'outil de réglage et tournez l'objectif dans le sens inverse des aiguilles d'une montre de 1/4 ! tourner.

8. Faites passer le câble de la caméra dans la fente, puis fixez-le au Pi. (Assurez-vous que Pi est désactivé !)

9. Installez le bouton momentané et connectez les fils entre celui-ci et les broches 24 et GND du Pi GPIO. Et connectez la LED du bouton via une résistance de 220 ohms aux broches Pi GPIO 18 et GND.

10. Insérez l'alimentation dans le boîtier et branchez-la sur le Pi. Vous devez utiliser un réducteur de tension tel que de la colle thermofusible ou similaire pour boucher le trou dans la boîte afin que le câble ne puisse pas sortir.

Étape 4: Installation du matériel audio…

11. Pour l'audio, j'ai utilisé un haut-parleur mono qui utilisait l'alimentation USB et l'audio mini-jack. J'ai retiré l'électronique et le haut-parleur du boîtier en plastique d'origine et j'ai branché la prise audio dans la prise audio Pi et le câble USB dans Pi USB. J'ai également remplacé le petit haut-parleur d'origine par un plus grand 3 pour une bien meilleure qualité sonore.

Depuis que j'ai monté le haut-parleur sous le couvercle de la boîte, j'ai percé plusieurs petits trous en forme de grille de haut-parleur.

12. Enfin, vérifiez les connexions, en particulier le câble de la caméra et les connexions GPIO.

NE PAS METTRE EN MARCHE LE PI ENCORE. Continuez d'abord la configuration du logiciel…

Il n'y a pas d'interrupteur marche/arrêt, car on suppose que le Pi doit fonctionner tout le temps afin qu'il soit prêt à lire quelque chose immédiatement. Il n'utilise que quelques watts et peut fonctionner 24h/24 et 7j/7 sans problème.

Il est possible que la carte SD soit corrompue si elle est débranchée ou en cas de panne de courant, mais c'est rare. Je n'ai encore jamais eu de carte SD qui ne démarre pas. Mais ne branchez pas sur une multiprise qui est éteinte/allumée régulièrement.

Étape 5: Installation et configuration du système d'exploitation

Formatez une carte microSD de 8 Go ou plus avec Raspbian Jessie (ou Stretch) Lite (pas d'interface graphique pour ce projet).

www.raspberrypi.org/downloads/raspbian/

Vous devrez accéder au Raspberry à distance via SSH. Sous Windows, vous pouvez utiliser le programme de terminal PUTTY SSH. Sur Mac, ouvrez simplement une fenêtre de terminal de commande. Alternativement, vous pouvez brancher temporairement un clavier et un moniteur HDMI juste pour le construire, mais SSH facilite le travail ultérieur.

Le saviez-vous ? Si vous installez Raspbian Jessie sur une carte SD à l'aide d'un PC Windows, vous pouvez créer deux fichiers sur la carte pour configurer l'accès WiFi et SSH avant de la démarrer sur un Raspberry ?

Pour cela, supposons que votre carte SD est actuellement montée en tant que K: sur votre PC:

1) Installez la dernière image Raspbian Jessie sur la SD. Pour ce projet, Jessie Lite devrait fonctionner.

2) Avec le bloc-notes, créez un fichier appelé simplement "ssh" et utilisez Enregistrer sous "Tous les fichiers" dans K:\ssh Le fichier peut contenir n'importe quoi. C'est le nom du fichier qui est important. Ne doit PAS être « ssh.txt » !!!

3) Avec le bloc-notes, créez un fichier appelé "wpa_supplicant.conf" avec ce qui suit:

ctrl_interface=DIR=/var/run/wpa_supplicant GROUP=netdevupdate_config=1

réseau={

ssid="mySSID" psk="mypassword" key_mgmt=WPA-PSK }

Utilisez Enregistrer sous "Tous les fichiers" dans K:\wpa_supplicant.conf Encore une fois, ne laissez pas le Bloc-notes le changer en "wpa_supplicant.conf.txt" !!

Lorsque vous démarrez le Raspberry pour la première fois, Jessie les recherche et se connecte à votre Wifi. Vous devrez cependant rechercher l'adresse IP sur votre routeur, car elle est automatiquement attribuée à l'aide de DHCP.

Maintenant prêt à installer sur votre Pi:

1. Insérez la carte microSD dans le Pi et branchez l'alimentation maintenant.

2. Pour vous connecter à distance à votre Raspberry Pi, vous devrez trouver son adresse IP. Tu peux essayer:

$ ssh [email protected]

Ou depuis Putty, entrez le nom d'hôte: [email protected]

Sinon, vous devrez voir si votre routeur affichera les adresses IP de vos appareils locaux.

Une fois connecté en tant qu'utilisateur pi:

3. Mettez à jour votre système d'exploitation Raspbian:

$ sudo apt mise à jour

$ sudo apt mise à niveau

4. Configurez le Raspberry et activez la caméra:

$ sudo raspi-config

une. Changer le mot de passe utilisateur

b. Options d'interfaçage -> Caméra -> Activer

c. Finir

ré. Redémarrer

Étape 6: Installation du logiciel d'application

Maintenant, reconnectez-vous à votre Pi et vous êtes prêt à installer l'application PiTextReader.

1. Installez le logiciel initial requis: $ sudo apt install git –y

2. Téléchargez le logiciel:

$ cd /home/pi

$ git clone

$ cd PiTextReader

$ sh install.sh

Vous pouvez en toute sécurité réexécuter install.sh plusieurs fois, si nécessaire.

3. Placez un document simple à lire et exécutez le programme de test qui règle le volume, lit un son de synthèse vocale et prend une photo.

$ sh test.sh

Si vous obtenez des messages d'erreur, consultez Dépannage ci-dessous. Modifiez le programme test.sh pour ajuster le volume si nécessaire.

4. Le programme de test enregistre une photo dans « test-j.webp

$ python -m SimpleHTTPServer 8080 &

Ensuite, accédez à

Cliquez sur le test.jpg

Utilisez l'outil de réglage de l'objectif pour faire la mise au point de la caméra.

Réexécutez le programme test.sh aussi souvent que nécessaire.

REMARQUE: si vous devez ajuster les paramètres de la caméra raspistill, vous devrez également modifier le programme pitextreader.py avec les nouveaux paramètres.

APPAREIL PHOTO = "raspistill -cfx 128:128 --awb auto -rot 90 -t 500 -o /tmp/image.jpg"

5. $ sudo redémarrer

Le Pi devrait apparaître et fonctionner automatiquement, prêt à fonctionner.

Étape 7: Opération

Lorsque vous démarrez le Pi, vous entendrez un « OK Ready » ainsi que le voyant du bouton s'allumer.

Chaque fois que la LED est allumée, l'unité est prête à fonctionner.

Mettez du texte imprimé sous l'appareil photo, de préférence quelques lignes de texte noir sur du papier blanc.

Notez que la caméra n'a pas besoin de beaucoup de lumière, en particulier le NoIR. La lumière ambiante de la pièce était bonne pour la mienne. Trop de lumière provoque un éclairage inégal et déforme l'OCR.

Appuie sur le bouton.

La LED doit s'allumer et un clic de caméra ainsi que la parole « OK fonctionne » doivent retentir.

Après quelques secondes, le texte doit être lu. Si le texte est déformé, la police trop sombre ou trop claire, de côté ou à l'envers, alors le résultat sera un discours gobbly-gook !

La conversion et la lecture peuvent prendre entre 5 et 30 secondes, alors soyez patient. Plus il y a de texte, plus cela prend de temps.

Si vous devez arrêter la lecture, vous pouvez appuyer sur le bouton pendant que l'audio est toujours en cours de lecture (la LED est éteinte).

Une fois la parole terminée, après quelques secondes, la LED se rallume et vous entendrez à nouveau « OK Ready ». Il est prêt à passer un autre scan.

Notez que la distance de la caméra est définie pour la caméra Raspi et pour une partie seulement d'un document 8x10. J'ai trouvé qu'il était préférable de lire des parties d'un document à la fois, car des pages entières peuvent être difficiles à écouter. La plupart des choses à lire sont du texte plus petit, donc si la caméra est trop éloignée, elle ne peut pas résoudre.

Pour dépanner, consultez ci-dessous, en particulier la section NUMÉRISATION ET OCR

Si tout va bien, montez en permanence tous les composants pour terminer la construction.

Étape 8: Dépannage

1. APPAREIL PHOTO

Vérifiez que la caméra est activée via

$ sudo raspi-config

Options d'interfaçage -> Caméra

Réinstallez le câble plat car cela est délicat et doit être exactement aligné. Si nécessaire, recherchez sur Google « dépannage de la caméra Raspberry Pi » pour rechercher des problèmes similaires. Recherchez également sur Google le message d'erreur que vous obtenez lors de l'exécution du programme test.sh.

2. AUDIO

Vous avez du volume ?

$ sudo amixer -q sset PCM, 0 100%

Exécuter un test audio

$ aplay /usr/share/sounds/alsa/Front_Center.wav

Pas encore de son ? Forcer la sortie audio de la prise:

$ sudo raspi-config Options avancées -> Audio -> Forcer la prise casque

3. DISCOURS

Si le son ci-dessus sonne bien, essayez:

$ flite -t TEST

Messages d'erreur Google, le cas échéant.

Réexécutez le fichier install.sh

Oui, le discours ressemble un peu à celui de Stephen Hawking.

4. NUMÉRISATION ET OCR

C'est le plus grand domaine de réglage nécessaire. Pour que l'OCR fonctionne correctement, l'image de la caméra doit être de bonne qualité; le document doit être bien éclairé, mais pas nécessairement très lumineux.

Le texte doit être plat et clair. Toutes les polices ne sont pas lisibles.

Pour vérifier la qualité, examinez les deux fichiers:

/tmp/text.txt et /tmp/image.jpg

Vous pouvez démarrer le petit serveur Web et utiliser un navigateur:

$ cd /tmp $ python -m SimpleHTTPServer 8080 &

Le texte de l'image doit être clair et lisible. L'image doit être à l'endroit, bien contrastée, nette. Vous devrez peut-être retourner le document s'il est à l'envers. (rappelez à l'utilisateur que s'il entend un gobbly-gook, essayez de retourner le document.) Si l'image a un faible contraste, vous devrez améliorer l'éclairage, trop ou trop peu peut causer des problèmes. Un éclairage inégal entraînera également l'échec de certaines parties du texte. Vous pouvez trouver plus d'aide en googler « aide tesseract-ocr »

5. MONITEUR/CLAVIER HDMI

Oui, vous pouvez brancher un clavier et un moniteur sur le Pi, en particulier. si vous ne trouvez pas l'adresse IP ou ne pouvez pas accéder via SSH. Il n'y a pas d'interface graphique et cela peut couper le son à moins que votre moniteur ne dispose d'un haut-parleur.

6. INTERNET/WIFI

Si le WIFI ne fonctionne pas, vous pouvez simplement connecter temporairement un câble Ethernet et l'utiliser.

Ce projet n'a pas besoin d'Internet ou du WiFi une fois que vous avez terminé l'installation et la configuration.