PiTextReader-snadno použitelná čtečka dokumentů pro zhoršené vidění: 8 kroků (s obrázky)

2024 Autor: John Day | [email protected]. Naposledy změněno: 2024-01-30 08:22

Přehled

Aktualizace: Krátké video demo:

PiTextReader umožňuje někomu se zhoršeným zrakem „číst“text z obálek, dopisů a dalších položek. Pořídí snímek položky, převede jej na prostý text pomocí OCR (Optical Character Recognition) a poté text vysloví pomocí převodu textu na řeč.

Čtečka je navržena tak, aby její používání bylo co nejjednodušší. Není potřeba internet, žádné grafické rozhraní, pouze jedno tlačítko. Jednoduše položte položku, kterou chcete přečíst, na stojan a stiskněte tlačítko. Po několika okamžicích jim bude text přečten.

Navrhl jsem to pro staršího rodiče s problémy se zrakem, jako je makulární degenerace, ale může být použit v širším měřítku pro každého, kdo chce tištěný text přeložený do zvukové řeči.

K dispozici je mnoho čteček, většinou stojí tisíce dolarů nebo jsou pro někoho, kdo je technicky zdatný a vyžaduje připojení k internetu a používání chytrého telefonu. Tato čtečka je navržena tak, aby byla zcela samostatná bez internetu a bez jiného rozhraní než velkého tlačítka.

Profesionálové

• Jedno tlačítko k ovládání
• Není vyžadováno připojení k internetu
• Žádné grafické uživatelské rozhraní k navigaci
• Celkové náklady nižší než 100 $
• Vždy připraven vyrazit

Nevýhody

• OCR může být omezeno kvůli písmům, barvám, velikosti textu atd.
• Řeč zní jako Stephen Hawking
• Funguje nejlépe pro malé části černého textu na bílém papíře.

Krok 1: Hardware

• Raspberry Pi 3 (potřebuje výkon!)
• 8 GB + karta micro SD
• Napájení 5v 2A DC pro Raspberry
• Kamera Raspberry Pi (běžná nebo NoIR)
• 24palcový kabel kamery Raspberry Pihttps://www.adafruit.com/product/1731
• Držák fotoaparátu nebo pouzdro https://www.adafruit.com/product/3253 nebo
• Nástroj pro nastavení objektivu (pro zaostření fotoaparátu)
• Monofonní reproduktor napájený přes USB (preferována malá velikost!)
• Velké tlačítko - krátkodobé s LED diodami
• Rezistor 330 ohmů pro výše uvedenou LED diodu
• Dřevěná krabice 8”x8” x2”od Michaels nebo jiných velkých obchodů s uměleckými potřebami.
• Šrotové dřevo pro stavbu stojanu kamery:
• Plochý pás 8”Dx1” Šx1/2”T
• Plochý pás 5”Dx1” Šx1/4”T
• Čtvercová hmoždinka 6”Lx1/2” x1/2”pro vodítko umístění
• Šrouby, lepidlo, drát, pájka atd.

Krok 2: Konstrukce hardwaru

Pomocí pole 8”x8”:

1. Na zadní straně vyvrtejte otvor pro napájecí kabel.

2. V pravém předním rohu vyvrtejte otvor pro dočasné tlačítko3. Vyvrtejte otvory pro reproduktor. (viz zvukový krok 12 níže)

4. Použil jsem kus 2”x1/4” x13”hliníkového pásu pro držák kamery, ale dřevěné pásy fungují také.

A. Namontujte 8 “plochý dřevěný pás na zadní stranu víka krabice. (ujistěte se, že je připojen k víku a ne ke spodní části krabice, jinak jej nebudete moci otevřít!)

b. Namontujte 5”plochý dřevěný pásek na 8“svislou část pomocí šroubů a lepidla. UPOZORNĚNÍ, že výška fotoaparátu určuje velikost dokumentu a potřebné zaostření. U dokumentů s větší plochou můžete chtít jít výš.

5. Vyřízněte štěrbinu 1”x1/16” v horní části krabice poblíž svislice 8”, aby procházel kabel kamery.

POZNÁMKA: Pokud jde o elektroniku, doporučuji NEPŘIPOJOVAT součásti trvale, abyste mohli snadno provádět úpravy.

6. Připojte 24”kabel kamery k fotoaparátu. K RASPBERRY se zatím NEPŘIPOJUJTE.

Krok 3: Hardwarová kontrola…

7. Namontujte kameru směrem dolů z konce 5palcového dřevěného pásu. Doporučuji počkat, než vložíte fotoaparát do pouzdra, abyste mohli objektiv po spuštění lépe zaostřit!

Pro počáteční zaostření použijte nástroj pro nastavení a otočte objektivem proti směru hodinových ručiček o 1/4! otáčet se.

8. Protáhněte kabel kamery skrz slot a poté jej připojte k Pi. (Ujistěte se, že Pi je VYPNUTO!)

9. Nainstalujte chvilkové tlačítko a připojte vodiče mezi něj a Pi GPIO piny 24 a GND. A připojte LED tlačítka přes odpor 220 ohmů k pinům Pi GPIO 18 a GND.

10. Zapojte napájecí zdroj do krabice a zapojte jej do Pi. K ucpání otvoru v krabici musíte použít odlehčení tahu, jako je tavné lepidlo nebo podobné, aby se kabel nemohl vytáhnout.

Krok 4: Instalace hardwaru zvuku…

11. Pro zvuk jsem použil mono reproduktor, který používal USB napájení a mini jack audio. Vyndal jsem elektroniku a reproduktor z původního plastového pouzdra a zapojil zvukovou zástrčku do zvukového konektoru Pi a kabel USB do Pi USB. Také jsem vyměnil původní malý reproduktor za větší 3”pro mnohem lepší kvalitu zvuku.

Protože jsem reproduktor namontoval pod víko krabice, vyvrtal jsem několik malých otvorů ve tvaru mřížky reproduktoru.

12. Nakonec zkontrolujte připojení, zejména kabel kamery a připojení GPIO.

NEZAPNĚTE PI. Pokračujte nejprve nastavením softwaru…

Neexistuje žádný přepínač zapnutí/vypnutí, protože se předpokládá, že Pi by měl být spuštěn po celou dobu, takže je připraven něco okamžitě přečíst. Používá pouze několik wattů a může běžet 24/7 bez problémů.

Je možné, že se karta SD poškodí při odpojení nebo výpadku napájení, ale je to vzácné. Nikdy jsem neměl kartu SD, kterou nelze spustit. Nepřipojujte však napájecí kabel, který je pravidelně vypnutý/zapnutý.

Krok 5: Nastavení a konfigurace operačního systému

Naformátujte kartu microSD o velikosti 8 GB nebo větší pomocí Raspbian Jessie (nebo Stretch) Lite (pro tento projekt žádné grafické uživatelské rozhraní).

www.raspberrypi.org/downloads/raspbian/

K Raspberry budete muset přistupovat vzdáleně přes SSH. V systému Windows můžete použít terminálový program PUTTY SSH. Na Macu stačí vyvolat okno příkazového terminálu. Alternativně můžete dočasně připojit klávesnici a monitor HDMI, abyste jej mohli vytvořit, ale SSH usnadňuje pozdější práci.

Věděli jste? Pokud nainstalujete Raspbian Jessie na kartu SD pomocí počítače se systémem Windows, můžete na kartě vytvořit dva soubory pro konfiguraci přístupu WiFi a SSH před spuštěním na Raspberry?

Předpokládejme proto, že je vaše karta SD aktuálně připojena jako K: na vašem PC:

1) Nainstalujte nejnovější obrázek Raspbian Jessie na SD. Pro tento projekt by měla fungovat Jessie Lite.

2) Pomocí poznámkového bloku vytvořte soubor s názvem „ssh“a pomocí příkazu Uložit jako „Všechny soubory“do K: / ssh Soubor může obsahovat cokoli. Důležitý je název souboru. Nesmí být „ssh.txt“!!!

3) Pomocí poznámkového bloku vytvořte soubor s názvem „wpa_supplicant.conf“s následujícím:

ctrl_interface = DIR =/var/run/wpa_supplicant SKUPINA = netdevupdate_config = 1

síť = {

ssid = "mySSID" psk = "mypassword" key_mgmt = WPA-PSK}

Použijte Uložit jako „Všechny soubory“do K: / wpa_supplicant.confZnovu nenechte Poznámkový blok změnit jej na „wpa_supplicant.conf.txt“!!

Když spouštíte Raspberry poprvé, Jessie je vyhledá a připojí se k vašemu Wifi. IP adresu však budete muset vyhledat na routeru, protože je automaticky přiřazen pomocí DHCP.

Nyní připraveno k instalaci na váš Pi:

1. Vložte kartu microSD do Pi a zapojte napájení.

2. Chcete -li se vzdáleně přihlásit ke svému Raspberry Pi, budete muset zjistit jeho IP adresu. Si můžete vyzkoušet:

$ ssh [email protected]

Nebo z Putty zadejte název hostitele: [email protected]

V opačném případě budete muset zjistit, zda váš router zobrazuje IP adresy vašich místních zařízení.

Jakmile jste přihlášeni jako uživatel pi:

3. Aktualizujte svůj Raspbian OS:

$ sudo apt update

$ sudo apt upgrade

4. Nakonfigurujte Raspberry a povolte kameru:

$ sudo raspi-config

A. Změnit heslo uživatele

b. Možnosti rozhraní -> Kamera -> Povolit

C. Dokončit

d. Restartujte

Krok 6: Instalace aplikačního softwaru

Nyní se přihlaste zpět do svého Pi a jste připraveni nainstalovat aplikaci PiTextReader.

1. Nainstalujte počáteční požadovaný software: $ sudo apt install git –y

2. Stáhněte si software:

$ cd /home /pi

$ git clone

$ cd PiTextReader

$ sh install.sh

V případě potřeby můžete soubor install.sh bezpečně znovu spustit několikrát.

3. Umístěte jednoduchý dokument ke čtení a spusťte testovací program, který nastaví hlasitost, přehraje zvuk převodu textu na řeč a vyfotí.

$ sh test.sh

Pokud se vám zobrazí nějaké chybové zprávy, zkontrolujte řešení problémů níže. V případě potřeby upravte program test.sh a upravte hlasitost.

4. Testovací program uloží fotografii do souboru „test.jpg“. Tento obrázek budete muset zkopírovat do počítače, abyste viděli zaostření a zorné pole. Rychlý a špinavý způsob, jak to udělat, je spustit malý webový server na vašem Pi a použít prohlížeč:

$ python -m SimpleHTTPServer 8080 &

Poté přejděte na adresu https:// {IPaddress}: 8080/

Klikněte na test.jpg

Zaostřete fotoaparát pomocí nástroje pro nastavení objektivu.

Znovu spusťte program test.sh tak často, jak je potřeba.

POZNÁMKA: pokud potřebujete upravit nastavení kamery raspistill, budete muset také upravit program pitextreader.py s novým nastavením.

CAMERA = "raspistill -cfx 128: 128 --awb auto -rot 90 -t 500 -o /tmp/image.jpg"

5. $ sudo restart

Pi by se mělo objevit a spustit automaticky, připraveno k provozu.

Krok 7: Provoz

Když spustíte Pi, uslyšíte „OK Ready“a rozsvítí se LED dioda tlačítka.

Kdykoli se rozsvítí LED, jednotka je připravena jít.

Vložte pod kameru nějaký tištěný text, nejlépe jen několik řádků černého textu na bílý papír.

Fotoaparát nepotřebuje mnoho světla, zejména NoIR. Osvětlení okolního pokoje bylo pro mě v pořádku. Příliš mnoho světla způsobuje nerovnoměrné osvětlení a zkresluje OCR.

Zmáčknout tlačítko.

LED dioda by se měla rozsvítit a měl by zaznít zvuk kliknutí kamery a řeč „OK funguje“.

Po několika sekundách by měl být text přečten. Pokud je text zkreslený, písmo příliš tmavé nebo příliš světlé, do stran nebo vzhůru nohama, výsledkem bude hltavý blábol!

Převedení a zahájení čtení může trvat 5-30 sekund, buďte tedy trpěliví. Čím více textu, tím déle to trvá.

Pokud potřebujete přestat číst, můžete během přehrávání zvuku stisknout tlačítko (LED nesvítí.)

Jakmile je řeč dokončena, po několika sekundách se LED dioda znovu rozsvítí a znovu uslyšíte „OK Ready“. Je připraven provést další skenování.

Všimněte si, že vzdálenost kamery je nastavena pro kameru Raspi a pouze pro část dokumentu 8x10. Zjistil jsem, že je nejlepší číst části dokumentu najednou, protože je obtížné poslouchat celé stránky. Mnoho věcí, které je třeba číst, je menší text, takže pokud je kamera příliš daleko, nelze ji vyřešit.

Chcete -li řešit problémy, zkontrolujte níže, zejména část SKENOVÁNÍ A OCR

Pokud je vše v pořádku, trvale namontujte všechny součásti a dokončete stavbu.

Krok 8: Odstraňování problémů

1. KAMERA

Ověřte, zda je kamera povolena pomocí

$ sudo raspi-config

Možnosti rozhraní -> Kamera

Plochý kabel znovu zasuňte, protože je choulostivý a musí být přesně zarovnán. Je -li to nutné, vyhledejte na Googlu „řešení problémů s fotoaparátem malinového pi“a vyhledejte podobné problémy. Také vygooglete chybovou zprávu, která se vám zobrazí při spuštění programu test.sh.

2. AUDIO

Máte zvýšení hlasitosti?

$ sudo amixer -q sset PCM, 0 100%

Spusťte test zvuku

$ aplay /usr/share/sounds/alsa/Front_Center.wav

Stále žádný zvuk? Vynutit výstup zvuku z konektoru:

$ sudo raspi -config Advanced Options -> Audio -> Force headphone jack

3. ŘEČ

Pokud výše uvedený zvuk zní dobře, zkuste:

$ flite -t TEST

Chybové zprávy Google, pokud existují.

Znovu spusťte soubor install.sh

Ano, řeč zní trochu jako Stephen Hawking.

4. SKENOVÁNÍ A OCR

Toto je největší potřebná oblast tuningu. Aby OCR správně fungovalo, musí být obraz z kamery dobré kvality; dokument musí být hladce osvětlený, ne však nutně jasně.

Text musí být plochý a jasný. Ne všechna písma jsou čitelná.

Chcete -li ověřit kvalitu, prozkoumejte dva soubory:

/tmp/text.txt a /tmp/image.jpg

Můžete spustit malý webový server a použít prohlížeč:

$ cd /tmp $ python -m SimpleHTTPServer 8080 &

Text na obrázku by měl být jasný a čitelný. Obraz by měl být pravou stranou nahoru, dobrým kontrastem a zaostřený. Pokud je dokument vzhůru nohama, bude možná nutné jej převrátit. (Připomeňte uživateli, že pokud uslyší hltavý blábol, zkuste dokument převrátit.) Pokud má obrázek špatný kontrast, budete muset zlepšit osvětlení, příliš mnoho nebo málo může způsobit problémy. Nerovnoměrné osvětlení také způsobí selhání částí textu. Další pomoc můžete najít vygooglováním „nápovědy tesseract-ocr“

5. MONITOR/KLÁVESNICE HDMI

Ano, k Pi můžete připojit klávesnici a monitor, zejména. pokud nemůžete najít IP adresu nebo nemáte přístup přes SSH. Neexistuje žádné rozhraní GUI a to může vypnout zvuk, pokud váš monitor nemá reproduktor.

6. INTERNET/WIFI

Pokud WIFI nefunguje, můžete dočasně připojit ethernetový kabel a použít jej.

Jakmile dokončíte instalaci a nastavení, tento projekt nepotřebuje internet ani WiFi.