Kino Biofeedback: 7 kroků

2024 Autor: John Day | [email protected]. Naposledy změněno: 2024-01-30 08:23

Autor projektu

Jessica Ann

Spolupracovníci

• Gregory Hough
• Salud Lopez
• Pedro Peira

O

Experimentální systém snímání videa, který propojuje mozek účastníka s funkcemi kamery prostřednictvím čtečky sluchátek Neurosky Mindwave EEG. Systém Biofeedback Cinema funguje místo tradičního kameramana, místo toho dává agenturu kompozice samotnému účastníkovi prostřednictvím vlastního rozhraní BRAIN to CAMERA. Projekt byl vyvinut ve spolupráci s účastníky workshopu Gregory Hough, Salud Lopez a Pedro Peira. Výsledky workshopu si můžete přečíst na:

Konfigurace prototypu

Systém Biofeedback Cinema je vhodný pro mnoho potenciálních aplikací. Pro tento instruktáž jsme připravili demo systému, který se zaměřuje na úroveň zaostření/pozornosti účastníka (jedno celé číslo) a překládá to do polohy kamery (pomocí otáčení a naklánění) a zaostřování kamery (interně přes OpenCV). To vše je možné díky bluetooth propojení mezi čtečkou sluchátek Neurosky EEG a Raspberry Pi.

Raspberry Pi je malý počítač vybavený webovou kamerou a skripty (k dispozici níže), které přemosťují mozkovou aktivitu účastníka na nastavení kamery a polohu kamery. Dynamická poloha kamery je umožněna prostřednictvím mikrokontroléru Arduino přijímajícího signály z Raspberry Pi. Těšíme se na další vývoj, protože se snažíme zahrnout další parametry mozkových vln (frekvence spojené s mrknutím oka atd.) A funkce fotoaparátu (tj. Odstín, sytost, jas atd.).

Níže naleznete pokyny pro sestavení vlastního systému Biofeedback Cinema.

Šťastné experimentování

Krok 1: Spotřební materiál

Vše, co potřebujete k vytvoření vlastního prototypu Biofeedback Cinema, je uvedeno níže.

1. Mobilní EEG náhlavní souprava Neurosky Mindwave

2. Raspberry Pi B+ (b+ je lepší, více portů USB, ale model B je také v pořádku, pokud máte rozbočovač USB).

   1. Napájecí adaptér nebo baterie Raspberry Pi
   2. Wifi dongle - nebo - ethernetové připojení (nutné pouze během instalace)
   3. Bluetooth dongle viz wiki pro kompatibilní dongle
   4. Karta SD (alespoň 8 GB) s NOOBS.

3. Jakákoli deska Arduino je v pořádku, pomocí Uno v tomto Instructable. Všimněte si také, že můžete jednoduše použít I/O na Pi.

   1. Napájecí adaptér Arduino nebo baterie
   2. A-B USB kabel
4. USB webová kamera
5. Mini souprava pro naklápění

6. Monitor s HDMI vstupem Nebo použijte VNC k dálkovému ovládání vašeho pi z vašeho počítače [návod zde]

   HDMI kabel

7. USB klávesnice a myš doporučují bluetooth klávesnici a myš, aby se minimalizovaly použité porty USB.

Krok 2: Nastavení Raspberry Pi

1. Nastavení hardwaru

Připojte k Raspberry Pi klávesnici, myš, bluetooth dongle, wifi dongle (nebo ethernet), webovou kameru, monitor pomocí kabelu HDMI a napájení

2. Nastavení operačního systému

• Zapněte napájení a váš Pi by se měl spustit. Nainstalujte si Rasbpian OS, pokyny zde:
• Pokud je spuštěn a Raspian nainstalován správně, měli byste vidět domovskou plochu [Obrázek výše].

TIPY:

• Pokud je poměr stran plochy vypnutý, zkuste restartovat Raspberry Pi. Pokud je stále vypnutý, podívejte se sem a aktualizujte poměr stran ručně.
• Pokud otevřete textový editor a vaše speciální znaky na klávesnici jsou chybné, podívejte se sem a aktualizujte konfiguraci klávesnice.
• Otestujte si připojení k internetu (budete to potřebovat k instalaci knihoven během instalace). Zde hledejte pomoc s nastavením wifi.

Krok 3: Připojte náhlavní soupravu Neurosky

1. Konfigurace Bluetooth

Než se Pi může připojit k Neurosky, musíme nastavit bluetooth:

Na ploše otevřete „LXTerminal“(dále jen „Terminal“). Spuštěním tohoto příkazu vyřešíte a aktualizujete nedostatky:

$ sudo apt-get update

Nainstalujte bluetooth pomocí tohoto příkazu:

$ sudo apt-get install bluetooth

Nainstalujte si šikovný nástroj bluetooth pro nástrojovou lištu na ploše:

$ sudo apt-get install -y bluetooth bluez-utils blueman

Restartujte Pi z terminálu:

$ sudo restart

2. Otestujte připojení Bluetooth

• Zapněte náhlavní soupravu Neurosky
• Z kontroly terminálu pro zařízení:

hcitool skenování

Měla by být uvedena náhlavní souprava Mindwave, poznamenejte si MAC adresu náhlavní soupravy [obrázek výše]

3. Nainstalujte si knihovny Neurosky

Nyní jsme připraveni nainstalovat knihovny Neurosky Python a začít sbírat jeho datový proud pomocí testovacího skriptu knihovny:

Z terminálu nainstalujte nástroj github:

sudo apt-get install git-core

Klonovat úložiště github s knihovnou Neurosky Python:

klon sudo git

Potřebujeme aktualizovat soubor MindwaveMobileRawReader.py pomocí adresy MAC náhlavní soupravy. Pro informaci: Názvy souborů rozlišují velká a malá písmena

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• Aktualizujte MAC adresu uvedenou v souboru. Ctrl-X pro dokončení, Y pro uložení, Enter pro ukončení.
• Spárujte Neurosky a Pi a povolte funkci automatického připojení, pokud budete vyzváni k zadání PIN, použijte „0000“:

$ sudo bluez-simple-agent hci0 XX: XX: XX: XX: XX: XX

$ sudo bluez-test-device Trusted XX: XX: XX: XX: XX: XX yes

Nainstalujte knihovnu Bluetooth Pythonu:

sudo apt-get install python-bluez

Spusťte testovací skript knihovny, abyste zajistili, že Pi bude moci zobrazit náhled datového proudu. Měli byste vidět streamování dat [obrázek výše]:

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

Krok 4: Připojte webovou kameru USB s otevřeným CV

1. Nainstalujte OpenCV

Z terminálu:

$ sudo apt-get install libopencv-dev python-opencv

Po dokončení pokračujte:

$ sudo apt -get -f install

Pro dobrou míru:

$ sudo apt-get install libopencv-dev python-opencv

Testujte instalaci pokusem o import knihovny:

$ python

> import cv2

2. Otestujte OpenCV v Pythonu pomocí webové kamery USB

• Na ploše otevřete „IDLE“(neotvírejte IDLE3!)
• Z nabídky Soubor vyberte Nové okno. Zkopírujte náš skript Cv-Blur-Test do nového okna a uložte. Skript je k dispozici zde:
• Z nabídky Spustit vyberte Spustit modul (nebo stiskněte F5). Může trvat několik sekund, než se rozběhnete, ale měli byste vidět malý rámeček s vaším živým zdrojem webové kamery a video by mělo být rozmazané. Gratulujeme, OpenCV byl nainstalován a úspěšně funguje s vaší webovou kamerou [obrázek výše].

Krok 5: Připojte Arduino

1. Stáhněte si Arduino IDE

Z terminálu:

sudo apt-get install arduino

2. Připojte Arduino a načtěte náčrt

• Připojte arduino k Pi pomocí kabelu USB A-B.
• V nabídce Start na ploše přejděte na položku Elektronika a otevřete Arduino IDE. Zkopírujte náš náčrtek arduino-serial-pi do IDE [odkaz níže]. Toto je velmi základní skica, která přesune servomotory na základě vstupu přicházejícího přes sériový port. Pošleme data přes seriál na základě výstupu mozkových vln pomocí skici Pythonu v posledním kroku, když dáme všechno dohromady.

Skica Arduino-serial-pi online zde:

V Arduino IDE přejděte do nabídky Nástroje, vyberte Sériový port a vyberte uvedený port Arduino, pravděpodobně něco jako /dev /ttyACM0. Poznamenejte si přístav

3. Zakažte sériovou konzolu

Stažením a spuštěním skriptu deaktivujete sériovou konzoli, aby mohlo sériové připojení USB běžet hladce:

$ wget

/alamode-setup.tar.gz?raw=true -O alamode-setup.tar.gz

$ tar -xvzf alamode -setup.tar.gz

$ cd alamode-setup

$ sudo./setup

$ sudo restart

Pro informaci:

Pokud používáte B+, může být dostatek I/O pro podporu serva (zde se podívejte na nastavení a použití GPIO). Mám však zájem o přidání dalších komponent pro budoucí experimenty mezi mozkem a elektronikou. Nastavení počátečního prototypu pomocí arduina tedy zajistí spoustu průlomových elektronických možností.

Krok 6: Dát to všechno dohromady

1. Konečný skript Pythonu

Než budeme moci přidat konečný skript pythonu do složky „python-mindwave-mobile“, musíme změnit oprávnění ke složce. Z terminálu:

$ chmod a = rwx/home/pi/python-mindwave-mobile

• Otevřete IDLE a spusťte náš konečný skript Pythonu, který je k dispozici online zde: https://github.com/PrivateHQ/biofeedback-cinema/ Ujistěte se, že je umístěn ve složce python-mindwave-mobile. Pro informaci: Náš skript Pythonu budete muset aktualizovat svou skutečnou adresou portu Arduino.
• Když spustíte tento skript, měly by se stát tři věci: 1) Úroveň vaší pozornosti bude uvedena v prostředí Python Shell, 2) Objeví se malý rámeček zobrazující živý přenos z webové kamery se změnou rozostření podle úrovně pozornosti, 3) motor (s) přesuňte se, když se úroveň pozornosti přenáší na arduino prostřednictvím seriálu [Video výše].

Krok 7: Vylepšení a vývoj

Raspberry Pi má omezený výpočetní výkon a má potíže s hladkým spuštěním funkcí OpenCV. To je věc, kterou budu nadále rozvíjet a zlepšovat. Kromě toho plánuji do budoucích iterací zahrnout další parametry mozkových vln (frekvence spojené s mrknutím oka atd.) A funkce fotoaparátu (tj. Odstín, sytost, jas atd.).