Motion Tracking

Een podium-tracking systeem die licht/visuals aanstuurt door middel van bewegingen van de artiest op het podium

Opdracht

Het doel van dit project is het ontwikkelen van een Podium-Tracking systeem. Dit systeem is bedoeld om bewegingen van artiesten op te detecteren en deze accuraat te volgen. De data die hieruit voortvloeit wordt gebruikt om Licht/Visuals dynamisch te laten veranderen

Inhoud

Software

De broncode voor de tracking algoritmes en aansturing is te vinden in de Software map. We maken gebruik van Python, OpenCV, YOLO,... voor de beeldverwerking en data-analyse.

Documentatie

De algemene documentatie voor het project is te vinden in de Documentatie map. Hierin vind je technische specificaties, flowcharts en uitleg over de werking van het tracking algoritme.

Research

Alle onderzoeken voor het project kan men terug vinden in de Research map. Hierin vind je gevonden informatie, ruwe datasheets,...

Installatie Motion Tracking met projector

Benodigdheden:

• Projector of groot scherm
• Raspberry Pi 5 + hailo ai kit
• USB Camera -> verbonden met raspberry
• Radxa Rock 5B of sterker apparaat -> verbonden met projector
• Virtuele Machine op server of iets waar je website op kan hosten

Stappen:

1. Clone de github-repo op de Raspberry Pi 5, Rock en VM.

2. Lokaliseer de juiste files per apparaat: map Visual_output > Radxa Rock | map Hailo_tracking > Raspberry Pi 5 Hailo Kit | map Vm > Virtuele Machine op server

3. Sluit de camera aan op de Raspberry Pi 5 en de projector op de Radxa Rock

4. Zorg ervoor dat de Projector en camera steeds goed gepositioneerd blijven (dit kan met een statief + plaat).

5. Start het script hailo_apps/hailo_app_python/start_tracking op de Raspberry Pi en ook het script visual_output/main.py starten op de Rock.

6. Laat de camera de fudicials tracken, als de fudicials dan verdwijnen zou de tracking moeten opgestart zijn.

7. Surf naar het IP-adres van uw VM op poort 80:

[IP-Adres]:80

Gebruik

1. Start alles op (zie installatie).

2. Ga voor de camera staan/bewegen om effecten te zien op de projector.

3. Pas achtergronden en effecten aan op de website om mooie visuals te krijgen.

Installatie Motion Tracking met Moving Spot

Benodigdheden:

• 2X ESP32-C3-DevKitC-02
• Radar Sensor (mmWave-sensor) (Ai-Thinker Rd-03D 24GHz Radar Sensor Module)
• Arduino Uno
• QShield Servo Driver Board
• Servo Motoren (Nema 17)
• Spotlight Lamp (Eurolite LED PST-12W 6000K Spot)

Stappen voor installatie van Radar

1. Lokaliseer de juiste files door te Navigeren naar : Software > Radar > Radar_code > Radar_code.ino .
2. Verbind de Esp en de Radar met elkaar via een usb-a kabel.
3. Upload de Radar_code.ino naar de esp.
4. Hang de radar op de positie waar de personen wilt tracken.
5. Verbind de radar via deze wijze :

   Radar	ESP32
   RX	TX (Pin 18)
   TX	RX (Pin 19)
   5V	5V
   GND	GND

Stappen voor MQTT Receiver Esp

1. Lokaliseer de juiste files door te navigeren naar : Software > Radar > tweed_esp > mqtt_sender > mqtt_sender.ino

2. Connecteer je esp met je computer en upload de mqtt_sender.ino code naar je esp.

3. Connecteer je esp met de arduino :

   Pinout ESP	Pinout Arduino
   GND	GND
   TX (pin 21)	Pin 2
   RX (pin 5) optioneel	Pin 3 optioneel

Team

Team	Afstudeerrichting
Brent Vileyn	Elektronica
EwoudBoutje	Network & System Admin
Jason De Smet	Network & System Admin
Jamie Jones	Network & System Admin

Planning

Sprint 1 (Week 1-4):

• Alle componenten besteld
• Camera doen werken op Raspberry Pi + Scherm herkennen met testcode
• Radar Module onderzoeken + schema's maken
• Visuals onderzoeken + hoe uit pi krijgen

Sprint 2 (Week 5-8)

• Eerst prototype afgewerkt
• Foto's & video's voor sociale media
• Visual dynamisch kunnen aanpassen aan artiest

Sprint 3 (Week 9-15)

• volledig werkende visuals show
• eventuele uitbreidingen toepassen
• documentatie afgewerkt