Kamerakalibrierung¶
Das Kamerakalibrierungsmodul ist ein Basismodul, welches auf jedem rc_cube verfügbar ist, aber nicht in Kamerapipelines vom Typ rc_visard genutzt werden kann.
Bemerkung
Dieses Softwaremodul ist pipelinespezifisch. Änderungen seiner Einstellungen oder Parameter betreffen nur die zugehörige Kamerapipeline und haben keinen Einfluss auf die anderen Pipelines, die auf dem rc_cube laufen.
Um die Kamera als Messinstrument zu verwenden, müssen die Kameraparameter, wie die Brennweite, die Objektivverzeichnung und die Lage der Kameras zueinander, genau bekannt sein. Diese Parameter werden durch Kalibrierung bestimmt und für die Rektifizierung der Bilder, die Grundlage für alle anderen Bildverarbeitungsmodule ist, verwendet (siehe Rektifizierung).
Mit dem Kamerakalibrierungsmodul lassen sich die Kalibrierungsüberprüfung und Kalibrierung vornehmen.
Kalibriervorgang¶
Die Kamerakalibrierung kann über die Web GUI in der gewünschten Pipeline unter vorgenommen werden. Diese Seite bietet einen Assistenten, der den Benutzer durch den Kalibriervorgang führt.
Während der Kalibrierung muss das Kalibriermuster in verschiedenen Posen erkannt werden. Dabei müssen alle schwarzen Quadrate des Musters müssen komplett in beiden Kameras sichtbar sein und dürfen nicht verdeckt werden. Jedes korrekt erkannte Quadrat wird mit einem grünen Haken belegt. Das Muster kann nur dann korrekt erkannt werden, wenn alle schwarzen Quadrate erkannt werden. Werden einige der Quadrate nicht oder nur für kurze Zeit erkannt, so kann dies an schlechten Lichtverhältnissen oder einem beschädigten Kalibriermuster liegen. Ein dicker grüner Rahmen um das Kalibriermuster zeigt an, dass das Muster korrekt in beiden Kamerabildern erkannt wurde.
Kalibriereinstellungen¶
Die Qualität der Kamerakalibrierung hängt stark von der Qualität des Kalibriermusters ab. Kalibriermuster können von Roboception bezogen werden.
Abb. 37 Kalibriereinstellungen
Im ersten Schritt muss das verwendete Kalibriermuster angegeben werden. Mit Klick auf Weiter gelangt der Benutzer zum nächsten Schritt.
Fokus einstellen¶
In diesem Schritt kann der Fokus der Kameras eingestellt werden. Dazu muss das Kalibriermuster so gehalten werden, dass es gleichzeitig in beiden Kameras sichtbar ist. Nachdem das Kalibriermuster erkannt wurde, erscheint an den rechten Bildrändern jeweils ein grüner Balken, der die Unschärfe des Bildes angibt. Der Fokus jeder Kamera sollte so eingestellt werden, dass dieser Balken für jedes Bild minimal wird.
Bemerkung
Während der Kalibrierung eines rc_viscore werden die Belichtungseinstellungen der Kamera temporär so verändert, dass die Kalibrierung einfacher möglich ist. Diese Belichtungswerte können weiterhin geändert werden, und sie werden zurückgesetzt, sobald die Kalibrierung abgeschlossen oder abgebrochen wird.
Für die Kalibrierung eines Basler blaze Sensors sollte die Farbkamera auf die geringste Distanz fokussiert werden, damit das Kalibriermuster erkannt werden kann, wenn es nahezu bildfüllend positioniert ist. Die Kamera kann nach der Kalibrierung wieder auf den Arbeitsabstand scharfgestellt werden.
Weiterhin sollte die Belichtungszeit der blaze Time-of-Flight Kamera auf das Minimum reduziert werden. Andernfalls kann das Kalibriermuster aufgrund der Überbelichtung nicht erkannt werden.
Abb. 38 Fokuseinstellung jeder Kamera
Kalibrierung prüfen¶
In diesem Schritt kann die aktuelle Kalibrierung überprüft werden. Um diese Prüfung vorzunehmen, muss das Muster so gehalten werden, dass es sich gleichzeitig im Sichtfeld beider Kameras befindet. Nachdem das Muster vollständig erkannt wurde, wird der Kalibrierfehler automatisch berechnet und das Ergebnis auf dem Bildschirm angegeben.
Abb. 39 Überprüfung der Kalibrierung
Bemerkung
Um einen aussagekräftigen Kalibrierfehler berechnen zu können, muss das Muster so nah wie möglich an die Kameras gehalten werden. Bedeckt das Muster lediglich einen kleinen Bereich der Kamerabilder, ist der Kalibrierfehler grundsätzlich geringer als wenn das Muster das gesamte Bild ausfüllt. Aus diesem Grund werden zusätzlich zum Kalibrierfehler an der aktuellen Position des Kalibriermusters auch der minimale und maximale Fehler während der Überprüfung der Kalibrierung angezeigt.
Der typische Kalibrierfehler beläuft sich auf unter 0,2 Pixel. Liegt der Fehler in diesem Bereich, kann der Kalibriervorgang übersprungen werden. Ist der errechnete Kalibrierfehler jedoch größer, sollte eine Neukalibrierung vorgenommen werden, um sicherzustellen, dass der Sensor volle Leistung erbringt. Mit Klick auf Weiter gelangt der Benutzer zum nächsten Schritt.
Warnung
Große Kalibrierfehler können durch falsch kalibrierte Kameras, ein unpräzises Kalibriermuster oder eine falsch eingetragene Musterbreite oder Musterhöhe verursacht werden. Bei der Verwendung eines benutzerdefinierten Kalibriermusters muss sichergestellt werden, dass das Muster präzise und die angegebenen Breiten- und Höhendaten korrekt sind. Anderenfalls kann die manuelle Kalibrierung sogar dazu führen, dass die Kameras dekalibriert werden!
Kalibrieren¶
Bevor die Kalibrierung vorgenommen wird, sollte die Belichtungszeit der Kamera richtig eingestellt werden. Um ein gutes Kalibrierergebnis zu erzielen, sollten die Bilder gut belichtet und Bewegungsunschärfe vermieden werden. Die maximale Belichtungszeit im automatischen Modus sollte so klein wie möglich sein, aber dennoch eine gute Belichtung ermöglichen. Die aktuelle Belichtungszeit wird, wie in Abb. 41 gezeigt, unter den Kamerabildern angegeben.
Für eine vollständige Kalibrierung müssen zunächst beide Kameras einzeln intrinsisch kalibriert werden (Monokalibrierung). Anschließend wird durch die Stereokalibrierung die Ausrichtung der beiden Kameras zueinander bestimmt. In den meisten Fällen wird die intrinsische Kalibrierung der beiden Kameras nicht beeinträchtigt. Daher wird die Monokalibrierung standardmäßig bei einer Neukalibrierung übersprungen, kann aber durch Klick auf Monokalibrierung durchführen durchgeführt werden. Dies sollte nur geschehen, wenn das Ergebnis der Stereokalibrierung nicht zufriedenstellend ist.
Wenn ein Basler blaze Sensor erstmalig mit dem rc_cube verbunden wird, ist er noch unkalibriert und muss vollständig kalibriert werden. In diesem Fall wird die Monokalibrierung automatisch angeboten und kann nicht übersprungen werden, um die vollständige Kalibrierung zu gewährleisten. Sobald die Kalibrierung gespeichert wurde, verbleibt sie permanent auf dem rc_cube und wird automatisch angewendet, wenn der blaze Sensor wieder mit dem rc_cube verbunden wird, unabhängig von Port und Kamerapipeline.
Stereokalibrierung¶
Bei der Stereokalibrierung wird die relative Rotation und Translation der Kameras zueinander ermittelt.
Die Kamerabilder können auch gespiegelt angezeigt werden, um die korrekte Ausrichtung des Kalibriermusters zu vereinfachen.
Als erstes muss das Kalibriermuster möglichst ruhig und so nah wie möglich an die Kamera gehalten werden. Es muss vollständig in beiden Bildern sichtbar sein und die Kameras sollten senkrecht auf das Kalibriermuster gerichtet sein. Wenn das Kalibriermuster nicht senkrecht zur Sichtachse der Kameras ausgerichtet ist, erscheinen kleine grüne Pfeile auf dem Kamerabild, die auf die erwarteten Positionen der Ecken des Kalibriermusters zeigen (siehe Abb. 40).
Abb. 40 Pfeile weisen darauf hin, wenn das Muster während der Stereokalibrierung nicht senkrecht zur Blickrichtung der Kamera gehalten wird.
Das Muster muss für die Erkennung sehr ruhig gehalten werden. Wenn Bewegungsunschärfe auftritt, wird das Muster nicht erkannt. Alle Zellen, die im Kamerabild dargestellt sind, müssen vom Kalibriermuster abgedeckt werden. Dies wird durch eine grüne Füllung der erfassten Zellen dargestellt (siehe Abb. 41).
In Abhängigkeit von der Kamera muss das Kalibriermuster möglicherweise an verschiedene Position gehalten werden, bis alle Zellen erfasst und grün hinterlegt sind.
Abb. 41 Stereokalibrierung: Das Muster sollte so nah wie mögich gehalten werden, um alle dargestellten Zellen zu füllen.
Bemerkung
Falls alle Häkchen auf dem Kalibriermuster verschwinden, liegt dies daran, dass die Kamerablickrichtung nicht senkrecht zum Muster steht, oder das Muster zu weit von der Kamera entfernt ist.
Sobald alle Zellen erfasst und gefüllt sind, verschwinden sie und eine einzelne entfernte Zelle wird angezeigt. Nun muss das Kalibriermuster so weit entfernt wie möglich gehalten werden, damit die kleine Zelle erfasst wird. Pfeile zeigen an, falls das Muster noch zu nah an der Kamera ist. Wenn das Kalibriermuster erfolgreich detektiert wurde, wird die Zelle grün und das Kalibrierergebnis kann berechnet werden (siehe Abb. 42).
Abb. 42 Positionierung des Musters so entfernt wie möglich während der Stereokalibrierung
Führt die Stereokalibrierung nicht zu einem akzeptablen Kalibrierfehler, sollte die Kalibrierung erneut vorgenommen werden, jedoch mit Monokalibrierung (siehe nächster Abschnitt Monokalibrierung).
Monokalibrierung¶
Monokalibrierung ist die intrinsische Kalibrierung jeder einzelnen Kamera. Da die intrinsische Kalibrierung in der Regel nicht beeinträchtigt wird, sollte die Monokalibrierung nur durchgeführt werden, wenn das Ergebnis der Stereokalibrierung nicht zufriedenstellend ist.
Durch Klicken auf Monokalibrierung durchführen im Reiter Kalibrieren kann die Monokalibrierung gestartet werden.
Zur Kalibrierung muss das Kalibriermuster in verschiedenen Ausrichtungen vor die Kamera gehalten werden. Die Pfeile, die von den Ecken des Musters bis zu den grünen Bildschirmbereichen führen, geben an, dass alle Musterecken innerhalb der grünen Rechtecke platziert werden müssen. Diese grünen Rechtecke sind sensible Bereiche. Mit dem Schieberegler Größe der sensiblen Bereiche lässt sich die Größe der Rechtecke einstellen, um die Kalibrierung zu vereinfachen. Es ist jedoch zu bedenken, dass die Größe nicht zu stark erhöht werden darf, da dies auf Kosten der Kalibriergenauigkeit gehen kann.
Häufig wird der Fehler begangen, das Muster bei der Kalibrierung falsch herum zu halten. Dieser Fehler lässt sich leicht erkennen, da sich die von den Musterecken zu den grünen Rechtecken verlaufenden Linien in diesem Fall kreuzen (siehe Abb. 43).
Abb. 43 Wird das Kalibriermuster falsch herum gehalten, kreuzen sich die grünen Linien.
Bemerkung
Die Kalibrierung mag umständlich erscheinen, da das Muster hierfür in bestimmten vordefinierten Stellungen gehalten werden muss. Dieses Vorgehen ist jedoch notwendig um ein qualitativ hochwertiges Kalibrierergebnis zu erreichen.
Für den Prozess der Monokalibrierung ist das Kalibriermuster für beide Kameras in den in Abb. 44 angegebenen Stellungen zu halten.
Abb. 44 Musterposen für die Monokalibrierung
Nachdem die Ecken oder Seiten des Kalibriermusters auf die sensiblen Bereiche ausgerichtet wurden, zeigt der Kalibriervorgang automatisch die nächste Stellung an. Sobald der Prozess für die linke Kamera abgeschlossen ist, ist er ebenso für die rechte Kamera zu wiederholen.
Anschließend folgen sind die Schritte im vorherigen Abschnitt Stereokalibrierung zu befolgen.
Kalibrierergebnis speichern¶
Mit Klick auf die Schaltfläche Kalibrierung berechnen wird der Kalibriervorgang beendet und das Endergebnis angezeigt. Der eingeblendete Wert ist der mittlere Reprojektionsfehler aller Kalibrierpunkte. Er ist in Pixeln angegeben und beläuft sich typischerweise auf einen Wert von unter 0,2.
Mit Klick auf Kalibrierung speichern wird das Kalibrierergebnis übernommen und auf dem Gerät gespeichert.
Bemerkung
Das eingeblendete Ergebnis ist der nach der Kalibrierung bestehende Mindestfehler. Der reale Fehler liegt auf keinen Fall darunter, könnte theoretisch jedoch höher sein. Dies gilt für jeden Algorithmus zur Kamerakalibrierung und ist der Grund dafür, warum das Kalibriermuster in verschiedenen Positionen vor den Sensor zu halten ist. So ist sichergestellt, dass der reale Kalibrierfehler den errechneten Fehler nicht signifikant überschreitet.
Warnung
War vor der Durchführung der Kamerakalibrierung eine Hand-Auge-Kalibrierung auf dem rc_cube gespeichert, so sind die Werte der Hand-Auge-Kalibrierung möglicherweise ungültig geworden. Daher ist das Hand-Auge-Kalibrierverfahren zu wiederholen.
Parameter¶
Dieses Modul wird in der REST-API als rc_stereocalib bezeichnet.
Bemerkung
Die verfügbaren Parameter und die Statuswerte des Moduls zur Kamerakalibrierung sind nur für den internen Gebrauch bestimmt und können ohne vorherige Ankündigung Änderungen unterzogen werden. Die Kalibrierung sollte gemäß den vorstehenden Anweisungen und ausschließlich in der Web GUI vorgenommen werden.
Services¶
Bemerkung
Die verfügbaren Services des Moduls zur Kamerakalibrierung sind lediglich für den internen Gebrauch bestimmt und können ohne vorherige Ankündigung Änderungen unterzogen werden. Die Kalibrierung sollte gemäß den vorstehenden Anweisungen und ausschließlich in der Web GUI vorgenommen werden.