Ich habe versucht über einen Local SSH Tunnel auf das NAS zu kommen, um darüber eine Datenverbindung aufzubauen. Da mein Versuch am Ende erfolgreich war, möchte ich die Lösung hier teilen:

Erst mal muss man sich für die Konfiguration mit root@<hostname> auf dem Kodi im lokalen Netzwerk anmelden. Dann findet man unter /storage/.config/autostart.sh eine Datei, in der man Befehle eintragen kann, die Kodi beim Start ausführt. Also der perfekte Ort um eine SSH Verbindung zum NAS beim Start des Kodi aufzubauen. Das mache ich mit dem Befehl ssh <user>@<adresse> -i <IdentityFile> (anlegen, wenn nicht vorhanden) -p <port> -f (background) -T (kein Terminalemulator) -L 5005:localhost:5005 sleep 14d

sleep 14d hält die Remote Verbindung für 14 Tage offen. Ohne dieses Kommando würde sich die SSH Verbindung sofort wieder schließen.

Mit diesem Befehl baue ich eine Verbindung zum WebDAV Dienst auf dem NAS auf, ohne SSL Verschlüsselung, weil alles lokal.

Um schließlich auf die Daten auf dem NAS mit Kodi zugreifen zu können, muss ich in Kodi noch ein neues Network-Share hinzufügen. Als Dienst gebe ich natürlich WebDAV an und nutze meine normalen Zugangsdaten. Allerdings mit der Adresse localhost bzw. 127.0.0.1 und Port 5005.

Die Daten fließen nun durch den verschlüsselten Tunnel zum Kodi.

Wenn du mehrere Unterverzeichnisse hast, über die vertreut Bilddateien liegen, die du platzsparend kleinrechnen und in ein eigenes Verzeichnis abspeichern willst, dann probiere diesen Code aus:

find . -name *.TIF -print0 | \
xargs -n1 -0 -I% sh -c \
'convert -format jpg -quality 80 \
"%" klein/$(basename "%" .TIF).jpg'

# find: Dateien suchen
# Pipe zu xargs
# führt ein Shell Kommando mit convert aus
# schreibt alle Dateien in ein! Unterverzeichnis

Ich hatte viele große TIF Dateien vom Fotografen aus mehreren WeTransfer ZIP Dateien extrahiert, die nun in verschiedenen Ordnern verstreut lagen. Eine Datei wog über 100 MB. Die vielen überflüssigen GB Speicherplatz wollte ich wieder auflösen.

Ein find . -name *.TIF sucht rekursiv nach allen TIF Dateien.
-print0 sorgt dafür dass ein null character als Trennzeichen gesetzt wird, weil sonst Leerzeichen in den Ordnernamen für Falschinterpretationen nach der Pipe entstehen können.

xargs -n1 führt maximal ein Argument im nachfolgenden Befehl aus
-0 löst die null character als Trennzeichen auf
-I% ist der Platzhalter für den Pfad/Dateinamen der gefundenen Datei
sh -c führt ein Shell Kommando von einem String aus, das in einfachen Anführungszeichen folgt:
convert -format jpg -quality 80 stellt die Konvertierung auf JPG und Qualität 80% ein.
"%" Damit die Leerzeichen richtig interpretiert werden muss der Platzhalter in Anführungszeichen stehen.
$(basename "%" .TIF).jpg sorgt dafür, dass nur der Dateiname vom Platzhalter verwendet wird und das .TIF ausgelassen wird, so dass ich lediglich die Endung jpg am Ende habe.

Der Akku entlädt sich aber über einen längeren Zeitraum von alleine. Fällt seine Kapazität auf unter 95%, wird er über das Netzteil auf 100% nachgeladen. Wer also den eingebauten Akku schonen will, weil der Laptop meistens auf dem Schreibtisch steht, versucht meiner Meinung nach den Ladezustand über 95% so lange wie möglich zu halten.

Wenn man aber den Laptop transportiert, um ihn an anderer Stelle wieder mit dem Stromnetz zu verbinden, z.B. bei einem Arbeit- oder Auftraggeber oder bei Freunden, dann kann es sein, dass er am Zielort bereits 1% oder mehr an Kapazität verloren hat, weil er im zugeklappten Zustand auch Strom verbraucht.

Der Verlust an Kapzität tritt auf, wenn man ihn in den Ruhemodus versetzt, z.B. in dem man ihn zuklappt und anschließend vom Stromnetz trennt. Im Ruhezustand behält er den aktuellen Systemzustand im RAM. Das sorgt dafür, dass er nach dem Aufklappen fast instantan den Zustand aufrufen kann, an dem den Laptop schlafen legte. Denn aus dem RAM lässt sich bekanntlich am schnellsten lesen.

Nun verbraucht das Speichern der Daten im RAM aber Strom, den er sich aus dem Akku holen muss. Darum verliert der Laptop während des Transportes Strom.

Lösung

Man kann unter OSX (macOS) einstellen, wie der Hibernation-Zustand, der Ruhemodus, ausgeführt wird. Es gibt mehrere Varianten:

Speichern des System-Zustandes

• (0) Systemzustand nur im RAM gespeichert (geht der Akku auf 0%: Totalverlust)
• (25) nur auf der Festplatte gespeichert (langsames speichern und laden des Zustands)
• (3) im RAM und auf Festplatte gespeichert (safe sleep – Standard)

Eine Änderung an den Systemeinstellungen kann man über das Terminal, die Kommandozeile vornehmen. Man kann mit pmset -g erfahren, welche Power Management Settings gesetzt sind. Hinter dem Stichwort hibernationmode steht eine Zahl, die für den Modus steht (s.o.). Will man den Modus auf akkuschonenenden Festplattenmodus stellen, muss man sudo pmset -a hibernationmode 25 eingeben und anschließend neu starten. Anschließend kann man das sleepimage aus dem Pfad /private/var/vm mit sudo rm -f /private/var/vm/sleepimage löschen und einiges an Platz auf der Festplatte frei machen.

Im Modus 25 wird der Zwischenstand allein auf die Festplatte geschrieben, was bei einer SSD kaum Zeit benötigt. Dann wird der Rechner komplett ausgeschaltet und kann durch Drücken auf den Powerknopf wieder geweckt werden. Man verliert (fast) keinen Strom unterwegs.
Es gibt aber einige Fallen die unterwegs doch für Akkuverlust sorgen könnten. Der Rechner startet (bei mir) alle 2 Stunden, um sich dem Netzwerk zu zeigen. Das sollte man unterbinden mit sudo pmset -a ttyskeepawake 0. Dass er nicht gleich beim Öffnen des Deckels angeht, sollte man sudo pmset lidwake 0 setzen.

Wie geht also die Einrichtung, wenn PiHole nur als DNS Server arbeiten soll, danach aber noch, quasi als Fallback, der Router kommt, der die lokale DNS Auflösung übernimmt?

In der Frage steckt schon ein Teil der Antwort. Mein DHCP Server vergibt als DNS Server 1 die lokale Adresse vom PiHole. Er selber löst DNS Adressen nicht über den PiHole auf. Er ist das Gateway und löst die DNS über den externen DNS Dienst auf, den ich normalerweise im PiHole angeben würde. Statt dass ich den externen DNS Server jetzt im PiHole angebe, gebe ich als externen DNS Server den Router an. Der nimmt jetzt alle Anfragen entgegen: die für die lokalen Adressen und die gefilterten externen Adressen. Damit werden die lokalen Adressen richtig aufglöst und die externen werden nach aussen geleitet. Zwar ohne DNSSEC und DoT, etc. aber das ist vielleicht nicht so problematisch, wenn es nur um den Filter geht.

Also noch mal: der DHCP Server im Router teilt den Clients mit, dass ihr DNS Server der PiHole ist. Der PiHole ist jetzt der erste DNS Server im Netzwerk. Im PiHole stellt man für die externe DNS Auflösung nicht Quad9, OpenDNS, Cloudflare oder was auch immer ein, sondern gibt die IP des Routers ein (Settings > DNS). Und dem Router sagt man, dass der DNS Anfragen dann über den externen DNS Server seiner Wahl übernimmt. Im Fall des Edge Routers ist das in der Leiste am untersten Bildrand (System > Nameserver

• OpenElec
• Keys für SSH erzeugen

Ich war neulich auf Reisen und bekam eine LTE Verbindung mit Volumenbegrenzung von 10GB spendiert. Problem war, dass ich von einer Flatrate ausgegangen war. Nun hatte ich darauf verzichtet vorher alle für die Arbeit benötigten Daten auf lokale Speichermedien zu kopieren, da ich dachte, dass ich ja auch später noch alles was fehlt nachträglich über das Netz laden kann. Doch wenn man sich seine 10GB doch einteilen muss, sucht man nach anderen Internet-Quellen. Die nächste Flatratequelle war in diesem Fall ein kostenloses Gastnetzwerk in der Nähe. Auf diesem Gastnetzwerk waren nicht viele Ports offen: 80, 443, 25, 143, 993, 995, 8080, um den Großteil zu nennen. Alle Ports die ich für eine Downloadverbindung zum Server brauchte, waren verschlossen und da meine OpenVPN Verbindung auf UDP 1194 eingestellt war, kam ich damit auch nicht weiter.

SSH Port Weiterleitung am Router

Welche Ports blockiert werden, kann man ganz einfach mit curl portquiz.net:993 herausfinden. Wobei 993 der Port ist, den man testen will. Die Seite portquiz.net bietet auch noch andere Testvarianten.

Zum Hauptproblem fand ich mehrere Lösungswege. Der erste schien mir am schnellsten. Wollte ich doch zu erst meine SSH Verbindung wieder nutzen, ohne den Port vom SSH Client zu ändern. Ich hatte zwar schon eine Portweiterleitung eingerichtet, aber die benutzte einen Port, der ebenfalls blockiert wurde.
Die Portweiterleitung ändere ich eigentlich am einfachsten mit dem Webinterface meines entfernten Routers, der die Zugänge zu meinem Server hinter dem Router regelt. Dort leite ich einfach einen im Gastnetzwerk freien Port (bspw. 993) auf meinen SSH Client um.
Das funktionierte leider nicht sofort und ich habe erst später gemerkt, woran es lag. Ich hatte in meiner Portweiterleitung mehrere Weiterleitungen angelegt, die alle auf den gleichen Port zeigten. Doch es fand weiterhin nur eine Weiterleitung über meinen alten Port statt, nie über die neu angelegten. Und der alte war nach wie vor im Gastnetzwerk gesperrt. Nach langem Rumprobieren kam ich drauf, dass ich die Portweiterleitungen, die ich für den Zielport 22 angelegt hatte, ein mal alle komplett abschalten musste, abspeichern und dann auf dem neuen Port wieder aktivieren musste. Dann übernimmt er die neue Weiterleitung. Doch darauf war ich erst ganz am Schluss gekommen. Denn vorher habe ich meine OpenVPN Verbindung auf TCP 443 eingestellt.

Open VPN auf https-Standardport 443 einstellen

Mit dem Umstellen von UDP Port 1194 auf TCP 443 habe ich eine sichere Fallback Lösung für alle Fälle, denn 443 müsste immer und überall offen sein und mit der VPN Lösung sollte ich immer alles über das Netzwerk bekommen, was ich brauche. Was ist eigentlich besser: OpenVPN via UDP oder TCP? (engl)

SSH Tunnel mit lokaler Portweiterleitung

Die dritte und und interessanteste Lösung war der SSH Tunnel, den ich ausprobieren musste, um ihn wirklich zu verstehen.
Angenommen ich erreiche meinen SSH Client neuerdings über Port 25, gebe ich im Terminal folgendes ein
sudo ssh -p 25 user@sshclient.de -L 8080:meinserver.de:5006 -N
macOS wollte sudo, weil Privileged ports can only be forwarded by root.
Ich verbinde mich also zuerst mit -p Port 25 auf meinen SSH Client.
Warum noch mal 25? Ist beispielhaft für einen Port im Gastnetzwerk, der nicht gesperrt ist, so dass nun der angerufene Router den Verkehr von 25 auf 22 weiterleiten kann.
Jetzt steht schon mal eine SSH Verbindung im blockierten Gastnetzwerk.
Wenn ich jetzt mit dem Browser auf das unerreichbare Webinterface meines Servers kommen möchte brauche ich noch -L offenerPort:angerufenerServer:geblockterPort.
Mit -L leite ich alle „local“ Anfragen, auf den im Gastnetzwerk freien Port 8080, über die etablierte SSH Verbindung. Mein verbundener SSH Client erzeugt einen Tunnel auf dem offenen Port 8080 und holt darüber die Pakete von dem im Gastnetzwerk unerreichbaren Port 5006 aus meinem Server.
Das -N weist SSH an, keine Befehle zu erwarten, das heißt, SSH stellt keine Eingabeaufforderung her, sondern ist im Horch-Modus.

Um die Adresse, die ich normalerweise mit https://meinserver.de:5006 aufrufen würde, zu erreichen, gebe ich jetzt im Browser https://localhost:8080 ein. Dann kann ich über den Port 8080 in den Tunnel meiner SSH Verbindung steigen und komme am anderen Ende auf meinem Server mit dem Port 5006 raus.

Mit diesen drei Lösungsmöglichkeiten ist man wirklich gut ausgestattet, um seine Daten in blockierten Umgebungen zu erreichen.

Ein Problem gibt es aber noch, nämlich wenn man im Browser über einen Nicht-Standard-Port in den Tunnel möchte. Wenn man, wie ich, über Port 993 seine getunnelte Seite ansurfen will, gibt es bei allen Browsern eine Fehlermeldung, bspw. Firefox Fehler: Port aus Sicherheitsgründen blockiert.

Um den Fehler zu beheben gibt man in die Firefox Adresszeile about:config ein und sucht oder erstellt den Eintrag network.security.ports.banned.override. Als Wert wird der Port eingetragen bspw. 993.

• Testet blockierte Ports
• SSH Port Weiterleitung (engl)
• SSH Weiterleitung einfach (engl)
• Umfangreiche Liste aller Ports
• In Firefox über Nicht-Standard-Ports surfen

• Danke für den Tipp

Rückschläge

Mein erster Gedanke ist, dd if=/dev/alt of=/dev/neu, wird es schon richten. Ich halte das System an, baue die Festplatte aus und hänge sie und die neue an meinen Rechner, spiegle sie und baue die neue wieder ein. Warum genau das nicht ging, blieb mir ein Rätsel. Fakt war, ich konnte die gespiegelte Platte nicht einfach einsetzen und das System hochfahren. Er akzeptierte sie schlichtweg nicht. Ich probierte verschiedene Anläufe. Im zweiten Schritt versuchte ich die zu vergößernde Platte im laufenden Betrieb mit dd zu spiegeln, in dem ich die zweite Platte an den USB 3.0 Port hing. Auch das ging nicht. Ich versuchte noch andere Ansätze, in dem ich mit rsync alle Daten kopierte und so weiter. Es wäre genau so müßig weiter aufzuzählen, was ich alles versucht habe, insofern will ich zur Lösung kommen, die ich erfolgreich angewendet habe.

dd läuft im Hintergrund

Dazu muss man wissen, dass, wenn die Platten nicht im RAID Verbund sind, trotzdem von der Diskstation als RAID formatiert werden. Beide Platten im System sind RAID 1 (gespiegelt), aber jeweils nur mit einer Platte im Verbund. Es ist also ein nichtgespiegeltes Array, weil es nur aus einer Platte besteht.

Der richtige Weg

Auf der Kommandozeile konfiguriert man sein RAID Array mit dem Befehl mdadm (multiple devices admin).
Man kann ein Array damit anlegen, erweitern, Platten abkoppeln, synchronisieren und alles, was man mit einem Software Array so machen muss.
Grob formuliert geht der Weg so:

• Partitionstabelle der alten Platte auf die neue kopieren
• eindeutige UUID der neuen Platte zuweisen
• mdadm nutzen um die neue Platte in das Array einzugliedern
• das Array auf 2 Plattem vergrößern und synchronisieren lassen
• die alte Platte aus dem Array entfernen und das Array wieder auf eine Platte verkleiner
• die Partitionsgröße der neuen Festplatte auf das Maximum verrößern

Meine Diskstation hat auf der alten Platte 3 Partitionen. Jede Partition ist eigentlich ein RAID 1 Array, mit nur einer Platte.
Raid Arrays haben im System eine neue Bezeichnung.
Auf der Diskstation ist

md0 = Root = sda1 // die Systempartition
md1 = Swap = sda2 // die Auslagerungsdatei
md2 = Daten = sda3 // die kompletten Daten


Festplatten vorbereiten

Damit die neue Platte dem Array hinzugefügt werden kann, muss sie natürlich über die gleiche Partitionstabelle verfügen. Alle drei Partitionen sda1, sda2 und sda3 müssen auf beiden Platten identisch sein. Da ich die Partitionen mit dd gespiegelt hatte, waren sie bereits identisch.

Wer diesen Schritt nicht machen will, kommt nicht umhin beide Platten an einem anderen Computer anzuschließen, am besten mit Linux Betriebssystem, um das Layout mit sgdisk, zu kopieren. Der Befehl ist nicht auf der Diskstation installiert und darum muss er auf einem anderen Rechner ausgeführt werden. sgdisk erlaubt Partitionstabellen mit sgdisk -R=/dev/sdq /dev/sdb zu kopieren. Es gibt auch eine Möglichkeit mit dd auf dem Server nur die Layoutouts zu kopieren. Da ich beides nicht gemacht habe, kann ich keine verlässliche Aussage zu den Methoden machen, würde mich aber selber für sgdisk entscheiden, wenn die Möglichkeit besteht, die Festplatten an den Linuxrechner zu hängen.

Update November 2021: Ich habe eine Formel gefunden, mit der ich, als ich mal wieder die Festplatte verößern musste, die GPT-Partitionstabelle auch mit dd kopieren konnte.
(128 x ANZAHL_DER_PARTITIONEN) + 1024
Das sind bei 3 Partitionen: 1408 Bytes müssen kopiert werden
Dann lautet der Befehl: dd if=/dev/sda of=DATEI_ODER_LAUFWERK count=1408 bs=1

An dieser Stelle der Hinweis, dass man seine alte Platte vielleicht ein mal auf einer Platte sichert, die nicht die alte ersetzen soll. Ich hatte mir als Ersatz für die alte Platte zwei neue Platten gekauft. Die eine wird für die Diskstation vorbereitet, die andere habe ich, wie immer, als Backup mit allen alten Daten bespielt, ohne besonderen Wert auf Bootbarkeit zu legen.

Wenn die Partitionstabelle auf der neuen Platte ist, vergeben wir neue GUIDs mit sgdisk -G /dev/sdq.

Jetzt können wir die alte Platte wieder in die Diskstation einbauen und das System starten. An einen freien USB Port hänge ich die neue vorbereitete Platte. Sie hat die Laufwerksbezeichnung /dev/sdq

Das Array mit Kommandozeile vergrößern

Doch zu erst die Basics. Wir loggen uns per ssh als Administrator auf der Diskstation ein. Wir wechseln in mit sudo su in einen Modus, der uns nicht ständig dazu zwingt sudo vor jedem Befehl einzugeben.

Als erstes verschaffen wir uns einen Überblick über die RAID Arrays mit cat /proc/mdstat.
Anschließend können wir die neue Platte mit der alten partitionsweise synchronisieren. sdq ist in diesem Fall das USB Laufwerk.

// dem ersten RAID füge ich eine neue Partition hinzu
mdadm --add /dev/md0 /dev/sdq1
mdadm --grow /dev/md0 -n 2 (3 s. u.)
// danach muss ich das RAID auf 2 oder 3 Laufwerke ausdehnen
// md0 und md1 (Root und Swap) sind über alle Laufwerke (HDD 1 , HDD 2 und USB) verteilt sind deswegen:
mdadm --grow /dev/md0 -n 3
mdadm --grow /dev/md1 -n 3
// abhängig davon welche Platte ausgetauscht wird:
// md2 ist Platte in Schacht 1
// md3 ist Platte in Schacht 2
mdadm --grow /dev/md2 -n 2
mdadm --grow /dev/md3 -n 2


Die Synchronisation beginnt jetzt.
Man kann den Fortschritt mit cat /proc/mdstat verfolgen, oder mdadm --detail /dev/md0.

Die nächsten Partitionen im selben Verfahren synchronisieren:

mdadm --add /dev/md1 /dev/sdq2
mdadm --grow /dev/md1 -n 3
mdadm --add /dev/md2 /dev/sdq3
mdadm --grow /dev/md2 -n 2
// hier sind es tatsächlich nur zwei Partitionen. Wie oben gesagt verteilen sich Swap und Root über alle drei Laufwerke, ausser die Datenpartition


Fortschritt im Blick behalten

Update November 2021: Falls der Prozess viel zu lange dauert, kann man ihn beschleunigen. Entweder über das Webinterface: Speichermanager > Speicherpool > Konfiguration
Dort einfach höhere MB-Werte eintragen. Ich habe es über das Terminal gemacht, deswegen weiß ich nicht, wie zuverlässig das funktioniert.

sudo sysctl -w dev.raid.speed_limit_max=5000000
sudo sysctl -w dev.raid.speed_limit_min=500000


Wenn alles synochronisiert ist hat man ein funktionierendes RAID 1 mit zwei gespiegelten Platten, eine intern, die andere auf dem USB Port.
Ein RAID mit einem USB Laufwerk macht für mich keinen Sinn, ich nehme die USB Platte ja nur als Hilfsmittel. Also die interne, alte und kleine Platte auskoppeln.

mdadm --fail /dev/md0 /dev/sda1 --remove /dev/sda1
mdadm --grow --force /dev/md0 -n 2
mdadm --fail /dev/md1 /dev/sda2 --remove /dev/sda2
mdadm --grow --force /dev/md1 -n 2
mdadm --fail /dev/md2 /dev/sda3 --remove /dev/sda3
mdadm --grow --force /dev/md2 -n 1

Das piept zwischendurch unangenehm, da die Synology das Auskoppeln als Festplattenfehler mitteilt. Lässt sich aber in der Systemsteuerung ausschalten.

Jetzt muss die Partition noch vergrößert werden.

parted /dev/sda resizepart 3 6000GB
die neue Platte fasst 6TB. Parted versucht jetzt die GPT Tabelle zu fixen und hilft einem, egal wie groß ich die Größe angegeben habe.

mdadm --examine /dev/sda3
nachgucken ob die neue Größe zugeschrieben wurde

mdadm --grow /dev/md2 --size max
resize2fs /dev/md2

Jetzt das System herunterfahren und die Platten tauschen, hochfahren und im DSM schauen, ob die neue Plattengröße angezeigt wird.

Es ist dennoch zu betonen, dass der hier aufgezeigte Weg zwar bei mir funktioniert hat, mag aber bei anderen nicht funktionieren. Ich hatte meine Platte bspw. als ext4 formatiert und kein SHR verwendet.

• Inspiration:

• mdadm Partitionen vergrößern (en)
• Software RAID erweitern (en)
• GPT Partitionslayout kopieren (en)
• Festplattentausch im Software RAID
• RAID1 mit mdadm erweitern (en)
• mdadm Cheatsheet (en)
• Alternative Methode seine Platte ohne “mdadm”

vim

• vim help, das Nachschlagewerk online
• graphical cheat sheet(1), (2)
• text cheat sheet (oder selber eins anlegen)
• expert level vim (1, Youtube), (2), (3)
• vim screencasts
• vim macros und argument list gut erklärt (Youtube)

tmux

• tmux + vim in eine IDE verwandeln (Youtube)
• tmux cheat sheet