Habe mich mal an Paperless zum testen rangetraut.
Nach diesem Video habe ich bei mir auf Proxmox Paperless als LXC eingerichtet.
Ziel war eigentlich die Hauspost auf meine Externe NAS Platte in den Consume Ordner zu scannen, damit Paperless das Ganze verarbeiten kann.
Nun erscheinen aber die Ordner nicht wenn ich auf meine Festplatte zugreife.
Hier wurde nur /images/“CID”/vm-“CDID”…raw und /private leer angelegt.
(Also scheint der Container ja schreiben zu können.)
Wenn ich aber in meinem Container über die Kommandoeingabe durch meine Ordner in HDD gehe werden die Ordner und mein Testdokument brav angezeigt.
HDD wurde ja durch den Mountpoint angelegt.
Daher habe ich die Befürchtung das es nicht auf meine Externe Festplatte geschrieben wird sondern auf meine interne SSD.
Weiß jemand was ich falsch mache und wie ich es fixen kann?
Du musst erst die externe Platte im PVE integrieren, dann kann man die auch im LXC von paperless-ngx nutzen, so wie Du das gemacht hast, ist sie anscheinend nur als Datenspeicher für CT = LX Container und VM = virtuelle Maschinen angelegt.
Verstehe ich auch nicht, der consume Ordner ist nur ein Verzeichnis, das Du aber als Share nach draußen freigeben musst, also musst Du in dein LXC noch Samba installieren und dann den consume Ordner freigeben.
All das habe ich aber auch schon in anderen Posts hier zu paperless-ngx geschrieben!
Wie gesagt, was genau hast Du gemacht, ich werde mir da kein Video anschauen, nutze Deine eigenen Worte.
Ich habe die Platte in Proxmox als Container-Speicher eingebunden und dann in meinem unpreviligierten lxc diesen als mount point hinterlegt.
Mount Point name ist HDD und wird auch in meinem lxc angezeigt und benutzt.
Diese Verknüpfung sollte eigentlich ja schon dadurch auf meine Netzwerkplatte gehen sprich alle Daten abgesehen von der Installation sollten auf meine externe Netzwerkfestplatte gehen.
An sich ich habe Paperless in einem LXC installiert, habe Benutzer und Schreibrechte hinterlegt und als Speicherpunkt für alles HDD für meine externe Festplatte angegeben.
In dem Container habe ich alle Ordner Daten etc.
Wenn ich nun auf meine externe Festplatte direkt zugreife werden mir diese Ordner nicht angezeigt dafür wurde unter dem von mir angegebenen Pfad
Ein Ordner namens “private” ohne Daten angelegt und
Ein Ordner namens “images” / “CID”/ und dann eine Datei namens "vm-“CDID(bei mir 150)”------.raw erstellt.
Edit: sehe gerade der Dateinamen ist der im Mount Point angegebene.
Sprich ist das wie eine Art Backup Datei?
Hätte eigentlich gerne das die Ordnerstruktur 1 zu 1 einfach durchgegeben wird
bitte mal mit Bildern zeigen.
Wenn ich Dich korrekt verstehe, hast Du den LXC dann aber auf der internen SSD installiert, das ist erst einmal kein Problem, für den consume Ordner, denn darin liegen die PDFs nur so lange, wie paperless-ngx sie verarbeitet, danach sind sie dort verschwunden.
Die verarbeiteten Dokumente liegen, eigentlich im Verzeichnis /var(lib/paperless-ngx/media und dieses Verzeichnis möchtest Du auf der externen Platte haben?
Ich kann das auch wieder nur, so erklären, sollte die externe Platte dann irgendwie einmal nicht zugreifbar sein, dann kann das, ganz üble Auswirkungen für paperless-ngx haben. paperless-ngx ist nicht dafür ausgelegt, um auf verteilten platten zu arbeiten, wenn Du schiss hast, kümmer Dich lieber um eine gute Backupstrategie, 3-2-1-0 mal als Stichwort, dann mach regelmäßig Backups und Du musst nicht mit dieser Krücke von verteilten USB Platten arbeiten.
Willst Du von anderen Rechnern in Deinem Heimnetzwerk auf paperless-ngx zugreifen, dann musst Du Dir Samba installieren und einrichten, habe ich aber in den anderen paperless-ngx Threads hier im Forum schon alles beschrieben.
Nein, da hast Du etwas falsch verstanden, Du hast nur ein RAW Device erstellt, damit kann aber Dein LXC nichts anfangen, denn das ist doch auf der SSD installiert, Du hast im Grunde genommen nur den Speicherplatz um 100 GB vergrößert, diesen aber noch nicht zugeordnet.
Wenn Du wirklich nur die externe HDD nutzen willst, musst Du das root FS verschieben
Unter Zielstorage, taucht dann auch deien HDD auf, aber dazu must Du dann erst einam dDein mp0 aus dem LXC wieder ausbauen, danach liegt der gesamte LXC mit allem auf der HDD.
Das ist korrekt, das die Dateien aus dem Consume verschwinden war mir klar, hier ging es mir eher darum wie von dir beschrieben das ich auf diesen Ordner im Netzwerk Zugriff habe und direkt in diesen Ordner scannen kann.
Prinzipiell ja, der Grundgedanke war eigentlich die Installation auf der internen SSD zu betreiben und sämtliche anderen Daten auf meiner Netzwerkplatte aus Speicher und Zugriffsgründen abzulegen.
Das dieses negative Auswirkungen haben kann war mir nicht bewusst, ich war der Überzeugung falls die Platte aus irgendwelchen Gründen nicht erreichbar sein sollte Paperless die Dokumente erst wieder bearbeiten kann wenn die Festplatte wieder aktiv ist und Paperless in der Zwischenzeit einfach einen Fehler wegen fehlender Daten hat.
Konsistenzlücken kann es ja nicht geben, da ich nur in den Netzwerkordner scannen würde.
Thema Backup wäre damit auch vom Tisch, da alles was sich in diesem Ordnerstrang befindet jeden Tag sich in OneDrive sichert.
Klar besser geht immer aber ich denke mal das es unwahrscheinlich ist das meine Platte sich verabschiedet und gleichzeitig Microsoft auch noch meine ganzen Daten verliert.
Wie gesagt hier geht es eher um den begrenzten Speicherplatz meiner SSD zu schonen und Daten auf einen kostengünstigen Speicher auszulagern.
Das verstehe ich jetzt tatsächlich nicht. Über den Webserver kann ja jeder Rechner auf Paperless zugreifen?
Wenn du die Ordner Struktur meinst ja das war ja der Plan mit meiner Auslagerung auf meiner externen Platte das diese Daten einfach zugänglich sind ohne Samba, da der Speicherpfad ja schon auf einer Netzwerkfestplatte ist
Ja das ist mir jetzt bewusst.
Die 100gb waren einfach angenommene Größe alles pdfs die in mehreren Jahren anlaufen können. Wie oben beschrieben war der Gedanke ja nur die Daten auszulagern nicht die Installation.
Das habe ich verstanden.
DH. es gibt für nur 2 Möglichkeiten
Alle Daten inkl. Installation auf die externe HDD zu packen und dort laufen zu lassen.
Alle Daten inkl. Installation auf die interne SSD zu packen und dort laufen zu lassen und dann per Samba eine Freigabe der benötigten Ordner in das Netzwerk zu erstellen?
Eine Zwischenlösung wie von mir beschrieben das die Ordner media,consume etc. auf meiner HDD abgelegt werden, während Paperless auf der internen SSD betrieben wird ist technisch nicht möglich?
Auf diesem kannst du dann nur neue Container erstellen.
Das ist wie ich oben schon gesagt habe, keine gute Idee, weil sollte die Platte mal nicht da sein und paperless-ngx etwas Internes machen, bekommst du mit 100 % Sicherheit Probleme mit der Konsistenz.
Auch das gefühl, das man da ja viel ablegt, Dokumente nehmen nicht viel Platz weg, ich habe aktuell ~ 1800 Dokumente und die brauchen gerade einmal 2 GB Plattenplatz
nein die Aufteilung, was wo, wie geschrieben wird, ist schon etwas aufwendiger, paperless-ngx hat eine interne Datenbank, in der werden Beziehungen zu Ablageort, Tags, usw. geschrieben, wenn man jetzt ein SMB Mount egal, ob extern Platte oder NAS in die paperless-ngx Installation macht, dann überschreibt man ja den original Ordner, z. B. /var/lib/paperless/media/documents mit dem Ordner auf dem NAS, der externen USB Platte überschrieben, also in deinem Beispiel wäre dann der Ort auf der Platte im Ordner /SmartHome/Backup/Paperle, für paperless-ngx sieht es aber immer noch so aus /var/lib/paperless/media/documents!
Wenn jetzt die Platte nicht will, hat paperless-ngx aber immer noch das Originalverzeichnis, und wenn du ein Dokument verarbeitest, dann wird das in dem Ordner auch abgelegt, und in der Datenbank auch so eingetragen, wenn die Platte aber wieder da ist, und auf dieses Verzeichnis gemountet ist, wird paperles-ngx diese Datei nicht finden, weil sie ja lokal abgespeichert wurde.
Oder wenn die Platte nicht da ist, werden alle anderen Dateien, die auf der externen Platte sind nicht mehr gefunden, wenn du mit paperless-ngx arbeitest, etwas suchst oder Tags bearbeitest.
Noch einmal, consume ist nicht relevant und deswegen braucht man da auch keine externe Platte oder sonst was, das kann das erstellte Verzeichnis sein, es muss halt nur durch ein im LXC laufendes Samba freigegeben werden.
Es sind die anderen Verzeichnisse, die gefährlich sind, was du machen kannst, ist, den gesamten paperless-ngx auf die externe Platte installieren, oder wie oben gezeigt, das root FS dorthin verschieben, wenn dann die Platte nicht eingehängt ist, dann startet paperless-ngx einfach nicht
Du musst unterscheiden wie du zugreifen willst, klar kannst von jedem PC mittels Browser auf die Web-UI von paperless-ngx zugreifen.
Aber wenn du ein Scanner hast, der direkt in ein Verzeichnis Scannen kann, dann muss man dieses Verzeichnis im Scanner Mounten, dazu muss das Verzeichnis aber auf dem LXC erst freigegeben werden, z. B. so sieht das bei mir aus, wenn ich von meinem Linux Office PC auf den consume Ordner zugreife
Da verwechselst du wieder etwas, nur weil du da oben etwa, mittels SMB/CIFS gemacht hast, was auch noch falsch ist, bedeutet das nicht, dass du damit auch schon etwas freigegeben hast, das dann andere Rechner in deinem Netzwerk, einbinden können.
Ja
Ja
Ja, trifft für 1. und 2. zu.
Ich könnte das, aber ich würde das aus den oben genannten Gründen niemals machen, weil das so nicht von paperless-ngx vorgesehen ist.
Noch ein wenig Hintergrund, wann und wie man Shares nutzen sollte,
zur Speicherung von Daten, die nicht zur Laufzeit gebraucht werden, z. B. Bilder, Musik
zur Sicherung von Backups
Niemals Shares für Laufzeitdaten nutzen, also ein Mix wie Du es machen willst, ein Teil auf der SSD und auf der externen HDD,
So Zeit ist leider rar deshalb bin ich jetzt erst wieder dazu gekommen.
Du hast mich überzeugt das ganze einfach intern auf der SSD zu speichern, da die Datenmenge wie von dir beschrieben hoffentlich ansatzweise überschaubar bleiben sollte.
Ich habe Samba mit Geminis Hilfe installiert und versucht die Freigabe einzurichten was aber nicht möchte.
Die smb.conf habe ich wie folgt ergänzt: [PaperlessConsume] comment = Mein Paperless Share path = /opt/paperless browseable = yes writeable = yes guest ok = no create mask = 0777 directory mask = 0777 #valid users = Paper
Meinen Benutzer “Paper” habe ich dann erstmal rausgenommen da immer wenn ich mit smbpasswd -a Paper versuche ein Passwort für den Benutzer anzulegen folgender Fehler kommt:
Failed to add entry for user Paper.
Aber selbst ohne Benutzer/Passwort bekomme ich per smb keinen Zugriff auf die angelegte Freigabe?
Mache ich etwas falsch oder gibt es dafür eine verständlichere Anleitung?
Edit: Also so wie ich es sehe habe ich ziemlich sicher Probleme mit der Berechtigung
wieso ergänzt?
Wie schon öfter geschrieben, in den anderen paperless-ngx Threads habe ich das alles schon einmal beschrieben, wie es aussehen könnte!
Ich nehme Dir das Suchen mal ab,
Da ist eine smb.conf, die bei mir funktioniert und die Beschreibung gibt es dann ein, zwei Posts später auch
@dp20eic
Vielen Dank für die Verlinkung deines Posts!
Mehr Mühe kann man sich fast nicht machen.
Wenn ich es richtig verstanden habe, habe ich natürlich erstmal meine smb.conf gesichert, bin dann rein und habe die Standard Config komplett geleert.
Danach wie von dir gepostet deine Config File rein und entsprechend die die Verlinkungen der Ordner angepasst, dass nur noch das drin steht was du gepostet hattest.
Leider kann er sich so aber nun nicht mehr Verbinden, daher hätte ich trotz deiner detaillierten Erklärung noch eine Frage:
valid users = paperless @paperless
force group = +paperless
Auf welchen Benutzer greift er hier zurück?
Die Benutzer die ich in der Weboberfläche in Paperless angelegt habe oder auf tiefere Benutzer in der Programmierung?
Falls zweiteres müsste ich erstmal nach dem Passwort für den User paperless suchen, da ich ja immer über root rein gehe.
@Oggy1
Danke für deinen Vorschlag inkl. Erklärung!
Das behalte ich falls Samba nicht laufen möchte im Hinterkopf.
Müsste dann aber erstmal schauen ob mein Scanner auch ftp unterstützt.
Denke aber mal das er das müsste haha
nein, auf den User, der auch paperless-ngx im LXC ausführt, da ich alles ohne die Helferskripte installiere, kann ich das in Deinem Fall nicht so genau sagen aber, Du kannst es ja mal testen, dazu auf der Konsole im LXC
# id paperless
Bei mir kommt dann das,
❯ id paperless
uid=966(paperless) gid=966(paperless) Gruppen=966(paperless)
und den habe ich auch als SMB User angelegt
❯ sudo pdbedit -L
paperless:966:Paperless user
Nein, das ist dann das, was Du beim Anlegen des SMB Users angibst, SMB Passwörter haben nichts mir den Passwörtern in Linux zu tun.
Wenn ich dann den Share bei mir, unter KDE in Dolphin, einbinde, muss ich den User paperless und das SMB Passwort nutzen.
Wenn Du da einen anderen User nutzt, musst Du darauf achten, dass dieser User auch die korrekten Zugriffsberechtigungen hat, weil nur der User und die Gruppe Zugriff hat
