Homelab - το υπολογιστικό και δικτυακό οικοσύστημα του σπιτιού μας

[BlueChris]

Chris το μηχάνημα είναι από template/clone η move από esxi ?

Move έχει γίνει 350 φορές μεταξύ πολλαπλών esxi, proxmox κλπ... το λεγόμενο ταναπου που λένε

- - - Updated - - -

Λοιπόν... έκανα Update στην τελευταία έκδοση Proxmox (Linux 6.8.4-3-pve) και έφτιαξα ένα VM από την αρχή πάλι με 11 και την 23Η2.
Οι μόνοι driver που πέρασα ήταν στην εγκατάσταση τον driver για τον δίσκο και μετά μέσα πέρασα τον virtio network driver και μου είχε ένα άγνωστο device που τελικά ήταν ο Memory Ballon driver. Δεν έβαλα απολύτως τίποτα άλλο. Ούτε QEMU agent ούτε τίποτα.
6 πυρήνες και 8gb ram... ε δεν κάνει κιχ στο speedtest.....

[BlueChris]

Ενημέρωση...

Δεν μπορούσα να χάνω την 10gbit σε ένα μόνο VM οπότε έκατσα και άναψα το SRiov, έδωσα στο κλασσικό VM μου μια κάρτα virtual και άλλη μια στα windows11 24Η2 που έχω κάνει καθαρή. Ε σε κανένα από τα 2 δεν υπάρχει LAG αλλά το windows 11 τερματίζει το download στα 2.2gbit που είναι όλο μου το ίντερνετ ενώ το κλασσικό μου windows 10 με τον ίδιο ακριβώς driver και τις ίδιες ακριβώς ρυθμίσεις στην κάρτα δικτύου δεν πάει πάνω από 1.2gigabit.... ότι του λαλεί του κοντοστεφανή δηλαδή.

Παράγγειλα μία Mellanox CX-4 μπας και αλλάξει κάτι.

- - - Updated - - -

Ερώτηξη..... ο proxmox αν μια κάρτα την έχει με SRIOV που την δίνει σε VM, o ίδιος δεν μπορεί να χρησιμοποιήσει ένα από τα virtual interfaces σε bridge για άλλα vm ε? ρωτάω γιατί το δοκίμασα και hell brake loose ... τα vm τα έβλεπα κανονικά αλλά ο proxmox πήγε σπίτι του....

- - - Updated - - -

Ok γίνεται... εγώ έβαλα στο bridge virtual interface και δεν δούλεψε.. έπρεπε να βάλω την καθαρή κάρτα...θα το δοκιμάσω το απόγευμα

https://forum.proxmox.com/threads/sr-iov.79808/

[riddle3]

Θεωρητικά αν κρατήσεις το πρώτο slice για το prox θα μπορεί να το χρησιμοποιήσει.

Γιατί όμως να το κάνεις με sr-iov pass ?

Άσε την nic στο prox, και φτιάξε virtual bridges και δώσε αυτά στα vm.

[BlueChris]

Θεωρητικά αν κρατήσεις το πρώτο slice για το prox θα μπορεί να το χρησιμοποιήσει.

Γιατί όμως να το κάνεις με sr-iov pass ?

Άσε την nic στο prox, και φτιάξε virtual bridges και δώσε αυτά στα vm.

Γιατί δεν έχω άλλες πόρτες 10άρες ... το Unifi Enterpise 8 έχει μόνο 2.. .στην μια έχω το MS-01 και στην άλλη το AMD που έφτιαξα με την HPE 560Sfp+.... και τα 2 μηχανάκια τώρα σαν proxmox μιλάνε με τις 2.5gbit που έχουν. Οκ δεν με καθυστερεί κάπου πλην των replication μεταξύ των proxmox.
Πρέπει να βρω ένα switch με SFP+ με πάνω από 4 πόρτες για να είμαι ΟΚ σε όλα.... κοιτάω κάτι κινεζάκια στο ALI... αλλά μάλλον θα πάω σε SFP28 στα 25mbit... η Mellanox CX-4 που παράγγειλα θα είναι η πρώτη... αν παίξει καλά θα πάω σε 2η και switch 25άρι...

[griniaris]

Διαβαζοντας τις τελευταίες 10+ σελιδες .... καθως ερχεται ειδοποιηση για νεα μυνηματα .....

ποιος ο λογος να παιδευεστε για τετοιες ταχυτητες σε οικιακο περιβαλλον ?

Αν ειναι για το γοητρο ή απλα λογω κολληματος ... οκ .

Αλλα νομιζω αρκετοι θα αποχωρησουν απο το νημα καθως δεν προσφερει κατι ουσιαστικο πλεον .

μαζι και εγω προφανως . Γιατι αυτο εχει ξεφυγει απο το homelab , και ακουμπαει enterprise .

σορυ αν ειμαι offtopic ..

Φιλικα παντα .

[BlueChris]

Διαβαζοντας τις τελευταίες 10+ σελιδες .... καθως ερχεται ειδοποιηση για νεα μυνηματα .....

ποιος ο λογος να παιδευεστε για τετοιες ταχυτητες σε οικιακο περιβαλλον ?

Αν ειναι για το γοητρο ή απλα λογω κολληματος ... οκ .

Αλλα νομιζω αρκετοι θα αποχωρησουν απο το νημα καθως δεν προσφερει κατι ουσιαστικο πλεον .

μαζι και εγω προφανως . Γιατι αυτο εχει ξεφθγει απο το homelab , και ακουμπαει enterprise .

σορυ αν ειμαι offtopic ..

Φιλικα παντα .

Έχεις απόλυτο δίκιο σε αυτό που λες και εγώ θα μειώσω λίγο την πληροφορία. Από εκεί και πέρα Homelab δεν είναι πάντα ένα μηχάνημα αλλά 2+ ή και παραπάνω γιατί με proxmox πχ μπορείς να κάνεις ceph cluster ή ότι έχω κάνει εγώ με το replication και ΗΑ οπότε έχεις πάντα Uptime ότι και να γίνει σε βασικές υπηρεσίες που έχεις στο σπίτι.

Όσο αφορά για τα notifications... ειλικρινά έχεις ανοιχτό να σου στέλνει το φόρουμ mail? ? εγώ τα βλέπω αν μπω στο φόρουμ και τέλος... δεν υπάρχει κάτι στο φόρουμ που να είναι ζήτημα ζωής και θανάτου για να μου σπάει τα @@ όταν κάποιος απαντάει lol.

[griniaris]

Έχεις απόλυτο δίκιο σε αυτό που λες και εγώ θα μειώσω λίγο την πληροφορία. Από εκεί και πέρα Homelab δεν είναι πάντα ένα μηχάνημα αλλά 2+ ή και παραπάνω γιατί με proxmox πχ μπορείς να κάνεις ceph cluster ή ότι έχω κάνει εγώ με το replication και ΗΑ οπότε έχεις πάντα Uptime ότι και να γίνει σε βασικές υπηρεσίες που έχεις στο σπίτι.

Πιστευεις οτι ειναι πανω απο 5-10 % αυτοι που θα κανουν τετοια πραγματα ?
Το υπολοιπο 90 % θελει μονο να δουλευει , και σε ενα μικρο μηχανημα το οποιο θα καιει οσο το δυνατον λιγοτερο ρευμα .

Οχι High Availability ... ειμαι σιγουρος οτι ουτε backup δεν εχουν .

Ισως θεωρησα οτι το συγκεκριμενο νημα θα ειναι κατι σαν ΕΚΘΕΣΗ ΙΔΕΩΝ ΚΑΙ ΠΑΡΟΥΣΙΑΣΗ των δικτυων μας .
Οπως ειπα , οκ καλο το troubleshooting , αλλα 10+ σελιδες , νομιζω ξεφυγε λιγο .

Anyway , φιλικα τα γραφω , γιατι ηταν πολυ ενδιαφερον το νημα .

Υ.Γ. δεν παρακολουθω πολλα νηματα ΠΛΕΟΝ , οποτε ναι . εχω ανοιχτες τις ειδοποιησεις .

[Oav051]

Διαβαζοντας τις τελευταίες 10+ σελιδες .... καθως ερχεται ειδοποιηση για νεα μυνηματα .....

ποιος ο λογος να παιδευεστε για τετοιες ταχυτητες σε οικιακο περιβαλλον ?

Αν ειναι για το γοητρο ή απλα λογω κολληματος ... οκ .

Αλλα νομιζω αρκετοι θα αποχωρησουν απο το νημα καθως δεν προσφερει κατι ουσιαστικο πλεον .

μαζι και εγω προφανως . Γιατι αυτο εχει ξεφυγει απο το homelab , και ακουμπαει enterprise .

σορυ αν ειμαι offtopic ..

Φιλικα παντα .

Εάν είμαστε τυχεροί και μπούμε σε 10Gbps beta , να μην είμαστε έτοιμοι?θεωρώ πως βοηθάει και τους μικρούς αυτό φόρουμ ώστε να αποφύγουν η να σχεδιάσουν καλύτερα την υποδομή. Όσον αφορά της κατανάλωσης...
Όταν μπεις σε αυτό το τριπακι της ξεχνάς...
Αλλιώς μένεις με ένα υsb δίσκο attached σε κάποιο ρουτερ.

[netblues]

[QUOTE=Oav051;7577255
Αλλιώς μένεις με ένα υsb δίσκο attached σε κάποιο ρουτερ.[/QUOTE]

Μενεις να περιμενεις να κατεβει η λιστα με τα αρχεια ή μαλλον να κανει reboot εννοεις.

[BlueChris]

Εάν είμαστε τυχεροί και μπούμε σε 10Gbps beta , να μην είμαστε έτοιμοι?θεωρώ πως βοηθάει και τους μικρούς αυτό φόρουμ ώστε να αποφύγουν η να σχεδιάσουν καλύτερα την υποδομή. Όσον αφορά της κατανάλωσης...
Όταν μπεις σε αυτό το τριπακι της ξεχνάς...
Αλλιώς μένεις με ένα υsb δίσκο attached σε κάποιο ρουτερ.

Δεν αφορά άμεσα αυτό που λες αλλά είναι και αυτό χρήσιμο

https://www.adslgr.com/forum/threads...57#post7577257

[riddle3]

Διαβαζοντας τις τελευταίες 10+ σελιδες .... καθως ερχεται ειδοποιηση για νεα μυνηματα .....

ποιος ο λογος να παιδευεστε για τετοιες ταχυτητες σε οικιακο περιβαλλον ?

Αν ειναι για το γοητρο ή απλα λογω κολληματος ... οκ .

Αλλα νομιζω αρκετοι θα αποχωρησουν απο το νημα καθως δεν προσφερει κατι ουσιαστικο πλεον .

μαζι και εγω προφανως . Γιατι αυτο εχει ξεφυγει απο το homelab , και ακουμπαει enterprise .

σορυ αν ειμαι offtopic ..

Φιλικα παντα .

Πρέπει να κοιτάξεις το αποτέλεσμα της όλης φάσης του homelab.

Όλα αυτά τα δοκιμάζουμε με την άνεση μας για να επεκτείνουμε την γνώση μας και να λύσουμε διάφορα προβλήματα με νέους ίσως καλύτερους ίσως πιο πολύπλοκους τρόπους και ίσως κάποια στιγμή μπορεί να φανούν χρήσιμα στα day jobs.

Και όπως βλέπεις στο νήμα, υπάρχουν πολλαπλοί τρόποι να φτάσεις στο ίδιο αποτέλεσμα.

Όσο για το hardware, μπορείς να επιτύχεις το ίδιο αποτέλεσμα με πολύ λίγο κόστος (π.χ. mini PC 12th gen με ~140€, όποτε με 2 τέτοια συν κατι ακόμα για storage και quorum) έφτιαξες ένα cluster σπίτι σου.

Το μόνο που θέλει πολύ hardware για να δουλέψει ικανοποιητικά είναι το ceph αλλά οκ και πάλι αν το έχεις γιατί να μην το δοκιμάσεις.

Εξάλλου το lab είναι για δοκιμές, είτε δοκιμάζεις το νέο iso των windows είτε στήνεις enterprise level distributed filesystem, είναι μια η άλλη.

[famous-walker]

Το homelab ενεχει και πειραματισμο οπως και να το κανουμε. Νομιζω αλλωστε το συγκεκριμενο νημα εγινε ακριβως για να αποσυμφορηθουν τα υπολοιπα.

[badweed]

τι προκαλει το lagαρισμα σε εκεινα τα network tests@bluechris ?
αν καταλαβα καλα δεν επαναλληφθηκαν με την δημιουργια εικονικου μηχανηματος με windows 10 στο proxmox , αλλα και σε σπασιμο της δεκαρας σε δυομισαρες
μονο σε converted μηχανημα απο esxi παρουσιαζοταν αυτο ή κατι καταλαβα λαθος ;

[riddle3]

Γιατί δεν έχω άλλες πόρτες 10άρες ... το Unifi Enterpise 8 έχει μόνο 2.

Από ότι έχεις πει 2 nodes δεν έχεις και ένα remote vm για quorum ή το έχω λάθος;

Αν ισχυει, φτιάχνεις τα bridges στα 10g interfaces, περνάς τις γεφυρες εκατέρωθεν στα vm που τρέχουν στο κάθε node και είσαι τζετ. Αν θες το βαζεις μόνο για το replication και έχεις τα άλλα interfaces 1g/2.5g για wan.

[BlueChris]

τι προκαλει το lagαρισμα σε εκεινα τα network tests@bluechris ?
αν καταλαβα καλα δεν επαναλληφθηκαν με την δημιουργια εικονικου μηχανηματος με windows 10 στο proxmox , αλλα και σε σπασιμο της δεκαρας σε δυομισαρες
μονο σε converted μηχανημα απο esxi παρουσιαζοταν αυτο ή κατι καταλαβα λαθος ;

Θα το πω απλά.. ο μόνος τρόπος να έχω full speed στο windows 10 VM μου είναι να του κάνω passthrough την 10gbit κάρτα.
Από εκεί και πέρα το θέμα έχει πλάκα. Έκανα SRiov οκ? ε περνάω μια κάρτα στο windows11 το δοκιμαστικό... ταχύτητα τέρμα είτε στο ίντερνετ είτε με iperf3. Περνάω στο windows10 μου μια κάρτα ΜΕ ΤΟΝ ΙΔΙΟ ακριβώς driver της intel και δεν πάει πάνω από 1.2 με 1.3 gigabit , καλό?

Οι διαφορές των δύο VM είναι πως το Windows11 είναι με uefi bios ενώ το windows10 μου είναι με seabios μιας που είναι αρχαίο.

Από ότι έχεις πει 2 nodes δεν έχεις και ένα remote vm για quorum ή το έχω λάθος;

Αν ισχυει, φτιάχνεις τα bridges στα 10g interfaces, περνάς τις γεφυρες εκατέρωθεν στα vm που τρέχουν στο κάθε node και είσαι τζετ. Αν θες το βαζεις μόνο για το replication και έχεις τα άλλα interfaces 1g/2.5g για wan.

Διάβασε από πάνω τι θέμα έχω πλέον. To έκανα αυτό και δεν έχω πλέον lag αλλά έχω μειωμένη ταχύτητα.

Η τελευταία μου δοκιμή θα είναι αυτή η Melanox CX4 να δω πως θα πάει, θέλω να πιστεύω πως είναι θέμα driver και πως η 10gbit της HPE που έχω που είναι PCIe Gen2 δεν συνεργάζεται καλά με το MB. Παρόλα αυτά τα lagging συμμαζεύτηκαν όταν στο BIOS δήλωσα επακριβώς τα πάντα σε τι PCI έκδοση θέλω να λειτουργούν (όλα είναι PCIe 3 εκτός της HPE lan) και το SB του είπα να παίζει και αυτό με Gen3.

Αν και με την Mellanox έχω τα ίδια, θα γυρίσω σιγά σιγά να κάνω εγκατάσταση στο Windows11 τα δικά μου, ήδη έχω περάσει web browsers, ftp clients κλπ... θέλει πολύ χρόνο γιατί για κάθε εφαρμογή έχω προσπάθεια να βρω όλα της τα settings που τα περνάω σιγά σιγά.