Home Server - ιδέες και ανυσυχίες

[netblues]

Εισαι σε motherboard με δυο sockets?

[BlueChris]

Tο import είναι μια ιδέα όντως, ευχαριστώ. Προς το παρόν θα πάρω έναν μικρό SSD για να εγκαταστήσω το TrueNAS εκεί
(το test το έκανα σε ένα παλιό 2.5" HDD και φυσικά σέρνεται..... επίσης όταν έκανα shutdown περίμενα 3-4 λεπτά και δεν έκανε
τίποτα, το έκλεισα από το κουμπί!).
Αν τελικά δεν βρώ γιατί δεν δουλεύει ως VM στο esxi "από την αρχή" όπως το σχεδίαζα (και το φτιάξω), μια ζωή θα έχω ανησυχία
(αν κάνω το import) ότι μπορεί οποτεδήποτε να ξανασκάσει.....

- - - Updated - - -

To import έσκασε, το ξεκίνησα και για 20 λεπτά περίπου η CPU του server χτύπησε ταβάνι και το VM ήταν παγωμένο....είναι σίγουρα θέμα esxi.....

- - - Updated - - -

Η έρευνα συνεχίζεται....

Ως τώρα έκανα όλες τις ρυθμίσεις για το VM κατευθείαν από τον esxi host.
O controller φαινόταν έτσι:

Address Description SR-IOV Passthrough
0000:05:00.0 Avago (LSI Logic) Fusion-MPT 12GSAS SAS3008 PCI-Express Not capable Active
0000:03:00.0 Avago (LSI Logic) Fusion-MPT 12GSAS SAS3008 PCI-Express Not capable Active


Σήμερα σήκωσα και τον vCenter, και εκεί το δείχνει έτσι:
PCI device 0 0000:03:00.0 | Avago (LSI Logic) Fusion-MPT 12GSAS SAS3008 PCI-Express
PCI device 1 0000:05:00.0 | Avago (LSI Logic) Fusion-MPT 12GSAS SAS3008 PCI-Express
PCI device 2 Avago (LSI Logic) Fusion-MPT 12GSAS SAS3008 PCI-Express

Αν δώσω στο VM μόνο το device 2, τότε δεν βλέπει τους δίσκους.

Αν δώσω και τα τρία, τότε δεν ξεκινάει το VM με errors:

Wa(03) vmx - PCIPassthru: Failed to get NumaNode for sbdf 0000:03:00.0
Wa(03) vmx - PCIPassthru: Selected device 0000:03:00.0 is outside of the NUMA configuration
In(05) vmx - PCIPassthru: Device 0000:03:00.0 barIndex 0 type 1 realaddr 0x4000 size 256 flags 1
In(05) vmx - PCIPassthru: Device 0000:03:00.0 barIndex 1 type 3 realaddr 0x80b40000 size 65536 flags 4
In(05) vmx - PCIPassthru: Device 0000:03:00.0 barIndex 3 type 3 realaddr 0x80b00000 size 262144 flags 4
In(05) vmx - PCIPassthru: Device has PCI Express Cap Version 2(size 60)
In(05) vmx - PCIPassthru: Registered a PCI device for 0000:03:00.0 vIRQ 0x13, physical MSI = Enabled (vmmInt = Enabled), IntrPin = 1
Wa(03) vmx - PCIPassthru: Failed to get NumaNode for sbdf 0000:05:00.0
Wa(03) vmx - PCIPassthru: Selected device 0000:05:00.0 is outside of the NUMA configuration
In(05) vmx - PCIPassthru: Device 0000:05:00.0 barIndex 0 type 1 realaddr 0x3000 size 256 flags 1
In(05) vmx - PCIPassthru: Device 0000:05:00.0 barIndex 1 type 3 realaddr 0x80940000 size 65536 flags 4
In(05) vmx - PCIPassthru: Device 0000:05:00.0 barIndex 3 type 3 realaddr 0x80900000 size 262144 flags 4
In(05) vmx - PCIPassthru: Device has PCI Express Cap Version 2(size 60)
In(05) vmx - PCIPassthru: Registered a PCI device for 0000:05:00.0 vIRQ 0x11, physical MSI = Enabled (vmmInt = Enabled), IntrPin = 1
In(05) vmx - AH Failed to find a suitable device for pciPassthru2
In(05) vmx - Module 'DevicePowerOn' power on failed.

Έκανα διάφορες δοκιμές με αριθμό vCPUs, core/socket, κλπ. αλλά τζίφος.
Καμιά βοήθεια ?

Κάτι έχεις ανάψει που αφορά το Numa στο bios και χαλάει το σύμπαν.

[isurfer]

Κάτι έχεις ανάψει που αφορά το Numa στο bios και χαλάει το σύμπαν.

Το μόνο που έκανα enable στο BIOS ήταν το hyperthreading, το virtualization και το VT-d.
Ότι αλλαγές έκανα ήταν στο boot order και το hot swap στα Μ/Β sata (άσχετο με το θέμα).

Κάτι για NUMA δεν υπάρχει στο BIOS, εκτός αν το λένε με εντελώς άλλο όνομα.....

To esxi δίνει NUMA count = 1

- - - Updated - - -

- - - Updated - - -

Εισαι σε motherboard με δυο sockets?

Όχι, μονό είναι

[BlueChris]

Το μόνο που έκανα enable στο BIOS ήταν το hyperthreading, το virtualization και το VT-d.
Ότι αλλαγές έκανα ήταν στο boot order και το hot swap στα Μ/Β sata (άσχετο με το θέμα).

Κάτι για NUMA δεν υπάρχει στο BIOS, εκτός αν το λένε με εντελώς άλλο όνομα.....

To esxi δίνει NUMA count = 1

- - - Updated - - -

- - - Updated - - -



Όχι, μονό είναι

Μην ψάχνεις ακριβώς για την λέξη numa, είναι πολλά πράγματα που αφορούν το numa και έχουν άλλο όνομα.
Πιο MB/μηχάνημα είναι?

[netblues]

Σε mb με ενα socket ψαχνει numa. Τρελη επιτυχια. Κανα bios update ισως?

[BlueChris]

Σε mb με ενα socket ψαχνει numa. Τρελη επιτυχια. Κανα bios update ισως?

Και το B550 της asus που πήρα πρόσφατα και με αυτό παλευω τις τελευταίες ημέρες, έχει 4-5 ρυθμίσεις Numa.

[isurfer]

Απάντηση σε όλα:

BIOS update έκανα χθες βράδυ, είναι το πιο τελευταίο (12/2023).

MSI MAG Torpedo Z590, MS-7D08
11th Gen Intel(R) Core(TM) i5-11400T @ 1.30GHz, 6 cores
128GB RAM

Να υποθέσω ότι τα σχετικά settings θα είναι στο section του BIOS για το overclocking ?
Γιατί το cpu virtualization εκεί το έχουν (και όχι στο advanced)

[BlueChris]

Απάντηση σε όλα:

BIOS update έκανα χθες βράδυ, είναι το πιο τελευταίο (12/2023).

MSI MAG Torpedo Z590, MS-7D08
11th Gen Intel(R) Core(TM) i5-11400T @ 1.30GHz, 6 cores
128GB RAM

Να υποθέσω ότι τα σχετικά settings θα είναι στο section του BIOS για το overclocking ?
Γιατί το cpu virtualization εκεί το έχουν (και όχι στο advanced)

Κάπου ναι πρέπει να είναι, δεν μπορώ να βοηθήσω γιατί είμαι με amd
... Κάποιο από τα 100αδες auto την κάνει την μπάμια. Σε AMD αν θυμάμαι καλά είναι στο AMD CBS.

Ψάξε και για. ΝΒ (northbridge) settings

[patch]

dmesg στο vm ίσως σε βοηθήσει (γενικά τα λογ του vm), οχι τόσο τα log του esxi

[isurfer]

Κάπου ναι πρέπει να είναι, δεν μπορώ να βοηθήσω γιατί είμαι με amd
... Κάποιο από τα 100αδες auto την κάνει την μπάμια. Σε AMD αν θυμάμαι καλά είναι στο AMD CBS.

Ψάξε και για. ΝΒ (northbridge) settings

Τα μόνα settings σχετικά με memory management (όχι timings ή o/c, κλπ) που βρήκα είναι:

DMI LINK SPEED: Gen3 το άλλαξα σε auto
DMA CONTROL GUARANTEE: Disable το άλλαξα σε enabled

και δύο για power management (άσχετα)
NATIVE ASPM: Disable -> enable
ErP READY: Disable -> enable

Δεν έχει τίποτα για Northbridge (υπάρχει ακόμα αυτό ως όρος ??)

Καμία διαφορά.

- - - Updated - - -

dmesg στο vm ίσως σε βοηθήσει (γενικά τα λογ του vm), οχι τόσο τα log του esxi

Το log που έβαλα πιο πριν είναι του VM από το esxi όταν πάει να ξεκινήσει και σκάει.

Πιο πίσω έβαλα και errors από τα ίδια τα VMs, πχ από OMV
mpt3sas_cm0 fault info from func: mpt3sas_base_make_ioc_ready
mpt3sas_cm0: fault_state(0x2622)!

και από TrueNAS
CAM status: SCSI status error
SCSI status: check condition
SCSI sense: UNIT ATTENTION asc:29,0 (power on, reset, or bus device reset occured)

Θα το παλέψω ακόμα λίγο αλλά ήδη παράγγειλα ένα SSD SATA να στήσω κατευθείαν TrueNAS επάνω να τελειώνω με το μαρτύριο....
Ούτως ή άλλως για τη χρήση που κάνω και όπως έχω μοιράσει τα VMs μου και σε άλλα hosts, το NAS είναι ανοιχτό σπάνια.
To ιδανικό θα ήταν να είναι στο esxi αλλά δεν θα με χαλάσει πολύ να μην είναι.....

[BlueChris]

και δύο για power management (άσχετα)
NATIVE ASPM: Disable -> enable
ErP READY: Disable -> enable

Το ERP κάντο OFF .. μόνο προβλήματα δημιουργεί, το APSM είναι power management στα PCI που δεν λειτουργεί πάντα καλά οπότε και αυτό για σιγουριά OFF πρέπει να το έχεις. Εγώ που το έχω τσεκάρει με ΟΝ και OFF , εκεί που η x710 καίει 8-9w με αυτό off, πέφτει στα 4-5w με αυτό ΟΝ αλλά γενικά κάνει βλακείες και σκάνε κάρτες , bsod ή χάνεις τον esxi με οτιδήποτε power management ON. Αν έχεις hardware που είναι στο HCL της VMWare οκ άστα όλα ΟΝ αλλά δεν έχεις. Επίσης το Power Management μέσα στον ESXI πάντα στο Performance mode.

Tα παραπάνω ήταν άσχετα με το πρόβλημά σου απλά ακαδημαϊκές πληροφορίες... τώρα κοίταξα τα Specs στο MB που έχεις και βλέπω πως όλα τα PCI slot στο συγκεκριμένο εκτός του 1ου πάνω πάνω μιλάνε με το chipset οπότε όλα μοιράζονται λίγα IRQ.. οι βλακείες της Intel με τα ελάχιστα lane της. Άκου τι θέλω να κάνεις... θέλω να βάλεις τον Controller στο 1ο PCI Slot και την κάρτα γραφικών στο 2ο και να δοκιμάσεις ότι δοκιμάζεις. Να πάει o Controller δηλαδή σε σίγουρο PCI Lane απευθείας με την CPU οπότε το IOMMU grouping να είναι καθαρό. Πριν κάνεις την αλλαγή, πες στον ESXI να σταματήσει το passthrough στον controller, σβήσε το μηχάνημα, άλλαξε τις κάρτες, μόλις ανάψει ξανά ενεργό το passthrough στον controller, reboot και μετά τον ξαναδηλώνεις στο VM και δοκίμασε πάλι αν είσαι ΟΚ.
Επίσης καλό είναι να κλείσεις το CSM στο BIOS.

[isurfer]

OK για το power management, θα τα ξαναλλάξω.

Ο controller είναι ήδη στο πρώτο slot και κάρτα γραφικών δεν έχω, με την onboard δουλεύω, δεν χρειάζομαι στον esxi.

To CSM είναι off, σε UEFI είναι.

Ευχαριστώ πάντως, βλέπω τι τραβάς στο άλλο thread.....

[BlueChris]

OK για το power management, θα τα ξαναλλάξω.

Ο controller είναι ήδη στο πρώτο slot και κάρτα γραφικών δεν έχω, με την onboard δουλεύω, δεν χρειάζομαι στον esxi.

To CSM είναι off, σε UEFI είναι.

Ευχαριστώ πάντως, βλέπω τι τραβάς στο άλλο thread.....

Κάτι δεν σπάει σωστά σε εσένα και το passthrough δεν γίνεται σωστά. Με τι έκδοση esxi είπες ότι είσαι? για μένα η καλύτερη έκδοση για passthrough των πάντως χωρίς πρόβλημα ήταν και θα είναι πάντα ο esxi 6.7... μετά άρχισαν οι χαζομάρες.

[isurfer]

Αυτό είναι 8.0u2.

Tov 9200 που λέω ότι έχω σε ένα αρχαίο PC, είναι i5 2ης γενιάς με esxi 6.7

[BlueChris]

Αυτό είναι 8.0u2.

Tov 9200 που λέω ότι έχω σε ένα αρχαίο PC, είναι i5 2ης γενιάς με esxi 6.7

Μήπως να πέρναγες έναν 6.7 να δοκίμαζες πάλι? έχω σωθεί άπειρες φορές έτσι.
Αν έχεις σε άλλο δίσκο τα VM σου δεν θα πάθουν κάτι, απλά θα τους αλλάξεις το version me to χέρι πριν τα κάνεις add στον 6.7 σε προηγούμενη έκδοση.
Πχ εγώ τα δικά μου τα έχω παντού σε 14 ή 15, θα πειράξεις αυτή την γραμμή δηλαδή στο .vmx του vm

virtualHW.version = "21"

και θα την κάνεις

virtualHW.version = "14"

Μετά θα κάνεις browse στο δίσκο και ακουμπώντας το VM θα πατήσεις το register vm και έτοιμος.

Εδώ οι εκδόσεις
https://docs.vmware.com/en/VMware-vS...F6A87EBA0.html