<div dir="ltr"><div><div><br></div>Xen developers,<br><br>After an upgrade of my Debian Jessie dom0 and domUs, my passthroughed<br>NIC stopped working.<br></div><div>This bug was probably introduced in Debian Jessie sometime<br>between 2015-12-30 and 2016-01-08 as 2015-12-30 as 2015-12-30 was the<br>last time I upgraded without any problems according to my dpkg.log.<br><br></div><div>This bug has also been reported to Debian Bug<br>(<a href="https://bugs.debian.org/810379">https://bugs.debian.org/810379</a>), where I got instructions to contact you<br>directly.<br>The Debian Bug List is CC'd to keep the Debian Bug in the loop.<br><br><br>I created a new jessie domU (named "bug") and tried to passthrough some<br>PCI devices and found that both USB3 host controller and tg3 NIC generated<br>these lines in domU dmesg:<br><br>xen:events: Failed to obtain physical IRQ 31<br>xen:events: Failed to obtain physical IRQ 32<br>xen:events: Failed to obtain physical IRQ 33<br><br>And from the dom0 "xl dmesg":<br>(XEN) mm.c:812: d13: Forcing read-only access to MFN fbff1<br>(XEN) mm.c:812: d13: Forcing read-only access to MFN fbff1<br>(XEN) mm.c:812: d13: Forcing read-only access to MFN fbff1<br>(XEN) mm.c:812: d0: Forcing read-only access to MFN fbff1<br>(XEN) mm.c:812: d13: Forcing read-only access to MFN faba0<br>(XEN) mm.c:812: d0: Forcing read-only access to MFN faba0<br><br><br>domU "bug" "lspci -vn":<br>00:00.1 0200: 14e4:165f<br>        Subsystem: 103c:2133<br>        Flags: bus master, fast devsel, latency 0, IRQ 30<br>        Memory at fabc0000 (64-bit, prefetchable) [size=64K]<br>        Memory at fabb0000 (64-bit, prefetchable) [size=64K]<br>        Memory at faba0000 (64-bit, prefetchable) [size=64K]<br>        Expansion ROM at <ignored> [disabled]<br>        Capabilities: [48] Power Management version 3<br>        Capabilities: [50] Vital Product Data<br>        Capabilities: [58] MSI: Enable- Count=1/8 Maskable- 64bit+<br>        Capabilities: [a0] MSI-X: Enable+ Count=17 Masked-<br>        Capabilities: [ac] Express Endpoint, MSI 00<br>        Capabilities: [100] Advanced Error Reporting<br>        Capabilities: [13c] Device Serial Number 00-00-34-64-a9-9a-a8-b1<br>        Capabilities: [150] Power Budgeting <?><br>        Capabilities: [160] Virtual Channel<br>        Kernel driver in use: tg3<br><br>00:01.0 0c03: 1912:0014 (rev 03) (prog-if 30 [XHCI])<br>        Subsystem: 103c:1996<br>        Flags: bus master, fast devsel, latency 0, IRQ 29<br>        Memory at fbff0000 (64-bit, non-prefetchable) [size=8K]<br>        Capabilities: [50] Power Management version 3<br>        Capabilities: [70] MSI: Enable- Count=1/8 Maskable- 64bit+<br>        Capabilities: [90] MSI-X: Enable+ Count=8 Masked-<br>        Capabilities: [a0] Express Endpoint, MSI 00<br>        Capabilities: [100] Advanced Error Reporting<br>        Capabilities: [150] Latency Tolerance Reporting<br>        Kernel driver in use: xhci_hcd<br><br>domU "bug" "cat /proc/interrupts":<br>           CPU0       <br> 16:      25114  xen-percpu-virq      timer0<br> 17:          0  xen-percpu-ipi       resched0<br> 18:          0  xen-percpu-ipi       callfunc0<br> 19:          0  xen-percpu-virq      debug0<br> 20:          0  xen-percpu-ipi       callfuncsingle0<br> 21:          0  xen-percpu-ipi       irqwork0<br> 22:        473   xen-dyn-event     xenbus<br> 23:         96   xen-dyn-event     hvc_console<br> 24:       8811   xen-dyn-event     blkif<br> 25:        255   xen-dyn-event     blkif<br> 26:       3045   xen-dyn-event     eth0-q0-tx<br> 27:       5650   xen-dyn-event     eth0-q0-rx<br> 28:         93   xen-dyn-event     pcifront<br> 31:          0  xen-pirq-pcifront-msi-x  xhci_hcd<br> 32:          0  xen-pirq-pcifront-msi-x  xhci_hcd<br> 33:          0  xen-pirq-pcifront-msi-x  eth1<br>NMI:          0   Non-maskable interrupts<br>LOC:          0   Local timer interrupts<br>SPU:          0   Spurious interrupts<br>PMI:          0   Performance monitoring interrupts<br>IWI:          0   IRQ work interrupts<br>RTR:          0   APIC ICR read retries<br>RES:          0   Rescheduling interrupts<br>CAL:          0   Function call interrupts<br>TLB:          0   TLB shootdowns<br>TRM:          0   Thermal event interrupts<br>THR:          0   Threshold APIC interrupts<br>MCE:          0   Machine check exceptions<br>MCP:          0   Machine check polls<br>HYP:      43966   Hypervisor callback interrupts<br>ERR:          0<br>MIS:          0<br><br>domU "bug" "dmesg":<br>[    0.000000] Initializing cgroup subsys cpuset<br>[    0.000000] Initializing cgroup subsys cpu<br>[    0.000000] Initializing cgroup subsys cpuacct<br>[    0.000000] Linux version 3.16.0-4-amd64 (debian-kernel at <a href="http://lists.debian.org">lists.debian.org</a>) (gcc version 4.8.4 (Debian 4.8.4-1)<br>[    0.000000] Command line: root=/dev/xvda2 ro elevator=noop root=/dev/xvda2 ro <br>[    0.000000] ACPI in unprivileged domain disabled<br>[    0.000000] 1-1 mapping on 8000->100000<br>[    0.000000] Set 1015808 page(s) to 1-1 mapping<br>[    0.000000] 1-1 mapping on 100000->8000000<br>[    0.000000] e820: BIOS-provided physical RAM map:<br>[    0.000000] Xen: [mem 0x0000000000000000-0x000000000009ffff] usable<br>[    0.000000] Xen: [mem 0x00000000000a0000-0x00000000000fffff] reserved<br>[    0.000000] Xen: [mem 0x0000000000100000-0x0000000007ffffff] usable<br>[    0.000000] Xen: [mem 0x0000000008000000-0x00000000f1de3fff] unusable<br>[    0.000000] Xen: [mem 0x00000000f1de4000-0x00000000f1dedfff] ACPI data<br>[    0.000000] Xen: [mem 0x00000000f1dee000-0x00000000f7ffffff] reserved<br>[    0.000000] Xen: [mem 0x00000000fec00000-0x00000000feefffff] reserved<br>[    0.000000] Xen: [mem 0x00000000ff800000-0x00000000ffffffff] reserved<br>[    0.000000] NX (Execute Disable) protection: active<br>[    0.000000] DMI not present or invalid.<br>[    0.000000] e820: update [mem 0x00000000-0x00000fff] usable ==> reserved<br>[    0.000000] e820: remove [mem 0x000a0000-0x000fffff] usable<br>[    0.000000] AGP: No AGP bridge found<br>[    0.000000] e820: last_pfn = 0x8000 max_arch_pfn = 0x400000000<br>[    0.000000] Base memory trampoline at [ffff88000009a000] 9a000 size 24576<br>[    0.000000] init_memory_mapping: [mem 0x00000000-0x000fffff]<br>[    0.000000]  [mem 0x00000000-0x000fffff] page 4k<br>[    0.000000] init_memory_mapping: [mem 0x07e00000-0x07ffffff]<br>[    0.000000]  [mem 0x07e00000-0x07ffffff] page 4k<br>[    0.000000] BRK [0x01b02000, 0x01b02fff] PGTABLE<br>[    0.000000] init_memory_mapping: [mem 0x04000000-0x07dfffff]<br>[    0.000000]  [mem 0x04000000-0x07dfffff] page 4k<br>[    0.000000] BRK [0x01b03000, 0x01b03fff] PGTABLE<br>[    0.000000] BRK [0x01b04000, 0x01b04fff] PGTABLE<br>[    0.000000] BRK [0x01b05000, 0x01b05fff] PGTABLE<br>[    0.000000] BRK [0x01b06000, 0x01b06fff] PGTABLE<br>[    0.000000] BRK [0x01b07000, 0x01b07fff] PGTABLE<br>[    0.000000] init_memory_mapping: [mem 0x00100000-0x03ffffff]<br>[    0.000000]  [mem 0x00100000-0x03ffffff] page 4k<br>[    0.000000] RAMDISK: [mem 0x01f18000-0x049bffff]<br>[    0.000000] NUMA turned off<br>[    0.000000] Faking a node at [mem 0x0000000000000000-0x0000000007ffffff]<br>[    0.000000] Initmem setup node 0 [mem 0x00000000-0x07ffffff]<br>[    0.000000]   NODE_DATA [mem 0x07fe7000-0x07febfff]<br>[    0.000000] Zone ranges:<br>[    0.000000]   DMA      [mem 0x00001000-0x00ffffff]<br>[    0.000000]   DMA32    [mem 0x01000000-0xffffffff]<br>[    0.000000]   Normal   empty<br>[    0.000000] Movable zone start for each node<br>[    0.000000] Early memory node ranges<br>[    0.000000]   node   0: [mem 0x00001000-0x0009ffff]<br>[    0.000000]   node   0: [mem 0x00100000-0x07ffffff]<br>[    0.000000] On node 0 totalpages: 32671<br>[    0.000000]   DMA zone: 56 pages used for memmap<br>[    0.000000]   DMA zone: 21 pages reserved<br>[    0.000000]   DMA zone: 3999 pages, LIFO batch:0<br>[    0.000000]   DMA32 zone: 392 pages used for memmap<br>[    0.000000]   DMA32 zone: 28672 pages, LIFO batch:7<br>[    0.000000] SFI: Simple Firmware Interface v0.81 <a href="http://simplefirmware.org">http://simplefirmware.org</a><br>[    0.000000] smpboot: Allowing 1 CPUs, 0 hotplug CPUs<br>[    0.000000] nr_irqs_gsi: 16<br>[    0.000000] PM: Registered nosave memory: [mem 0x000a0000-0x000fffff]<br>[    0.000000] e820: [mem 0xf8000000-0xfebfffff] available for PCI devices<br>[    0.000000] Booting paravirtualized kernel on Xen<br>[    0.000000] Xen version: 4.4.1 (preserve-AD)<br>[    0.000000] setup_percpu: NR_CPUS:512 nr_cpumask_bits:512 nr_cpu_ids:1 nr_node_ids:1<br>[    0.000000] PERCPU: Embedded 27 pages/cpu @ffff880007c00000 s80896 r8192 d21504 u2097152<br>[    0.000000] pcpu-alloc: s80896 r8192 d21504 u2097152 alloc=1*2097152<br>[    0.000000] pcpu-alloc: [0] 0 <br>[    0.000000] Built 1 zonelists in Node order, mobility grouping on.  Total pages: 32202<br>[    0.000000] Policy zone: DMA32<br>[    0.000000] Kernel command line: root=/dev/xvda2 ro elevator=noop root=/dev/xvda2 ro <br>[    0.000000] PID hash table entries: 512 (order: 0, 4096 bytes)<br>[    0.000000] xsave: enabled xstate_bv 0x3, cntxt size 0x240<br>[    0.000000] AGP: Checking aperture...<br>[    0.000000] AGP: No AGP bridge found<br>[    0.000000] Calgary: detecting Calgary via BIOS EBDA area<br>[    0.000000] Calgary: Unable to locate Rio Grande table in EBDA - bailing!<br>[    0.000000] Memory: 72968K/130684K available (5219K kernel code, 947K rwdata, 1836K rodata, 1204K init, 840K <br>[    0.000000] Hierarchical RCU implementation.<br>[    0.000000]  RCU dyntick-idle grace-period acceleration is enabled.<br>[    0.000000]  RCU restricting CPUs from NR_CPUS=512 to nr_cpu_ids=1.<br>[    0.000000] RCU: Adjusting geometry for rcu_fanout_leaf=16, nr_cpu_ids=1<br>[    0.000000] NR_IRQS:33024 nr_irqs:256 16<br>[    0.000000] xen:events: Using FIFO-based ABI<br>[    0.000000] Console: colour dummy device 80x25<br>[    0.000000] console [tty0] enabled<br>[    0.000000] console [hvc0] enabled<br>[    0.000000] Xen: using vcpuop timer interface<br>[    0.000000] installing Xen timer for CPU 0<br>[    0.000000] tsc: Detected 2294.838 MHz processor<br>[    0.004000] Calibrating delay loop (skipped), value calculated using timer frequency.. 4589.67 BogoMIPS (lpj=<br>[    0.004000] pid_max: default: 32768 minimum: 301<br>[    0.004000] Security Framework initialized<br>[    0.004000] AppArmor: AppArmor disabled by boot time parameter<br>[    0.004000] Yama: disabled by default; enable with sysctl kernel.yama.*<br>[    0.004000] Dentry cache hash table entries: 16384 (order: 5, 131072 bytes)<br>[    0.004000] Inode-cache hash table entries: 8192 (order: 4, 65536 bytes)<br>[    0.004000] Mount-cache hash table entries: 512 (order: 0, 4096 bytes)<br>[    0.004000] Mountpoint-cache hash table entries: 512 (order: 0, 4096 bytes)<br>[    0.004000] Initializing cgroup subsys memory<br>[    0.004000] Initializing cgroup subsys devices<br>[    0.004000] Initializing cgroup subsys freezer<br>[    0.004000] Initializing cgroup subsys net_cls<br>[    0.004000] Initializing cgroup subsys blkio<br>[    0.004000] Initializing cgroup subsys perf_event<br>[    0.004000] Initializing cgroup subsys net_prio<br>[    0.004000] ENERGY_PERF_BIAS: Set to 'normal', was 'performance'<br>ENERGY_PERF_BIAS: View and update with x86_energy_perf_policy(8)<br>[    0.004000] CPU: Physical Processor ID: 0<br>[    0.004000] CPU: Processor Core ID: 0<br>[    0.004000] Last level iTLB entries: 4KB 512, 2MB 8, 4MB 8<br>Last level dTLB entries: 4KB 512, 2MB 32, 4MB 32, 1GB 0<br>tlb_flushall_shift: 2<br>[    0.036441] Freeing SMP alternatives memory: 20K (ffffffff81a1b000 - ffffffff81a20000)<br>[    0.040068] ftrace: allocating 21679 entries in 85 pages<br>[    0.048193] Performance Events: unsupported p6 CPU model 58 no PMU driver, software events only.<br>[    0.050513] x86: Booted up 1 node, 1 CPUs<br>[    0.050738] NMI watchdog: disabled (cpu0): hardware events not enabled<br>[    0.050849] devtmpfs: initialized<br>[    0.055640] pinctrl core: initialized pinctrl subsystem<br>[    0.055761] NET: Registered protocol family 16<br>[    0.055786] xen:grant_table: Grant tables using version 1 layout<br>[    0.055811] Grant table initialized<br>[    0.056754] PCI: setting up Xen PCI frontend stub<br>[    0.056764] PCI: pci_cache_line_size set to 64 bytes<br>[    0.057845] ACPI: Interpreter disabled.<br>[    0.057869] xen:balloon: Initialising balloon driver<br>[    0.057891] xen_balloon: Initialising balloon driver<br>[    0.057891] vgaarb: loaded<br>[    0.057891] PCI: System does not support PCI<br>[    0.057891] PCI: System does not support PCI<br>[    0.060186] Switched to clocksource xen<br>[    0.066155] pnp: PnP ACPI: disabled<br>[    0.068881] NET: Registered protocol family 2<br>[    0.069126] TCP established hash table entries: 1024 (order: 1, 8192 bytes)<br>[    0.069142] TCP bind hash table entries: 1024 (order: 2, 16384 bytes)<br>[    0.069150] TCP: Hash tables configured (established 1024 bind 1024)<br>[    0.069170] TCP: reno registered<br>[    0.069178] UDP hash table entries: 256 (order: 1, 8192 bytes)<br>[    0.069188] UDP-Lite hash table entries: 256 (order: 1, 8192 bytes)<br>[    0.069240] NET: Registered protocol family 1<br>[    0.069260] PCI: CLS 0 bytes, default 64<br>[    0.069323] Unpacking initramfs...<br>[    0.124178] Freeing initrd memory: 43680K (ffff880001f18000 - ffff8800049c0000)<br>[    0.126623] platform rtc_cmos: registered platform RTC device (no PNP device found)<br>[    0.126711] RAPL PMU detected, hw unit 2^-16 Joules, API unit is 2^-32 Joules, 3 fixed counters 163840 ms ovf<br>[    0.126757] microcode: CPU0 sig=0x306a9, pf=0x2, revision=0x19<br>[    0.126826] microcode: Microcode Update Driver: v2.00 <tigran at <a href="http://aivazian.fsnet.co.uk">aivazian.fsnet.co.uk</a>>, Peter Oruba<br>[    0.127132] futex hash table entries: 256 (order: 2, 16384 bytes)<br>[    0.127170] audit: initializing netlink subsys (disabled)<br>[    0.127196] audit: type=2000 audit(1452265722.038:1): initialized<br>[    0.128047] HugeTLB registered 2 MB page size, pre-allocated 0 pages<br>[    0.128087] zbud: loaded<br>[    0.128295] VFS: Disk quotas dquot_6.5.2<br>[    0.128314] Dquot-cache hash table entries: 512 (order 0, 4096 bytes)<br>[    0.128403] msgmni has been set to 227<br>[    0.128778] alg: No test for stdrng (krng)<br>[    0.128809] Block layer SCSI generic (bsg) driver version 0.4 loaded (major 252)<br>[    0.128867] io scheduler noop registered (default)<br>[    0.128875] io scheduler deadline registered<br>[    0.128912] io scheduler cfq registered<br>[    0.128995] pci_hotplug: PCI Hot Plug PCI Core version: 0.5<br>[    0.129021] pciehp: PCI Express Hot Plug Controller Driver version: 0.4<br>[    0.129062] intel_idle: does not run on family 6 model 58<br>[    0.129466] Serial: 8250/16550 driver, 4 ports, IRQ sharing enabled<br>[    0.129819] Linux agpgart interface v0.103<br>[    0.129918] i8042: PNP: No PS/2 controller found. Probing ports directly.<br>[    1.373182] i8042: No controller found<br>[    1.373401] mousedev: PS/2 mouse device common for all mice<br>[    1.460855] rtc_cmos rtc_cmos: rtc core: registered rtc_cmos as rtc0<br>[    1.460918] rtc_cmos: probe of rtc_cmos failed with error -38<br>[    1.460953] ledtrig-cpu: registered to indicate activity on CPUs<br>[    1.460973] AMD IOMMUv2 driver by Joerg Roedel <joerg.roedel at <a href="http://amd.com">amd.com</a>><br>[    1.460977] AMD IOMMUv2 functionality not available on this system<br>[    1.461076] TCP: cubic registered<br>[    1.461097] NET: Registered protocol family 10<br>[    1.461286] mip6: Mobile IPv6<br>[    1.461295] NET: Registered protocol family 17<br>[    1.461303] mpls_gso: MPLS GSO support<br>[    1.461310] mce: Unable to init device /dev/mcelog (rc: -5)<br>[    1.461463] registered taskstats version 1<br>[    1.461516] xenbus_probe_frontend: Device with no driver: device/vbd/51714<br>[    1.461521] xenbus_probe_frontend: Device with no driver: device/vbd/51713<br>[    1.461524] xenbus_probe_frontend: Device with no driver: device/vif/0<br>[    1.461527] xenbus_probe_frontend: Device with no driver: device/pci/0<br>[    1.461569] rtc_hctosys: unable to open rtc device (rtc0)<br>[    1.461620] PM: Hibernation image not present or could not be loaded.<br>[    1.462130] Freeing unused kernel memory: 1204K (ffffffff818ee000 - ffffffff81a1b000)<br>[    1.462137] Write protecting the kernel read-only data: 8192k<br>[    1.464662] Freeing unused kernel memory: 912K (ffff88000151c000 - ffff880001600000)<br>[    1.464765] Freeing unused kernel memory: 212K (ffff8800017cb000 - ffff880001800000)<br>[    1.484305] systemd-udevd[58]: starting version 215<br>[    1.484846] random: systemd-udevd urandom read with 4 bits of entropy available<br>[    1.508462] xen_netfront: Initialising Xen virtual ethernet driver<br>[    1.565647] blkfront: xvda2: flush diskcache: enabled; persistent grants: enabled; indirect descriptors: enab<br>[    1.568041] blkfront: xvda1: flush diskcache: enabled; persistent grants: enabled; indirect descriptors: enab<br>[    9.699548] EXT4-fs (xvda2): mounted filesystem with ordered data mode. Opts: (null)<br>[   10.030680] random: nonblocking pool is initialized<br>[   11.587594] systemd[1]: systemd 215 running in system mode. (+PAM +AUDIT +SELINUX +IMA +SYSVINIT +LIBCRYPTSET<br>[   11.587689] systemd[1]: Detected virtualization 'xen'.<br>[   11.587704] systemd[1]: Detected architecture 'x86-64'.<br>[   12.754742] systemd[1]: Inserted module 'autofs4'<br>[   12.791362] systemd[1]: Set hostname to <bug>.<br>[   16.336333] systemd[1]: Cannot add dependency job for unit dbus.socket, ignoring: Unit dbus.socket failed to <br>[   16.336369] systemd[1]: Cannot add dependency job for unit display-manager.service, ignoring: Unit display-ma<br>[   16.336879] systemd[1]: Starting Forward Password Requests to Wall Directory Watch.<br>[   16.337039] systemd[1]: Started Forward Password Requests to Wall Directory Watch.<br>[   16.337067] systemd[1]: Expecting device dev-hvc0.device...<br>[   16.337241] systemd[1]: Starting Remote File Systems (Pre).<br>[   16.337329] systemd[1]: Reached target Remote File Systems (Pre).<br>[   16.337384] systemd[1]: Starting Arbitrary Executable File Formats File System Automount Point.<br>[   16.337608] systemd[1]: Set up automount Arbitrary Executable File Formats File System Automount Point.<br>[   16.337649] systemd[1]: Starting Dispatch Password Requests to Console Directory Watch.<br>[   16.337733] systemd[1]: Started Dispatch Password Requests to Console Directory Watch.<br>[   16.337755] systemd[1]: Starting Paths.<br>[   16.337842] systemd[1]: Reached target Paths.<br>[   16.337866] systemd[1]: Starting Encrypted Volumes.<br>[   16.337947] systemd[1]: Reached target Encrypted Volumes.<br>[   16.337970] systemd[1]: Expecting device dev-xvda1.device...<br>[   16.338059] systemd[1]: Starting Root Slice.<br>[   16.338166] systemd[1]: Created slice Root Slice.<br>[   16.338191] systemd[1]: Starting User and Session Slice.<br>[   16.338322] systemd[1]: Created slice User and Session Slice.<br>[   16.338346] systemd[1]: Starting Delayed Shutdown Socket.<br>[   16.338812] systemd[1]: Listening on Delayed Shutdown Socket.<br>[   16.338840] systemd[1]: Starting /dev/initctl Compatibility Named Pipe.<br>[   16.338979] systemd[1]: Listening on /dev/initctl Compatibility Named Pipe.<br>[   16.339002] systemd[1]: Starting Journal Socket (/dev/log).<br>[   16.339141] systemd[1]: Listening on Journal Socket (/dev/log).<br>[   16.339175] systemd[1]: Starting udev Kernel Socket.<br>[   16.339280] systemd[1]: Listening on udev Kernel Socket.<br>[   16.339311] systemd[1]: Starting udev Control Socket.<br>[   16.339425] systemd[1]: Listening on udev Control Socket.<br>[   16.339454] systemd[1]: Starting Journal Socket.<br>[   16.339594] systemd[1]: Listening on Journal Socket.<br>[   16.339632] systemd[1]: Starting System Slice.<br>[   16.339776] systemd[1]: Created slice System Slice.<br>[   16.339819] systemd[1]: Starting File System Check on Root Device...<br>[   16.341351] systemd[1]: Starting system-getty.slice.<br>[   16.341580] systemd[1]: Created slice system-getty.slice.<br>[   16.341606] systemd[1]: Starting system-serial\x2dgetty.slice.<br>[   16.341751] systemd[1]: Created slice system-serial\x2dgetty.slice.<br>[   16.341832] systemd[1]: Starting Increase datagram queue length...<br>[   16.343890] systemd[1]: Mounting POSIX Message Queue File System...<br>[   16.349573] systemd[1]: Mounting Debug File System...<br>[   16.386487] systemd[1]: Started Set Up Additional Binary Formats.<br>[   16.386567] systemd[1]: Mounting Huge Pages File System...<br>[   16.388234] systemd[1]: Starting Create list of required static device nodes for the current kernel...<br>[   16.420891] systemd[1]: Starting Load Kernel Modules...<br>[   16.422455] systemd[1]: Starting udev Coldplug all Devices...<br>[   16.423981] systemd[1]: Starting Slices.<br>[   16.424152] systemd[1]: Reached target Slices.<br>[   16.526927] systemd[1]: Mounted Huge Pages File System.<br>[   16.527472] systemd[1]: Mounted POSIX Message Queue File System.<br>[   16.528053] systemd[1]: Mounted Debug File System.<br>[   16.539437] systemd[1]: Started Increase datagram queue length.<br>[   16.539776] systemd[1]: Starting Syslog Socket.<br>[   16.539873] systemd[1]: Listening on Syslog Socket.<br>[   16.539901] systemd[1]: Starting Sockets.<br>[   16.539940] systemd[1]: Reached target Sockets.<br>[   16.539963] systemd[1]: Starting Journal Service...<br>[   16.541579] systemd[1]: Started Journal Service.<br>[   20.334341] systemd-udevd[138]: starting version 215<br>[   20.905312] EXT4-fs (xvda2): re-mounted. Opts: errors=remount-ro<br>[   21.199307] pcifront pci-0: Installing PCI frontend<br>[   21.199334] xen:swiotlb_xen: Warning: only able to allocate 4 MB for software IO TLB<br>[   21.202593] software IO TLB [mem 0x05800000-0x05c00000] (4MB) mapped at [ffff880005800000-ffff880005bfffff]<br>[   21.211902] pcifront pci-0: Creating PCI Frontend Bus 0000:00<br>[   21.211974] pcifront pci-0: PCI host bridge to bus 0000:00<br>[   21.211982] pci_bus 0000:00: root bus resource [io  0x0000-0xffff]<br>[   21.211988] pci_bus 0000:00: root bus resource [mem 0x00000000-0xfffffffff]<br>[   21.211994] pci_bus 0000:00: root bus resource [bus 00-ff]<br>[   21.214065] pci 0000:00:01.0: [1912:0014] type 00 class 0x0c0330<br>[   21.214505] pci 0000:00:01.0: reg 0x10: [mem 0xfbff0000-0xfbff1fff 64bit]<br>[   21.218500] alg: No test for crc32 (crc32-pclmul)<br>[   21.234075] pci 0000:00:00.1: [14e4:165f] type 00 class 0x020000<br>[   21.234630] pci 0000:00:00.1: reg 0x10: [mem 0xfabc0000-0xfabcffff 64bit pref]<br>[   21.234914] pci 0000:00:00.1: reg 0x18: [mem 0xfabb0000-0xfabbffff 64bit pref]<br>[   21.235179] pci 0000:00:00.1: reg 0x20: [mem 0xfaba0000-0xfabaffff 64bit pref]<br>[   21.242805] pcifront pci-0: New device on 0000:00:00.1 found.<br>[   21.261341] pcifront pci-0: claiming resource 0000:00:01.0/0<br>[   21.261355] pcifront pci-0: claiming resource 0000:00:00.1/0<br>[   21.261360] pcifront pci-0: claiming resource 0000:00:00.1/2<br>[   21.261365] pcifront pci-0: claiming resource 0000:00:00.1/4<br>[   21.261545] pci 0000:00:01.0: Xen PCI mapped GSI18 to IRQ29<br>[   21.364943] systemd-journald[124]: Received request to flush runtime journal from PID 1<br>[   21.584884] input: PC Speaker as /devices/platform/pcspkr/input/input0<br>[   21.635516] intel_rapl: Found RAPL domain package<br>[   21.635530] intel_rapl: Found RAPL domain core<br>[   21.936105] pps_core: LinuxPPS API ver. 1 registered<br>[   21.936119] pps_core: Software ver. 5.3.6 - Copyright 2005-2007 Rodolfo Giometti <giometti at <a href="http://linux.it">linux.it</a>><br>[   21.961610] PTP clock support registered<br>[   22.109201] tg3.c:v3.137 (May 11, 2014)<br>[   22.109445] tg3 0000:00:00.1: Xen PCI mapped GSI17 to IRQ30<br>[   22.131432] tg3 0000:00:00.1 eth1: Tigon3 [partno(N/A) rev 5720000] (PCI Express) MAC address 34:64:a9:9a:a8:<br>[   22.131450] tg3 0000:00:00.1 eth1: attached PHY is 5720C (10/100/1000Base-T Ethernet) (WireSpeed[1], EEE[1])<br>[   22.131459] tg3 0000:00:00.1 eth1: RXcsums[1] LinkChgREG[0] MIirq[0] ASF[1] TSOcap[1]<br>[   22.131466] tg3 0000:00:00.1 eth1: dma_rwctrl[00000001] dma_mask[64-bit]<br>[   22.154753] usbcore: registered new interface driver usbfs<br>[   22.155023] usbcore: registered new interface driver hub<br>[   22.157566] usbcore: registered new device driver usb<br>[   22.293477] xen:events: xen_bind_pirq_gsi_to_irq: returning irq 29 for gsi 18<br>[   22.293493] xhci_hcd 0000:00:01.0: Xen PCI mapped GSI18 to IRQ29<br>[   22.293632] xhci_hcd 0000:00:01.0: xHCI Host Controller<br>[   22.293645] xhci_hcd 0000:00:01.0: new USB bus registered, assigned bus number 1<br>[   22.302041] xen:events: Failed to obtain physical IRQ 31<br>[   22.302064] xen:events: Failed to obtain physical IRQ 32<br>[   22.302159] usb usb1: New USB device found, idVendor=1d6b, idProduct=0002<br>[   22.302166] usb usb1: New USB device strings: Mfr=3, Product=2, SerialNumber=1<br>[   22.302172] usb usb1: Product: xHCI Host Controller<br>[   22.302176] usb usb1: Manufacturer: Linux 3.16.0-4-amd64 xhci_hcd<br>[   22.302181] usb usb1: SerialNumber: 0000:00:01.0<br>[   22.302529] hub 1-0:1.0: USB hub found<br>[   22.302551] hub 1-0:1.0: 2 ports detected<br>[   22.302686] xhci_hcd 0000:00:01.0: xHCI Host Controller<br>[   22.302696] xhci_hcd 0000:00:01.0: new USB bus registered, assigned bus number 2<br>[   22.302750] usb usb2: We don't know the algorithms for LPM for this host, disabling LPM.<br>[   22.302780] usb usb2: New USB device found, idVendor=1d6b, idProduct=0003<br>[   22.302786] usb usb2: New USB device strings: Mfr=3, Product=2, SerialNumber=1<br>[   22.302792] usb usb2: Product: xHCI Host Controller<br>[   22.302796] usb usb2: Manufacturer: Linux 3.16.0-4-amd64 xhci_hcd<br>[   22.302801] usb usb2: SerialNumber: 0000:00:01.0<br>[   22.303057] hub 2-0:1.0: USB hub found<br>[   22.303075] hub 2-0:1.0: 2 ports detected<br>[   22.808901] Adding 262140k swap on /dev/xvda1.  Priority:-1 extents:1 across:262140k SSFS<br>[  188.358732] xen:events: Failed to obtain physical IRQ 33<br>[  188.487712] IPv6: ADDRCONF(NETDEV_UP): eth1: link is not ready<br><br>The last "xen:events: Failed to obtain physical IRQ 33" is from when I<br>did a "ifconfig eth1 up" where eth1 is the tg3 NIC.<br><br><br></div><div>I also have another domU (referred to as "working" below) with a<br>passthroughed USB PCI host controller (not USB3), and it works fine.<br><br>domU "working" "lspci -vn":<br>00:00.0 USB controller [0c03]: Intel Corporation 6 Series/C200 Series Chipset Family USB Enhanced Host Controller #2 [8086:1c2d] (rev 05) (prog-if 20 [EHCI])<br>        Subsystem: Hewlett-Packard Company Device [103c:330d]<br>        Flags: bus master, medium devsel, latency 0, IRQ 31<br>        Memory at facf0000 (32-bit, non-prefetchable) [size=1K]<br>        Capabilities: [50] Power Management version 2<br>        Capabilities: [58] Debug port: BAR=1 offset=00a0<br>        Capabilities: [98] PCI Advanced Features<br>        Kernel driver in use: ehci-pci<br><br><br></div><div>domU "working" "cat /proc/interrupts":<br>           CPU0       <br> 16:  192795228  xen-percpu-virq      timer0<br> 17:          0  xen-percpu-ipi       resched0<br> 18:          0  xen-percpu-ipi       callfunc0<br> 19:          0  xen-percpu-virq      debug0<br> 20:          0  xen-percpu-ipi       callfuncsingle0<br> 21:     189700  xen-percpu-ipi       irqwork0<br> 22:        519   xen-dyn-event     xenbus<br> 23:     286767   xen-dyn-event     hvc_console<br> 24:    1028151   xen-dyn-event     blkif<br> 25:        361   xen-dyn-event     blkif<br> 26:   47422278   xen-dyn-event     eth0-q0-tx<br> 27:   47133612   xen-dyn-event     eth0-q0-rx<br> 28:    3054706   xen-dyn-event     eth1-q0-tx<br> 29:    3436561   xen-dyn-event     eth1-q0-rx<br> 30:         27   xen-dyn-event     pcifront<br> 31:  297065876  xen-pirq-pcifront  ehci_hcd:usb1<br>NMI:          0   Non-maskable interrupts<br>LOC:          0   Local timer interrupts<br>SPU:          0   Spurious interrupts<br>PMI:          0   Performance monitoring interrupts<br>IWI:     189700   IRQ work interrupts<br>RTR:          0   APIC ICR read retries<br>RES:          0   Rescheduling interrupts<br>CAL:          0   Function call interrupts<br>TLB:          0   TLB shootdowns<br>TRM:          0   Thermal event interrupts<br>THR:          0   Threshold APIC interrupts<br>MCE:          0   Machine check exceptions<br>MCP:          0   Machine check polls<br>HYP:  582543792   Hypervisor callback interrupts<br>ERR:          0<br>MIS:          0<br><br><br></div><div><br></div><div>Some other info:<br></div><div><br>dom0 "grep -vE '^#|^$' /etc/xen/bug.cfg":<br>bootloader = '/usr/lib/xen-4.4/bin/pygrub'<br>vcpus       = '1'<br>memory      = '128'<br>root        = '/dev/xvda2 ro'<br>disk        = [<br>                  'phy:/dev/vg_xen/bug-disk,xvda2,w',<br>                  'phy:/dev/vg_xen/bug-swap,xvda1,w',<br>              ]<br>name        = 'bug'<br>dhcp        = 'dhcp'<br>vif         = [ 'mac=00:16:3E:99:92:03,bridge=br_home' ]<br>pci         = [ '03:00.1,permissive=1', '04:00.0,permissive=1' ]<br>on_poweroff = 'destroy'<br>on_reboot   = 'restart'<br>on_crash    = 'restart'<br><br><br></div><div>dom0 "lspci -vnn" for the two failing (03:00.1, 04:00.0) and<br>the one working (00:1a.0) devices mentioned above:<br><br>00:1a.0 USB controller [0c03]: Intel Corporation 6 Series/C200 Series Chipset Family USB Enhanced Host Controller #2 [8086:1c2d] (rev 05) (prog-if 20 [EHCI])<br>        Subsystem: Hewlett-Packard Company Device [103c:330d]<br>        Flags: bus master, medium devsel, latency 0, IRQ 21<br>        Memory at facf0000 (32-bit, non-prefetchable) [size=1K]<br>        Capabilities: [50] Power Management version 2<br>        Capabilities: [58] Debug port: BAR=1 offset=00a0<br>        Capabilities: [98] PCI Advanced Features<br>        Kernel driver in use: pciback<br><br>03:00.1 Ethernet controller [0200]: Broadcom Corporation NetXtreme BCM5720 Gigabit Ethernet PCIe [14e4:165f]<br>        Subsystem: Hewlett-Packard Company Device [103c:2133]<br>        Flags: bus master, fast devsel, latency 0, IRQ 17<br>        Memory at fabc0000 (64-bit, prefetchable) [size=64K]<br>        Memory at fabb0000 (64-bit, prefetchable) [size=64K]<br>        Memory at faba0000 (64-bit, prefetchable) [size=64K]<br>        Expansion ROM at f8020000 [disabled] [size=128K]<br>        Capabilities: [48] Power Management version 3<br>        Capabilities: [50] Vital Product Data<br>        Capabilities: [58] MSI: Enable- Count=1/8 Maskable- 64bit+<br>        Capabilities: [a0] MSI-X: Enable- Count=17 Masked-<br>        Capabilities: [ac] Express Endpoint, MSI 00<br>        Capabilities: [100] Advanced Error Reporting<br>        Capabilities: [13c] Device Serial Number 00-00-34-64-a9-9a-a8-b1<br>        Capabilities: [150] Power Budgeting <?><br>        Capabilities: [160] Virtual Channel<br>        Kernel driver in use: pciback<br><br>04:00.0 USB controller [0c03]: Renesas Technology Corp. uPD720201 USB 3.0 Host Controller [1912:0014] (rev 03) (prog-if 30 [XHCI])<br>        Subsystem: Hewlett-Packard Company Device [103c:1996]<br>        Flags: bus master, fast devsel, latency 0, IRQ 18<br>        Memory at fbff0000 (64-bit, non-prefetchable) [size=8K]<br>        Capabilities: [50] Power Management version 3<br>        Capabilities: [70] MSI: Enable- Count=1/8 Maskable- 64bit+<br>        Capabilities: [90] MSI-X: Enable+ Count=8 Masked-<br>        Capabilities: [a0] Express Endpoint, MSI 00<br>        Capabilities: [100] Advanced Error Reporting<br>        Capabilities: [150] Latency Tolerance Reporting<br>        Kernel driver in use: pciback<br><br></div><div><br>dom0 "xl pci-list bug":<br>Vdev Device<br>00.0 0000:03:00.1<br>00.0 0000:04:00.0<br><br></div><div>dom0 "xl pci-list working"<br>Vdev Device<br>00.0 0000:00:1a.0<br><br><br></div><div>dom0 "xl dmesg":<br>(XEN) Xen version 4.4.1 (Debian 4.4.1-9+deb8u3) (<a href="mailto:ultrotter@debian.org">ultrotter@debian.org</a>) (gcc (Debian 4.9.2-10) 4.9.2) debug=n Wed Nov 25 15:46:22 EET 2015<br>(XEN) Bootloader: GRUB 2.02~beta2-22+deb8u1<br>(XEN) Command line: placeholder dom0_mem=1024M,max:1024M<br>(XEN) Video information:<br>(XEN)  VGA is text mode 80x25, font 8x16<br>(XEN)  VBE/DDC methods: none; EDID transfer time: 0 seconds<br>(XEN)  EDID info not retrieved because no DDC retrieval method detected<br>(XEN) Disc information:<br>(XEN)  Found 4 MBR signatures<br>(XEN)  Found 2 EDD information structures<br>(XEN) Xen-e820 RAM map:<br>(XEN)  0000000000000000 - 0000000000099800 (usable)<br>(XEN)  0000000000099800 - 0000000000099c00 (reserved)<br>(XEN)  000000000009e000 - 00000000000a0000 (reserved)<br>(XEN)  00000000000f0000 - 0000000000100000 (reserved)<br>(XEN)  0000000000100000 - 00000000f1de4000 (usable)<br>(XEN)  00000000f1de4000 - 00000000f1dee000 (ACPI data)<br>(XEN)  00000000f1dee000 - 00000000f8000000 (reserved)<br>(XEN)  00000000fec00000 - 00000000fee10000 (reserved)<br>(XEN)  00000000ff800000 - 0000000100000000 (reserved)<br>(XEN)  0000000100000000 - 000000028bfff000 (usable)<br>(XEN) ACPI: RSDP 000F4F00, 0024 (r2 HP    )<br>(XEN) ACPI: XSDT F1DE6400, 00B4 (r1 HP     ProLiant        2   �     162E)<br>(XEN) ACPI: FACP F1DE6540, 00F4 (r3 HP     ProLiant        2   �     162E)<br>(XEN) ACPI: DSDT F1DE6640, 1C1A (r1 HP         DSDT        1 INTL 20030228)<br>(XEN) ACPI: FACS F1DE4140, 0040<br>(XEN) ACPI: SPCR F1DE4180, 0050 (r1 HP     SPCRRBSU        1   �     162E)<br>(XEN) ACPI: MCFG F1DE4200, 003C (r1 HP     ProLiant        1             0)<br>(XEN) ACPI: HPET F1DE4240, 0038 (r1 HP     ProLiant        2   �     162E)<br>(XEN) ACPI: FFFF F1DE4280, 0064 (r2 HP     ProLiant        2   �     162E)<br>(XEN) ACPI: SPMI F1DE4300, 0040 (r5 HP     ProLiant        1   �     162E)<br>(XEN) ACPI: ERST F1DE4340, 0230 (r1 HP     ProLiant        1   �     162E)<br>(XEN) ACPI: APIC F1DE4580, 0252 (r1 HP     ProLiant        2             0)<br>(XEN) ACPI: FFFF F1DE4800, 0176 (r1 HP     ProLiant        1   �     162E)<br>(XEN) ACPI: BERT F1DE4980, 0030 (r1 HP     ProLiant        1   �     162E)<br>(XEN) ACPI: HEST F1DE49C0, 00BC (r1 HP     ProLiant        1   �     162E)<br>(XEN) ACPI: FFFF F1DE4A80, 1914 (r1 HP     ProLiant        1   �     162E)<br>(XEN) ACPI: FFFF F1DE63C0, 002D (r1 HP     ProLiant        1             0)<br>(XEN) ACPI: SSDT F1DE8280, 0137 (r3     HP  CRSPCI0        2   HP        1)<br>(XEN) ACPI: SSDT F1DE83C0, 0177 (r3     HP   riser0        2 INTL 20030228)<br>(XEN) ACPI: SSDT F1DE8540, 01E1 (r1     HP      pcc        1 INTL 20090625)<br>(XEN) ACPI: SSDT F1DE8740, 0377 (r1     HP     pmab        1 INTL 20090625)<br>(XEN) ACPI: SSDT F1DE8AC0, 0504 (r1 INTEL  PPM RCM  80000001 INTL 20061109)<br>(XEN) System RAM: 10205MB (10450416kB)<br>(XEN) Domain heap initialised<br>(XEN) Processor #0 7:10 APIC version 21<br>(XEN) Processor #2 7:10 APIC version 21<br>(XEN) IOAPIC[0]: apic_id 8, version 32, address 0xfec00000, GSI 0-23<br>(XEN) Enabling APIC mode:  Flat.  Using 1 I/O APICs<br>(XEN) Using scheduler: SMP Credit Scheduler (credit)<br>(XEN) Detected 2294.838 MHz processor.<br>(XEN) Initing memory sharing.<br>(XEN) xstate_init: using cntxt_size: 0x240 and states: 0x3<br>(XEN) I/O virtualisation disabled<br>(XEN) Enabled directed EOI with ioapic_ack_old on!<br>(XEN) ENABLING IO-APIC IRQs<br>(XEN)  -> Using old ACK method<br>(XEN) Platform timer is 14.318MHz HPET<br>(XEN) Allocated console ring of 16 KiB.<br>(XEN) VMX: Supported advanced features:<br>(XEN)  - APIC MMIO access virtualisation<br>(XEN)  - APIC TPR shadow<br>(XEN)  - Extended Page Tables (EPT)<br>(XEN)  - Virtual-Processor Identifiers (VPID)<br>(XEN)  - Virtual NMI<br>(XEN)  - MSR direct-access bitmap<br>(XEN)  - Unrestricted Guest<br>(XEN) HVM: ASIDs enabled.<br>(XEN) HVM: VMX enabled<br>(XEN) HVM: Hardware Assisted Paging (HAP) detected<br>(XEN) HVM: HAP page sizes: 4kB, 2MB<br>(XEN) Brought up 2 CPUs<br>(XEN) *** LOADING DOMAIN 0 ***<br>(XEN)  Xen  kernel: 64-bit, lsb, compat32<br>(XEN)  Dom0 kernel: 64-bit, PAE, lsb, paddr 0x1000000 -> 0x1f18000<br>(XEN) PHYSICAL MEMORY ARRANGEMENT:<br>(XEN)  Dom0 alloc.:   000000023c000000->0000000240000000 (241836 pages to be allocated)<br>(XEN)  Init. ramdisk: 000000028aeac000->000000028bdff8e4<br>(XEN) VIRTUAL MEMORY ARRANGEMENT:<br>(XEN)  Loaded kernel: ffffffff81000000->ffffffff81f18000<br>(XEN)  Init. ramdisk: ffffffff81f18000->ffffffff82e6b8e4<br>(XEN)  Phys-Mach map: ffffffff82e6c000->ffffffff8306c000<br>(XEN)  Start info:    ffffffff8306c000->ffffffff8306c4b4<br>(XEN)  Page tables:   ffffffff8306d000->ffffffff8308a000<br>(XEN)  Boot stack:    ffffffff8308a000->ffffffff8308b000<br>(XEN)  TOTAL:         ffffffff80000000->ffffffff83400000<br>(XEN)  ENTRY ADDRESS: ffffffff819021f0<br>(XEN) Dom0 has maximum 2 VCPUs<br>(XEN) Scrubbing Free RAM: ..........................................................................................done.<br>(XEN) Initial low memory virq threshold set at 0x4000 pages.<br>(XEN) Std. Loglevel: Errors and warnings<br>(XEN) Guest Loglevel: Nothing (Rate-limited: Errors and warnings)<br>(XEN) Xen is relinquishing VGA console.<br>(XEN) *** Serial input -> DOM0 (type 'CTRL-a' three times to switch input to Xen)<br>(XEN) Freed 284kB init memory.<br>(XEN) mm.c:812: d13: Forcing read-only access to MFN fbff1<br>(XEN) mm.c:812: d13: Forcing read-only access to MFN fbff1<br>(XEN) mm.c:812: d13: Forcing read-only access to MFN fbff1<br>(XEN) mm.c:812: d0: Forcing read-only access to MFN fbff1<br>(XEN) mm.c:812: d13: Forcing read-only access to MFN faba0<br>(XEN) mm.c:812: d0: Forcing read-only access to MFN faba0<br>(XEN) mm.c:812: d14: Forcing read-only access to MFN fbff1<br>(XEN) mm.c:812: d14: Forcing read-only access to MFN fbff1<br>(XEN) mm.c:812: d14: Forcing read-only access to MFN fbff1<br>(XEN) mm.c:812: d0: Forcing read-only access to MFN fbff1<br></div><div><br></div><div>dom0 "uname -a":<br>Linux dom0 3.16.0-4-amd64 #1 SMP Debian 3.16.7-ckt20-1+deb8u2 (2016-01-02) x86_64 GNU/Linux<br><br></div><div>domU "bug" "uname -a":<br>Linux bug 3.16.0-4-amd64 #1 SMP Debian 3.16.7-ckt20-1+deb8u2 (2016-01-02) x86_64 GNU/Linux<br><br></div><div>domU "working" "uname -a":<br>Linux working 3.16.0-4-amd64 #1 SMP Debian 3.16.7-ckt20-1+deb8u2 (2016-01-02) x86_64 GNU/Linux<br></div><div><br><br>Br,<br>Tommi Airikka<br></div></div>