<div dir="ltr"><span></span><span></span>Hey Felipe, thanks a lot for your help!<br><br>On Tue, Feb 23, 2016 at 10:16 PM, Felipe Sateler <<a href="mailto:fsateler@debian.org" target="_blank">fsateler@debian.org</a>> wrote:<br>><br>> On 23 February 2016 at 12:12, Sandro Tosi <<a href="mailto:morph@debian.org" target="_blank">morph@debian.org</a>> wrote:<br>> > On Tue, Feb 23, 2016 at 9:19 AM, Sandro Tosi <<a href="mailto:morph@debian.org" target="_blank">morph@debian.org</a>> wrote:<br>> >> quick update: we had a couple of (real) nfs issues and<br>> >> misconfiguration (meeh) that made the script fail even if it shouldnt<br>> >> have, so no news yet; the reboot loop just restarted and will<br>> >> periodically check it and report back if something comes up.<br>> ><br>> > so well, we just needed to wait a bit :)<br>> ><br>> > here it is:<br>> ><br>> > # journalctl -alb | grep -nE "cron|NFSSERVER"<br>> > 1012:Feb 23 06:50:42 SERVER systemd[1]: Installed new job<br>> > mnt-NFSSERVER_VOL.mount/start as 99<br>> > 1014:Feb 23 06:50:42 SERVER systemd[1]: Installed new job cron.service/start<br>> > as 101<br>> > 1714:Feb 23 06:50:43 SERVER systemd[1]: Mounting /mnt/NFSSERVER_VOL...<br>> > 1716:Feb 23 06:50:43 SERVER systemd[1]: About to execute: /bin/mount -n<br>> > XXX.YYY.32.75:/vol/VOL /mnt/NFSSERVER_VOL -t nfs -o<br>> > ro,intr,nolock,tcp,rdirplus,noatime,_netdev<br>> > 1718:Feb 23 06:50:43 SERVER systemd[1]: mnt-NFSSERVER_VOL.mount changed dead<br>> > -> mounting<br>> > 1720:Feb 23 06:50:43 SERVER systemd[574]: Executing: /bin/mount -n<br>> > XXX.YYY.32.75:/vol/VOL /mnt/NFSSERVER_VOL -t nfs -o<br>> > ro,intr,nolock,tcp,rdirplus,noatime,_netdev<br>> > 1905:Feb 23 06:52:13 SERVER systemd[1]: mnt-NFSSERVER_VOL.mount mounting<br>> > timed out. Stopping.<br>> > 1906:Feb 23 06:52:13 SERVER systemd[1]: mnt-NFSSERVER_VOL.mount changed<br>> > mounting -> mounting-sigterm<br>> > 1915:Feb 23 06:52:13 SERVER systemd[1]: Child 574 belongs to<br>> > mnt-NFSSERVER_VOL.mount<br>> > 1916:Feb 23 06:52:13 SERVER systemd[1]: mnt-NFSSERVER_VOL.mount mount<br>> > process exited, code=killed status=15<br>> > 1917:Feb 23 06:52:13 SERVER systemd[1]: mnt-NFSSERVER_VOL.mount changed<br>> > mounting-sigterm -> mounted<br>> > 1918:Feb 23 06:52:13 SERVER systemd[1]: Job mnt-NFSSERVER_VOL.mount/start<br>> > finished, result=done<br>> > 1919:Feb 23 06:52:13 SERVER systemd[1]: Mounted /mnt/NFSSERVER_VOL.<br>> > 2025:Feb 23 06:52:13 SERVER systemd[1]: About to execute: /usr/sbin/cron -f<br>> > $EXTRA_OPTS<br>> > 2026:Feb 23 06:52:13 SERVER systemd[1]: Forked /usr/sbin/cron as 786<br>> > 2027:Feb 23 06:52:13 SERVER systemd[1]: cron.service changed dead -> running<br>> > 2028:Feb 23 06:52:13 SERVER systemd[1]: Job cron.service/start finished,<br>> > result=done<br>> > 2029:Feb 23 06:52:13 SERVER systemd[786]: Executing: /usr/sbin/cron -f<br>> > 2038:Feb 23 06:52:13 SERVER cron[786]: (CRON) INFO (pidfile fd = 3)<br>> > 2128:Feb 23 06:52:13 SERVER cron[786]: (CRON) INFO (Running @reboot jobs)<br>> > 2300:Feb 23 06:52:13 SERVER systemd[1]: mnt-NFSSERVER_VOL.mount changed<br>> > mounted -> failed<br>> > 2301:Feb 23 06:52:13 SERVER systemd[1]: Failed to destroy cgroup<br>> > /system.slice/mnt-NFSSERVER_VOL.mount: Device or resource busy<br>> > 2302:Feb 23 06:52:13 SERVER systemd[1]: Unit mnt-NFSSERVER_VOL.mount entered<br>> > failed state.<br>> > 2303:Feb 23 06:52:13 SERVER systemd[1]: Sent message type=signal sender=n/a<br>> > destination=n/a<br>> > object=/org/freedesktop/systemd1/unit/mnt_2dNFSSERVER_5fVOL_2emount<br>> > interface=org.freedesktop.DBus.Properties member=PropertiesChanged cookie=30<br>> > reply_cookie=0 error=n/a<br>> > 2304:Feb 23 06:52:13 SERVER systemd[1]: Sent message type=signal sender=n/a<br>> > destination=n/a<br>> > object=/org/freedesktop/systemd1/unit/mnt_2dNFSSERVER_5fVOL_2emount<br>> > interface=org.freedesktop.DBus.Properties member=PropertiesChanged cookie=31<br>> > reply_cookie=0 error=n/a<br>> ><br>> > so 1m30s passed and the mount didnt come up, which is (one of) the original<br>> > issue (usually, running mount -t nfs -a will bring it up, even just right<br>> > after the failure at boot, so it seems like it's not retried?). i check in<br>> > the journalctl output around those lines, there was additional msg relevant<br>> > to this.<br>><br>> Is the network up at this point?<div><br></div><div>i think so (and the other 11 NFS mounts were correctly mounted at this point anyway): here's some logs of the network and the failing mount:</div><div><br></div><div><div># journalctl -alb | grep -inE "network|NFSSERVER"</div><div>653:Feb 23 06:50:42 SERVER kernel: igb: Intel(R) Gigabit Ethernet Network Driver - version 5.2.15-k</div><div>656:Feb 23 06:50:42 SERVER kernel: igb 0000:01:00.0: Intel(R) Gigabit Ethernet Network Connection</div><div>661:Feb 23 06:50:42 SERVER kernel: igb 0000:01:00.1: Intel(R) Gigabit Ethernet Network Connection</div><div>678:Feb 23 06:50:42 SERVER kernel: drop_monitor: Initializing network drop monitor service</div><div>962:Feb 23 06:50:42 SERVER systemd[1]: Installed new job networking.service/start as 46</div><div>963:Feb 23 06:50:42 SERVER systemd[1]: Installed new job network.target/start as 47</div><div>969:Feb 23 06:50:42 SERVER systemd[1]: Installed new job network-online.target/start as 53</div><div>1012:Feb 23 06:50:42 SERVER systemd[1]: Installed new job mnt-NFSSERVER_VOL.mount/start as 99</div><div>1548:Feb 23 06:50:42 SERVER systemd[1]: Starting LSB: Raise network interfaces....</div><div>1550:Feb 23 06:50:42 SERVER systemd[1]: About to execute: /etc/init.d/networking start</div><div>1551:Feb 23 06:50:42 SERVER systemd[1]: Forked /etc/init.d/networking as 407</div><div>1552:Feb 23 06:50:42 SERVER systemd[1]: networking.service changed dead -> start</div><div>1553:Feb 23 06:50:42 SERVER systemd[407]: Executing: /etc/init.d/networking start</div><div>1591:Feb 23 06:50:43 SERVER networking[407]: Configuring network interfaces...Cannot get EEE settings: Operation not supported</div><div>1648:Feb 23 06:50:43 SERVER networking[407]: done.</div><div>1649:Feb 23 06:50:43 SERVER systemd[1]: Received SIGCHLD from PID 407 (networking).</div><div>1650:Feb 23 06:50:43 SERVER systemd[1]: Child 407 (networking) died (code=exited, status=0/SUCCESS)</div><div>1651:Feb 23 06:50:43 SERVER systemd[1]: Child 407 belongs to networking.service</div><div>1652:Feb 23 06:50:43 SERVER systemd[1]: networking.service: control process exited, code=exited status=0</div><div>1653:Feb 23 06:50:43 SERVER systemd[1]: networking.service got final SIGCHLD for state start</div><div>1654:Feb 23 06:50:43 SERVER systemd[1]: networking.service changed start -> running</div><div>1655:Feb 23 06:50:43 SERVER systemd[1]: Job networking.service/start finished, result=done</div><div>1656:Feb 23 06:50:43 SERVER systemd[1]: Started LSB: Raise network interfaces..</div><div>1657:Feb 23 06:50:43 SERVER systemd[1]: Starting Network.</div><div>1658:Feb 23 06:50:43 SERVER systemd[1]: network.target changed dead -> active</div><div>1659:Feb 23 06:50:43 SERVER systemd[1]: Job network.target/start finished, result=done</div><div>1660:Feb 23 06:50:43 SERVER systemd[1]: Reached target Network.</div><div>1661:Feb 23 06:50:43 SERVER systemd[1]: Starting Network is Online.</div><div>1662:Feb 23 06:50:43 SERVER systemd[1]: network-online.target changed dead -> active</div><div>1663:Feb 23 06:50:43 SERVER systemd[1]: Job network-online.target/start finished, result=done</div><div>1664:Feb 23 06:50:43 SERVER systemd[1]: Reached target Network is Online.</div><div>1714:Feb 23 06:50:43 SERVER systemd[1]: Mounting /mnt/NFSSERVER_VOL...</div><div>1716:Feb 23 06:50:43 SERVER systemd[1]: About to execute: /bin/mount -n XXX.YYY.32.75:/vol/VOL /mnt/NFSSERVER_VOL -t nfs -o ro,intr,nolock,tcp,rdirplus,noatime,_netdev</div><div>1718:Feb 23 06:50:43 SERVER systemd[1]: mnt-NFSSERVER_VOL.mount changed dead -> mounting</div><div>1720:Feb 23 06:50:43 SERVER systemd[574]: Executing: /bin/mount -n XXX.YYY.32.75:/vol/VOL /mnt/NFSSERVER_VOL -t nfs -o ro,intr,nolock,tcp,rdirplus,noatime,_netdev</div><div>1877:Feb 23 06:50:58 SERVER systemd[1]: Child 489 belongs to networking.service</div><div>1879:Feb 23 06:50:58 SERVER systemd[1]: Child 501 belongs to networking.service</div><div>1891:Feb 23 06:51:19 SERVER systemd[1]: Child 539 belongs to networking.service</div><div>1892:Feb 23 06:51:19 SERVER systemd[1]: networking.service: cgroup is empty</div><div>1893:Feb 23 06:51:19 SERVER systemd[1]: networking.service changed running -> exited</div><div>1905:Feb 23 06:52:13 SERVER systemd[1]: mnt-NFSSERVER_VOL.mount mounting timed out. Stopping.</div><div>1906:Feb 23 06:52:13 SERVER systemd[1]: mnt-NFSSERVER_VOL.mount changed mounting -> mounting-sigterm</div><div>1915:Feb 23 06:52:13 SERVER systemd[1]: Child 574 belongs to mnt-NFSSERVER_VOL.mount</div><div>1916:Feb 23 06:52:13 SERVER systemd[1]: mnt-NFSSERVER_VOL.mount mount process exited, code=killed status=15</div><div>1917:Feb 23 06:52:13 SERVER systemd[1]: mnt-NFSSERVER_VOL.mount changed mounting-sigterm -> mounted</div><div>1918:Feb 23 06:52:13 SERVER systemd[1]: Job mnt-NFSSERVER_VOL.mount/start finished, result=done</div><div>1919:Feb 23 06:52:13 SERVER systemd[1]: Mounted /mnt/NFSSERVER_VOL.</div><div>2300:Feb 23 06:52:13 SERVER systemd[1]: mnt-NFSSERVER_VOL.mount changed mounted -> failed</div><div>2301:Feb 23 06:52:13 SERVER systemd[1]: Failed to destroy cgroup /system.slice/mnt-NFSSERVER_VOL.mount: Device or resource busy</div><div>2302:Feb 23 06:52:13 SERVER systemd[1]: Unit mnt-NFSSERVER_VOL.mount entered failed state.</div><div>2303:Feb 23 06:52:13 SERVER systemd[1]: Sent message type=signal sender=n/a destination=n/a object=/org/freedesktop/systemd1/unit/mnt_2dNFSSERVER_5fVOL_2emount interface=org.freedesktop.DBus.Properties member=PropertiesChanged cookie=30 reply_cookie=0 error=n/a</div><div>2304:Feb 23 06:52:13 SERVER systemd[1]: Sent message type=signal sender=n/a destination=n/a object=/org/freedesktop/systemd1/unit/mnt_2dNFSSERVER_5fVOL_2emount interface=org.freedesktop.DBus.Properties member=PropertiesChanged cookie=31 reply_cookie=0 error=n/a</div><div>2449:Feb 23 06:52:13 SERVER systemd[1]: Starting Host and Network Name Lookups.</div><div>2452:Feb 23 06:52:13 SERVER systemd[1]: Reached target Host and Network Name Lookups.</div></div><div><br></div><div>in particular</div><div><br></div><div><div>1664:Feb 23 06:50:43 SERVER systemd[1]: Reached target Network is Online.</div><div>1714:Feb 23 06:50:43 SERVER systemd[1]: Mounting /mnt/NFSSERVER_VOL...</div></div><div><br></div><div>so the net online target is reached (if we believe systemd :) from man systemd.special for network-online.target, "What precisely this requires is left to the implementation of the network managing service.", how can we know how this is implemented, and so what is meant here as 'online'?) before attempting the mount.</div><div><br></div><div>I checked at what point the /mnt/NFSSERVER_VOL is executed, and it was the very last one NFS mount attempted (dunno if it's useful, i was expecting to be the first, so with a possibly network still unstable), here below what I called before /mnt/NFSSERVER_VOL is /mnt/NFSSERVER1_VOL (as i included also the other NFS mounts):</div><div><br></div><div><div>1665:Feb 23 06:50:43 SERVER systemd[1]: Mounting /mnt/NFSSERVER12_VOL...</div><div>1669:Feb 23 06:50:43 SERVER systemd[1]: Mounting /mnt/NFSSERVER7_VOL...</div><div>1674:Feb 23 06:50:43 SERVER systemd[1]: Mounting /mnt/NFSSERVER10...</div><div>1679:Feb 23 06:50:43 SERVER systemd[1]: Mounting /mnt/NFSSERVER7_VOL...</div><div>1684:Feb 23 06:50:43 SERVER systemd[1]: Mounting /mnt/NFSSERVER8...</div><div>1689:Feb 23 06:50:43 SERVER systemd[1]: Mounting /mnt/NFSSERVER7_VOL...</div><div>1694:Feb 23 06:50:43 SERVER systemd[1]: Mounting /mnt/NFSSERVER5...</div><div>1699:Feb 23 06:50:43 SERVER systemd[1]: Mounting /mnt/NFSSERVER4...</div><div>1704:Feb 23 06:50:43 SERVER systemd[1]: Mounting /mnt/NFSSERVER3...</div><div>1709:Feb 23 06:50:43 SERVER systemd[1]: Mounting /mnt/NFSSERVER2...</div><div>1714:Feb 23 06:50:43 SERVER systemd[1]: Mounting /mnt/NFSSERVER1_VOL...</div><div>1757:Feb 23 06:50:46 SERVER systemd[1]: mnt-NFSSERVER12_VOL.mount changed mounting -> mounting-done</div><div>1759:Feb 23 06:50:46 SERVER systemd[1]: Mounted /mnt/NFSSERVER12_VOL.</div><div>1777:Feb 23 06:50:47 SERVER systemd[1]: mnt-NFSSERVER8.mount changed mounting -> mounting-done</div><div>1779:Feb 23 06:50:47 SERVER systemd[1]: Mounted /mnt/NFSSERVER8.</div><div>1780:Feb 23 06:50:47 SERVER systemd[1]: mnt-NFSSERVER7_VOL.mount changed mounting -> mounting-done</div><div>1782:Feb 23 06:50:47 SERVER systemd[1]: Mounted /mnt/NFSSERVER7_VOL.</div><div>1783:Feb 23 06:50:47 SERVER systemd[1]: mnt-NFSSERVER3.mount changed mounting -> mounting-done</div><div>1785:Feb 23 06:50:47 SERVER systemd[1]: Mounted /mnt/NFSSERVER3.</div><div>1786:Feb 23 06:50:47 SERVER systemd[1]: mnt-NFSSERVER5.mount changed mounting -> mounting-done</div><div>1788:Feb 23 06:50:47 SERVER systemd[1]: Mounted /mnt/NFSSERVER5.</div><div>1789:Feb 23 06:50:47 SERVER systemd[1]: mnt-NFSSERVER7_VOL.mount changed mounting -> mounting-done</div><div>1791:Feb 23 06:50:47 SERVER systemd[1]: Mounted /mnt/NFSSERVER7_VOL.</div><div>1792:Feb 23 06:50:47 SERVER systemd[1]: mnt-NFSSERVER7_VOL.mount changed mounting -> mounting-done</div><div>1794:Feb 23 06:50:47 SERVER systemd[1]: Mounted /mnt/NFSSERVER7_VOL.</div><div>1795:Feb 23 06:50:47 SERVER systemd[1]: mnt-NFSSERVER10.mount changed mounting -> mounting-done</div><div>1797:Feb 23 06:50:47 SERVER systemd[1]: Mounted /mnt/NFSSERVER10.</div><div>1830:Feb 23 06:50:47 SERVER systemd[1]: mnt-NFSSERVER4.mount changed mounting -> mounted</div><div>1832:Feb 23 06:50:47 SERVER systemd[1]: Mounted /mnt/NFSSERVER4.</div><div>1836:Feb 23 06:50:47 SERVER systemd[1]: mnt-NFSSERVER2.mount changed mounting -> mounted</div><div>1838:Feb 23 06:50:47 SERVER systemd[1]: Mounted /mnt/NFSSERVER2.</div><div>1906:Feb 23 06:52:13 SERVER systemd[1]: mnt-NFSSERVER1_VOL.mount changed mounting -> mounting-sigterm</div><div>1919:Feb 23 06:52:13 SERVER systemd[1]: Mounted /mnt/NFSSERVER1_VOL.</div></div><div><br></div><div>but it is the first one defined in /etc/fstab:</div><div><br></div><div><div>XXX.YYY.32.75:/vol/vol3    /mnt/NFSSERVER1_VOL      nfs     ro,intr,nolock,tcp,rdirplus,noatime,_netdev</div><div>XXX.YYY.26.132:/ifs    /mnt/NFSSERVER2    nfs     rw,intr,tcp,rdirplus,noatime,_netdev</div><div>XXX.YYY.20.176:/ifs    /mnt/NFSSERVER3      nfs     ro,tcp,rdirplus,noatime,_netdev</div><div>XXX.YYY.16.226:/ifs    /mnt/NFSSERVER4     nfs     rw,intr,tcp,rdirplus,noatime,_netdev</div><div>XXX.YYY.21.22:/ifs/scratcho    /mnt/NFSSERVER5     nfs     rw,intr,tcp,rdirplus,noatime,_netdev</div><div>XXX.YYY.27.74:/vol/vol5    /mnt/NFSSERVER7_VOL     nfs     rw,intr,tcp,rdirplus,noatime,_netdev<br></div><div>XXX.YYY.32.111:/buildcache     /mnt/NFSSERVER8   nfs     ro,soft,intr,tcp,rdirplus,noatime,_netdev</div><div>XXX.YYY.27.74:/vol/vol1    /mnt/NFSSERVER7_VOL     nfs     ro,soft,intr,tcp,rdirplus,noatime,_netdev</div><div>XXX.YYY.20.176:/ifs    /mnt/NFSSERVER10     nfs     ro,nocto,actimeo=600,tcp,rdirplus,noatime,_netdev</div><div>XXX.YYY.27.74:/vol/vol6    /mnt/NFSSERVER7_VOL     nfs     ro,soft,intr,tcp,rdirplus,noatime,_netdev</div><div>XXX.YYY.20.14:/vol/vol3 <span style="white-space:pre-wrap">  </span> /mnt/NFSSERVER12_VOL <span style="white-space:pre-wrap">  </span> nfs <span style="white-space:pre-wrap">   </span> ro,intr,nolock,tcp,rdirplus,noatime,_netdev</div></div><div><br></div><div>something else that sounds fishy is:</div><div><br></div><div><div>Feb 23 06:50:43 SERVER systemd[1]: Mounting /mnt/NFSSERVER1_VOL...</div><div>Feb 23 06:50:43 SERVER systemd[1]: About to execute: /bin/mount -n XXX.YYY.32.75:/vol/vol3 /mnt/NFSSERVER1_VOL -t nfs -o ro,intr,nolock,tcp,rdirplus,noatime,_netdev</div><div>Feb 23 06:50:43 SERVER systemd[1]: mnt-NFSSERVER1_VOL.mount changed dead -> mounting</div><div>Feb 23 06:50:43 SERVER systemd[574]: Executing: /bin/mount -n XXX.YYY.32.75:/vol/vol3 /mnt/NFSSERVER1_VOL -t nfs -o ro,intr,nolock,tcp,rdirplus,noatime,_netdev</div><div>Feb 23 06:52:13 SERVER systemd[1]: mnt-NFSSERVER1_VOL.mount mounting timed out. Stopping.</div><div>Feb 23 06:52:13 SERVER systemd[1]: mnt-NFSSERVER1_VOL.mount changed mounting -> mounting-sigterm</div><div>Feb 23 06:52:13 SERVER systemd[1]: Child 574 belongs to mnt-NFSSERVER1_VOL.mount</div><div>Feb 23 06:52:13 SERVER systemd[1]: mnt-NFSSERVER1_VOL.mount mount process exited, code=killed status=15</div><div>Feb 23 06:52:13 SERVER systemd[1]: mnt-NFSSERVER1_VOL.mount changed mounting-sigterm -> mounted</div><div>Feb 23 06:52:13 SERVER systemd[1]: Job mnt-NFSSERVER1_VOL.mount/start finished, result=done</div><div>Feb 23 06:52:13 SERVER systemd[1]: Mounted /mnt/NFSSERVER1_VOL.</div><div>Feb 23 06:52:13 SERVER systemd[1]: Starting Remote File Systems.</div><div>Feb 23 06:52:13 SERVER systemd[1]: remote-fs.target changed dead -> active</div><div>Feb 23 06:52:13 SERVER systemd[1]: Job remote-fs.target/start finished, result=done</div><div>Feb 23 06:52:13 SERVER systemd[1]: Reached target Remote File Systems.</div><div>Feb 23 06:52:13 SERVER systemd[1]: mnt-NFSSERVER1_VOL.mount changed mounted -> failed</div></div><div><br></div><div>so it is actually marked as done/mounted (?!?): "mnt-NFSSERVER1_VOL.mount changed mounting-sigterm -> mounted", which triggers "Job remote-fs.target/start finished, result=done" - but that seems wrong, it was sigterm'ed, why systemd thinks this is actually completed correctly? at the end it doesnt, as it's marked as failed, but that "mounting-sigterm -> mounted" transition appears to be a mistake</div><div><br></div><div><br>><br>> ><br>> > also note like cron.service is started, even if we configured:<br>> ><br>> > # grep remote-fs /etc/systemd/system/cron.service<br>> > Requires=remote-fs.target<br>> > After=remote-fs.target<br>><br>> What does `systemctl show remote-fs.target` say?</div><div><br></div><div><div>Id=remote-fs.target</div><div>Names=remote-fs.target</div><div>Requires=mnt-NFSSERVER12_VOL.mount mnt-NFSSERVER7_vol6.mount mnt-NFSSERVER32.mount mnt-NFSSERVER9_vol1.mount mnt-NFSSERVER8.mount mnt-NFSSERVER11_vol5.mount mnt-NFSSERVER5.mount mnt-NFSSERVER4.mount mnt-gonzo.mount mnt-NFSSERVER2.mount mnt-NFSSERVER1_vol3.mount</div><div>Wants=remote-fs-pre.target</div><div>RequiredBy=cron.service</div><div>WantedBy=multi-user.target</div><div>Conflicts=shutdown.target</div><div>Before=console-setup.service kbd.service systemd-journal-flush.service systemd-user-sessions.service mcelog.service ntp.service ipmidetectd.service kexec-load.service nagios-nrpe-server.service nutcracker.service lsyncd.service irqbalance.service ipwatchd.service ganglia-monitor.service unbound.service bmc-watchdog.service setup_hugetlbfs.service sysstat.service postfix.service cron.service</div><div>After=remote-fs-pre.target local-fs.target mnt-NFSSERVER1_VOL.mount mnt-NFSSERVER2.mount mnt-NFSSERVER3.mount mnt-NFSSERVER4.mount mnt-NFSSERVER5.mount mnt-NFSSERVER7_vol5.mount mnt-NFSSERVER8.mount mnt-NFSSERVER9_vol1.mount mnt-NFSSERVER10.mount mnt-NFSSERVER11_vol6.mount mnt-NFSSERVER12_vol3.mount</div><div>Documentation=man:systemd.special(7)</div><div>Description=Remote File Systems</div><div>LoadState=loaded</div><div>ActiveState=active</div><div>SubState=active</div><div>FragmentPath=/lib/systemd/system/remote-fs.target</div><div>DropInPaths=/run/systemd/generator/remote-fs.target.d/50-insserv.conf.conf</div><div>UnitFileState=enabled</div><div>InactiveExitTimestamp=Tue 2016-02-23 06:52:13 EST</div><div>InactiveExitTimestampMonotonic=104052746</div><div>ActiveEnterTimestamp=Tue 2016-02-23 06:52:13 EST</div><div>ActiveEnterTimestampMonotonic=104052746</div><div>ActiveExitTimestampMonotonic=0</div><div>InactiveEnterTimestampMonotonic=0</div><div>CanStart=yes</div><div>CanStop=yes</div><div>CanReload=no</div><div>CanIsolate=no</div><div>StopWhenUnneeded=no</div><div>RefuseManualStart=no</div><div>RefuseManualStop=no</div><div>AllowIsolate=no</div><div>DefaultDependencies=no</div><div>OnFailureJobMode=replace</div><div>IgnoreOnIsolate=no</div><div>IgnoreOnSnapshot=no</div><div>NeedDaemonReload=no</div><div>JobTimeoutUSec=0</div><div>ConditionResult=yes</div><div>ConditionTimestamp=Tue 2016-02-23 06:52:13 EST</div><div>ConditionTimestampMonotonic=104052734</div><div>Transient=no</div></div><div><br>><br>> ><br>> > checking the status of that target:<br>> ><br>> > # systemctl status remote-fs.target<br>> > ● remote-fs.target - Remote File Systems<br>> >    Loaded: loaded (/lib/systemd/system/remote-fs.target; enabled)<br>> >   Drop-In: /run/systemd/generator/remote-fs.target.d<br>> >            └─50-insserv.conf.conf<br>> >    Active: active since Tue 2016-02-23 06:52:13 EST; 3h 15min ago<br>> >      Docs: man:systemd.special(7)<br>> ><br>> > Feb 23 06:52:13 SERVER systemd[1]: Starting Remote File Systems.<br>> > Feb 23 06:52:13 SERVER systemd[1]: Job remote-fs.target/start finished,<br>> > result=done<br>> > Feb 23 06:52:13 SERVER systemd[1]: Reached target Remote File Systems.<br>> ><br>> > so at the same time when mnt-NFSSERVER_VOL.mount is marked as failed, the<br>> > remote-fs.target is marked as loaded successfully (which seems the wrong<br>> > status to me), and in fact the only failed unit is:<br>> ><br>> > # systemctl --failed<br>> >   UNIT                    LOAD   ACTIVE SUB    DESCRIPTION<br>> > ● mnt-NFSSERVER_VOL.mount loaded failed failed /mnt/NFSSERVER_VOL<br>> ><br>> > 1 loaded units listed. Pass --all to see loaded but inactive units, too.<br>><br>> Looks like remote-fs.target does not Require its mounts, only Wants.</div><div><br></div><div>from the 'show' command above it seems it actually Requires the mount, where did you find the info about only 'Want'ing the mounts?</div><div><br>><br>> ><br>> ><br>> > can I provide more logs/info? do you see anything wrong on this<br>> > configuration that we might want to change?<br>><br>> It seems strange that the mount fails.</div><div><br></div><div>yeah I agree it's strange, but there might be situations when the particular nfs server is overloaded, and/or the network path is a bit congested, and the mount might take a while to come up; we consider a slow mount acceptable (we dont reboot machines that often, and servers are already slow beasts to start, a few secs more is not an issue), we just feel like if something goes a bit out of the usual, the mount is never retried and it's just left it there, dying</div><div><br></div><div>> Any logs which might shed some<br>> light on why the mount command fails (especially network status)?</div><div><br></div><div>sadly i cant find anything relevant: dmesg has nothing, journalctl contains nothing helpful/related, ad so do syslog or messages - any other place you want me to look?</div><div><br></div><div>> Does<br>> the mount complete successfully if started via systemd post-boot ?<br>> that is, `systemctl start mnt-NFSSERVER_VOL.mount`.<br><br>it usually does, up to the point that we setup a "mount -t nfs -a" as an @reboot cronjob just to get the mounts up<br><br>on this specific machine. I'm running that command now, so 24hrs after when that happened, and it completes just fine (but i have no doubts it would have succeeded even just after the boot failure):</div><div><br></div><div><div># systemctl --failed --no-legend</div><div>mnt-NFSSERVER_VOL.mount loaded failed failed /mnt/NFSSERVER_VOL</div><div># systemctl start mnt-NFSSERVER_VOL.mount</div></div><div><br></div><div>Feb 24 07:24:21 SERVER systemd[1]: Trying to enqueue job mnt-NFSSERVER1_VOL.mount/start/replace</div><div>Feb 24 07:24:21 SERVER systemd[1]: Installed new job mnt-NFSSERVER1_VOL.mount/start as 565</div><div>Feb 24 07:24:21 SERVER systemd[1]: Enqueued job mnt-NFSSERVER1_VOL.mount/start as 565</div><div>Feb 24 07:24:21 SERVER systemd[1]: Mounting /mnt/NFSSERVER1_VOL...</div><div>Feb 24 07:24:21 SERVER systemd[1]: mnt-NFSSERVER1_VOL.mount: Directory /mnt/majestix_vol3 to mount over is not empty, mounting anyway.</div><div>Feb 24 07:24:21 SERVER systemd[1]: About to execute: /bin/mount -n XXX.YYY.32.75:/vol/vol3 /mnt/NFSSERVER1_VOL -t nfs -o ro,intr,nolock,tcp,rdirplus,noatime,_netdev</div><div>Feb 24 07:24:21 SERVER systemd[1]: mnt-NFSSERVER1_VOL.mount changed failed -> mounting</div><div>Feb 24 07:24:21 SERVER systemd[1]: Sent message type=signal sender=n/a destination=n/a object=/org/freedesktop/systemd1/unit/mnt_2dNFSSERVER1_5fvol3_2emount interface=org.freedesktop.DBus.Properties member=PropertiesChanged cookie=3 reply_cookie=0 error=n/a</div><div>Feb 24 07:24:21 SERVER systemd[1]: Sent message type=signal sender=n/a destination=n/a object=/org/freedesktop/systemd1/unit/mnt_2dNFSSERVER1_5fvol3_2emount interface=org.freedesktop.DBus.Properties member=PropertiesChanged cookie=4 reply_cookie=0 error=n/a</div><div>Feb 24 07:24:21 SERVER systemd[1]: Got message type=method_call sender=n/a destination=org.freedesktop.systemd1 object=/org/freedesktop/systemd1/unit/mnt_2dNFSSERVER1_5fvol3_2emount interface=org.freedesktop.DBus.Properties member=Get cookie=3 reply_cookie=0 error=n/a</div><div>Feb 24 07:24:21 SERVER systemd[27575]: Executing: /bin/mount -n XXX.YYY.32.75:/vol/vol3 /mnt/NFSSERVER1_VOL -t nfs -o ro,intr,nolock,tcp,rdirplus,noatime,_netdev</div><div>Feb 24 07:24:21 SERVER systemd[1]: Child 27575 belongs to mnt-NFSSERVER1_VOL.mount</div><div>Feb 24 07:24:21 SERVER systemd[1]: mnt-NFSSERVER1_VOL.mount mount process exited, code=exited status=0</div><div>Feb 24 07:24:21 SERVER systemd[1]: mnt-NFSSERVER1_VOL.mount changed mounting -> mounted</div><div>Feb 24 07:24:21 SERVER systemd[1]: Job mnt-NFSSERVER1_VOL.mount/start finished, result=done</div><div>Feb 24 07:24:21 SERVER systemd[1]: Mounted /mnt/NFSSERVER1_VOL.</div><div><br></div><div><div># systemctl status | head</div><div>● SERVER</div><div>    State: running</div><div>     Jobs: 0 queued</div><div>   Failed: 0 units</div><div><br></div><div><br></div><div>thanks a ton!!</div><br>-- <br>Sandro "morph" Tosi<br>My website: <a href="http://sandrotosi.me/" target="_blank">http://sandrotosi.me/</a><br>Me at Debian: <a href="http://wiki.debian.org/SandroTosi" target="_blank">http://wiki.debian.org/SandroTosi</a><br>G+: <a href="https://plus.google.com/u/0/+SandroTosi" target="_blank">https://plus.google.com/u/0/+SandroTosi</a></div></div>