<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=Windows-1252">
</head>
<body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; ">
<div>
<div>
<div><font class="Apple-style-span" face="Calibri,sans-serif">I have hint as to what might be causing problems with my sentinel jobs.  Late yesterday I saw this: </font></div>
<div><font class="Apple-style-span" face="Calibri,sans-serif"><br>
</font></div>
<div><font class="Apple-style-span" face="Calibri,sans-serif">  $ condor_q</font></div>
<div><font class="Apple-style-span" face="Calibri,sans-serif"><br>
</font></div>
<div><font class="Apple-style-span" face="Calibri,sans-serif">  -- Failed to fetch ads from: <127.0.0.1:50116> : name.domain</font></div>
<div><font class="Apple-style-span" face="Calibri,sans-serif"><br>
</font></div>
<div><font class="Apple-style-span" face="Calibri,sans-serif">Moments later all the sentinel jobs released their dependents.  </font></div>
<div><font class="Apple-style-span" face="Calibri,sans-serif"><br>
</font></div>
<div><font class="Apple-style-span" face="Calibri,sans-serif">The condor docs suggest my use of BIND_ALL_INTERFACES = TRUE is not enough and that I must explicitly set NETWORK_INTERFACE to the non-loopback address.  The pool is reconfiguring right now.  I'll
 retest.  </font></div>
<div><font class="Apple-style-span" face="Calibri,sans-serif"><br>
</font></div>
<div><font class="Apple-style-span" face="Calibri,sans-serif">Philip</font></div>
<div style="color: rgb(0, 0, 0); font-family: Calibri, sans-serif; font-size: 14px; ">
<br>
</div>
<div style="color: rgb(0, 0, 0); font-family: Calibri, sans-serif; font-size: 14px; ">
<div>
<div style="font-family: Consolas; font-size: medium; "><font class="Apple-style-span" face="Consolas,monospace">Philip B. Chase</font></div>
<div style="font-family: Consolas; font-size: medium; "><font class="Apple-style-span" face="Consolas,monospace">Assistant Director</font></div>
<div style="font-family: Consolas; font-size: medium; "><font class="Apple-style-span" face="Consolas,monospace">Clinical and Translational Science IT</font></div>
<div style="font-family: Consolas; font-size: medium; "><font class="Apple-style-span" face="Consolas,monospace">University of Florida</font></div>
<div style="font-family: Consolas; font-size: medium; "><font class="Apple-style-span" face="Consolas,monospace">pbc@ufl.edu</font></div>
<div style="font-family: Consolas; font-size: medium; "><span class="Apple-style-span" style="font-family: Consolas, monospace; ">352-294-5164</span></div>
</div>
</div>
</div>
</div>
<div style="color: rgb(0, 0, 0); font-family: Calibri, sans-serif; font-size: 14px; ">
<br>
</div>
<span id="OLK_SRC_BODY_SECTION" style="color: rgb(0, 0, 0); font-size: 14px; font-family: Calibri, sans-serif; ">
<div style="font-family:Calibri; font-size:11pt; text-align:left; color:black; BORDER-BOTTOM: medium none; BORDER-LEFT: medium none; PADDING-BOTTOM: 0in; PADDING-LEFT: 0in; PADDING-RIGHT: 0in; BORDER-TOP: #b5c4df 1pt solid; BORDER-RIGHT: medium none; PADDING-TOP: 3pt">
<span style="font-weight:bold">From: </span><Chase>, Philip Chase <<a href="mailto:pbc@ufl.edu">pbc@ufl.edu</a>><br>
<span style="font-weight:bold">Date: </span>Thursday, November 1, 2012 2:51 PM<br>
<span style="font-weight:bold">To: </span>"<a href="mailto:neurodebian-users@lists.alioth.debian.org">neurodebian-users@lists.alioth.debian.org</a>" <<a href="mailto:neurodebian-users@lists.alioth.debian.org">neurodebian-users@lists.alioth.debian.org</a>><br>
<span style="font-weight:bold">Subject: </span>[Neurodebian-users] condor_qsub sentinel jobs release dependencies early in some cases<br>
</div>
<div><br>
</div>
<div>
<div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; color: rgb(0, 0, 0); font-size: 14px; font-family: Calibri, sans-serif; ">
<div>
<div>
<div>I am seeing a transient failure in condor jobs dependencies.  The sentinel jobs created by condor_qsub are releasing dependencies early in some cases.  I adding logging to the sentinel job scripts and can see the count of "hold_jids" returned by the following
 line drop dramatically to zero</div>
<div><br>
</div>
<div>  condor_q -long -attributes Owner \$hold_jids | grep "$USER" | wc –l</div>
<div><br>
</div>
<div>The sentinel job then releases the held job and exits.  As the count of hold_jids is in reality non-zero, those jobs proceed to normal completion, but out of sequence.   </div>
<div><br>
</div>
<div>In most of my tests the hold is released at the correct time.  Has anyone seen transient failures on condor_q that might cause this?  </div>
<div><br>
</div>
<div>In my configuration the submit node is the head node and also a worker node.  Is it possible the server is too busy to make a timely response so the client gives up?  </div>
<div><br>
</div>
<div>Thanks, </div>
<div>Philip</div>
<div><br>
</div>
<div>
<div>
<div style="font-family: Consolas; font-size: medium; "><font class="Apple-style-span" face="Consolas,monospace">Philip B. Chase</font></div>
<div style="font-family: Consolas; font-size: medium; "><font class="Apple-style-span" face="Consolas,monospace">Assistant Director</font></div>
<div style="font-family: Consolas; font-size: medium; "><font class="Apple-style-span" face="Consolas,monospace">Clinical and Translational Science IT</font></div>
<div style="font-family: Consolas; font-size: medium; "><font class="Apple-style-span" face="Consolas,monospace">University of Florida</font></div>
<div style="font-family: Consolas; font-size: medium; "><font class="Apple-style-span" face="Consolas,monospace"><a href="mailto:pbc@ufl.edu">pbc@ufl.edu</a></font></div>
<div style="font-family: Consolas; font-size: medium; "><span class="Apple-style-span" style="font-family: Consolas, monospace; ">352-294-5164</span></div>
</div>
</div>
</div>
</div>
</div>
</div>
</span>
</body>
</html>