<div dir="ltr">On Fri, Feb 1, 2013 at 9:41 PM, Yaroslav Halchenko <span dir="ltr"><<a href="mailto:debian@onerussian.com" target="_blank">debian@onerussian.com</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote">
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Thanks Michael,<br>
<br>
It is a nice example showing that we better permute  testing set<br>
as well.  Otherwise, the stronger our signal is -- worse we become in<br>
detecting it (kinda awkward isn't it?).<br></blockquote><div><br></div><div style>That is not the case. For the higher SNR value the accuracy is at 100% and the</div><div style>associated p-value is at the theoretical minimum.</div>
<div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
e.g. with 2 chunks and SNR 30.00 (i.e. where signal is obviously<br>
there and classification on unpermutted labels probably is stable 100%)<br>
-- we would not be able to tell if that is "significant" if we maintain<br>
original order in the testing set while doing permutation testing.<br></blockquote><div><br></div><div style>Not the case -- if you run the script and increase the bin size you can see that the p-value</div><div style>is a nice one ;-)</div>
<div style> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
now (if you are already asleep, I will try doing it later) - just extend<br>
it into the power (or ROC detection) analysis -- what we are actually<br>
after here.  Add SNR=0.00 -- collect both types of samples and<br>
describe each plot with its power to detect the true signal using both<br>
kinds of permutation.   Ideally your power should grow with SNR ;)</blockquote><div><br></div><div style>I am not asleep, but I am having a good time doing nothing ;-)</div><div style><br></div><div style>Michael </div><div>
<br></div><div><br></div></div>
</div></div>