<div dir="ltr">You are absolutely right, I don't know how I miss it, thanks!</div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Dec 12, 2016 at 11:42 AM, Nick Oosterhof <span dir="ltr"><<a href="mailto:n.n.oosterhof@googlemail.com" target="_blank">n.n.oosterhof@googlemail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class=""><br>
> On 12 Dec 2016, at 18:02, Raúl Hernández <<a href="mailto:raul@lafuentelab.org">raul@lafuentelab.org</a>> wrote:<br>
><br>
> Hi all,<br>
><br>
> I’m having trouble getting my head around something and I was wondering if you can give me a hand.<br>
><br>
> I’m running a classification with 4 possible categories, 10 runs. My data is balanced and I’m using CSVM and a leave one out cross-validation.<br>
><br>
> Just for fun, I wanted to create a distribution of the possible performance if I randomized the labels of the runs, so I was expecting a performance around 0.25, after 12,000 reps, I got 0.200, I don’t get it, do you have any idea?<br>
><br>
><br>
><br>
> This is part of the code I used:<br>
><br>
><br>
><br>
> clf = LinearCSVMC()<br>
><br>
> SensitivityBasedFeatureSelecti<wbr>on(OneWayAnova(), FractionTailSelector(0.01, mode='select', tail='upper'))<br>
><br>
> fclf = FeatureSelectionClassifier(<wbr>clf, fsel)<br>
><br>
> cvte = CrossValidation(fclf, NFoldPartitioner(), errorfx=lambda p, t: np.mean(p == t), enable_ca=['stats'])<br>
><br>
> for k in range(0,rndReps):<br>
><br>
>       np.random.shuffle(<a href="http://fds.sa">fds.sa</a>.<wbr>targets)<br>
><br>
><br>
>         cv_results = cvte(fds)<br>
<br>
</span>I'm not sure if this explains the below-chance performance, but it seems that the way that you shuffle the labels does not take into account the chunk structure. This messes up the (in)dependency information. It also means that data in datasets with shuffled targets can be un-balanced, unlike the original data.<br>
<br>
I would suggest to randomly re-assign targets in each chunk (run) separately.<br>
<br>
<br>
<br>
<br>
______________________________<wbr>_________________<br>
Pkg-ExpPsy-PyMVPA mailing list<br>
<a href="mailto:Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org">Pkg-ExpPsy-PyMVPA@lists.<wbr>alioth.debian.org</a><br>
<a href="http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa" rel="noreferrer" target="_blank">http://lists.alioth.debian.<wbr>org/cgi-bin/mailman/listinfo/<wbr>pkg-exppsy-pymvpa</a></blockquote></div><br></div>