<div dir="ltr"><div><div>> Do you have to do
within-subjects classification, or could you cross-validate on the
subjects? (I guess that is option 4.) That would also simplify the
permutation testing.<br><br></div>yes, I am interested in within subject pattern of activities, possibly RSA<br><br>> If you need to stick to
cross-validation within people, I'd prefer splitting the dataset into two
halves (first half of the run, second half of the run, which I assume is
your option 1) over option 2: adding more cross-validation folds just
compounds the potential confounds, and there's nothing special about 10
folds.<br><br></div>10 folds has almost twice as many training points, therefore I guess it will have higher accuracy, and with split half, there still wouldn't be much to permute<br><br><div><div><div class="gmail_extra"><br></div></div></div></div>