Thanks for the advice!<div><br></div><div>Best,</div><div>Mike<span></span><br><br>On Monday, July 9, 2012, J.A. Etzel  wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Group analysis for searchlight results is unfortunately not straightforward or agreed-upon. But a few thoughts, anyway.<br>
<br>
First, I would not do small-volume corrections. This is mixing whole-brain (the searchlight) and ROI-based analyses/hypotheses. If you have a ROI-based hypothesis you should do ROI-based analyses (test the region directly); otherwise it's too easy to draw the ROIs around the blobs and create positive results out of anything.<br>

<br>
Smoothing the single-subject maps then doing a 'normal' mass-univariate analysis in spm is a safer strategy, though as you point out, information maps are definitely not activation maps. I'd suggest trying something like whole-brain FDR or FWE with a reasonable cluster size threshold. You might consider thresholding at p < .1 or something if p < .05 is too restrictive; justifiable in my opinion, given how different searchlight data is from 'normal' fMRI data.<br>

<br>
Given how few subjects you have, I'd also present the single-subject maps; obvious results in each subject makes the group results convincing even if the group-level p-values are less significant than you might hope.<br>

<br>
good luck,<br>
Jo<br>
<br>
<br>
On 7/5/2012 12:21 PM, Mike E. Klein wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Hi everyone,<br>
<br>
I'm attempting to threshold group data for a searchlight-based MVPA . I<br>
am performing the group-wise stats via a standard top-level analysis in<br>
SPM (using single-subject searchlight accuracy maps as inputs). I am<br>
having difficulty figuring out where to set significance thresholds. SPM<br>
is using a purely random-effects calculation on the data (n=9, so df=8),<br>
leading to enormous t-thresholds (~16), which are impossible to reach<br>
and seem way too conservative. If I do small-volume corrections on our<br>
a-priori regions of interest, the effects are significant (but not by<br>
much...t-thresholds in the 8s), so this seems less than ideal (and<br>
ignores most of the brain).<br>
<br>
Typically, for GLM analyses, we use a "mixed effects" model, which<br>
incorporates both within- and between-subjects statistics, yielding an<br>
"effective" degree of freedom (which is much higher than the number of<br>
study participants, though much lower than the total number of trials in<br>
the experiment). However, I am not sure (a) how to calculate this for an<br>
MVPA study or (b) if the same set of assumptions hold. Our nine subjects<br>
each underwent 9 functional runs (used for 8 -> 1 leave one out cross<br>
validation). So each subjects searchlight map was reflecting an average<br>
of these nine folds. We used 81 total examples per condition (9 per<br>
run), which were temporally averaged, leaving 27 examples per condition<br>
that were fed into an SVM. Single-subject results were warped into<br>
standard space and also explicitly smoothed with a 7mm gaussian kernel,<br>
before being fed into SPM.<br>
<br>
We have strong results, so really I'm looking for the "most proper" way<br>
to perform searchlight group significance testing. Because we're doing<br>
35,000-45,000 spheres per subject, I don't think permutation testing is<br>
feasible. There's also the option of reporting p<0.05 FWE stats for the<br>
pre-defined ROIs, and p<0.001 (uncorrected) for the rest of the brain,<br>
for completeness sake.<br>
<br>
Any advice is greatly appreciated!<br>
<br>
Best,<br>
Mike<br>
<br>
<br>
______________________________<u></u>_________________<br>
Pkg-ExpPsy-PyMVPA mailing list<br>
<a>Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org</a><br>
<a href="http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa" target="_blank">http://lists.alioth.debian.<u></u>org/cgi-bin/mailman/listinfo/<u></u>pkg-exppsy-pymvpa</a><br>
<br>
</blockquote>
<br>
-- <br>
Joset A. Etzel, Ph.D.<br>
Research Analyst<br>
Cognitive Control & Psychopathology Lab<br>
Washington University in St. Louis<br>
<a href="http://mvpa.blogspot.com/" target="_blank">http://mvpa.blogspot.com/</a><br>
<br>
<br>
<br>
______________________________<u></u>_________________<br>
Pkg-ExpPsy-PyMVPA mailing list<br>
<a>Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org</a><br>
<a href="http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa" target="_blank">http://lists.alioth.debian.<u></u>org/cgi-bin/mailman/listinfo/<u></u>pkg-exppsy-pymvpa</a><br>
</blockquote></div>