<div dir="auto">Are your 3 classes ordered? </div><br><div class="gmail_quote"><div dir="ltr">On Fri, Sep 21, 2018, 18:28 Michael Bannert <<a href="mailto:mbannert@tuebingen.mpg.de">mbannert@tuebingen.mpg.de</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">dear pymvpa users,<br>
<br>
i have predictions from a 3-way classification and a 2-way <br>
classification that i would like to compare with one another. how could <br>
i do this?<br>
<br>
1) i could subtract the chance level from each accuracy score, i.e., <br>
subtract 1/3 from the 3-way classification accuracy and 1/2 from 2-way <br>
classification. not ideal because percentage changes above chance are <br>
not directly comparable anymore. but the approach is pretty intuitive <br>
and permutation inference against chance levels would still be valid.<br>
<br>
2) use a different performance metric like (adjusted) mutual information <br>
maybe? methodologically more appropriate probably but maybe confusing <br>
for the readers.<br>
<br>
3) but perhaps there are even better ways to do this. for example <br>
examine the 3-by-3 and 2-by-2 confusion matrices and compare <br>
main-diagonal with off-diagonal entries?<br>
<br>
any other ideas?<br>
<br>
thank you,<br>
michael<br>
<br>
_______________________________________________<br>
Pkg-ExpPsy-PyMVPA mailing list<br>
<a href="mailto:Pkg-ExpPsy-PyMVPA@alioth-lists.debian.net" target="_blank" rel="noreferrer">Pkg-ExpPsy-PyMVPA@alioth-lists.debian.net</a><br>
<a href="https://alioth-lists.debian.net/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa" rel="noreferrer noreferrer" target="_blank">https://alioth-lists.debian.net/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa</a></blockquote></div>