<div dir="ltr"><div dir="ltr"><br>Hi Michael,<div><br></div><div><div class="gmail_quote"><div dir="ltr">On Fri, 21 Sep 2018 at 18:28, Michael Bannert <<a href="mailto:mbannert@tuebingen.mpg.de">mbannert@tuebingen.mpg.de</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><br>
i have predictions from a 3-way classification and a 2-way <br>
classification that i would like to compare with one another. how could <br>
i do this?<br>
<br>
1) i could subtract the chance level from each accuracy score, i.e., <br>
subtract 1/3 from the 3-way classification accuracy and 1/2 from 2-way <br>
classification. not ideal because percentage changes above chance are <br>
not directly comparable anymore. but the approach is pretty intuitive <br>
and permutation inference against chance levels would still be valid.<br></blockquote><div><br></div><div>You may want to take into account differences in number of predictions for the 2-way versus 3-way, if any, because expected variance in accuracy depends on the number of samples (and number of classes). This in turn would affect the relative impact of the 2-way versus 3-way classification.  </div><div>Maybe convert the accuracies to z-scores based on a binomial distribution, and look at the difference between 2-way and 3-way classification z-scores at the participant-level? Note that the z-scores at the participant level may not be completely valid due to non-independence of predictions, but I don't expect this to be a concern at the group-analysis level.</div><div>In any case using permutation testing sounds like a good idea.</div><div> <br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex">
<br>
2) use a different performance metric like (adjusted) mutual information <br>
maybe? methodologically more appropriate probably but maybe confusing <br>
for the readers.<br>
<br>
3) but perhaps there are even better ways to do this. for example <br>
examine the 3-by-3 and 2-by-2 confusion matrices and compare <br>
main-diagonal with off-diagonal entries?<br></blockquote><div> <br></div><div>This might work but I cannot provide good advice on this. I would suggest to keep it simple enough that results can be explained and interpreted easily.</div><div><br></div><div><div>(on a personal note: it's been a while since Princeton times!)</div></div><div><br></div><div>best,</div><div>Nick</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"></blockquote></div></div></div></div>