<div dir="ltr">Attached an output of one such pathological case (completely real data). <br>I even do not talk about splits. It's sufficient that for half subjects you have 0.8/0.4 prediction and for other half you have 0.4/0.8...<br>

<br>For more than two classes it really becomes hardly maintainable. I recently had 5 classes experiment and I ended up reporting each classes separately.<br><br><div style="padding: 0px; overflow: hidden; visibility: hidden; left: -5000px; position: absolute; z-index: 9999; margin-left: 0px; margin-top: 0px; word-wrap: break-word; color: black; font-size: 10px; text-align: left; line-height: 130%;" id="avg_ls_inline_popup">

</div><div class="gmail_quote">On Mon, May 23, 2011 at 11:01 PM, Yaroslav Halchenko <span dir="ltr"><<a href="mailto:debian@onerussian.com">debian@onerussian.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">

it is a good thesis indeed, especially for the case of multiclass<br>
classification where people make claims about unraveling complex<br>
categorical structure, whenever it is only few categories which get<br>
"significantly" well classified.<br>
<br>
And your illustration goes even further than your verbal description --<br>
at first I thought that there is an error, since I expected at least one<br>
class to be significant when "average" accuracy becomes significant.<br>
But indeed it might be not the case, e.g. if a classifier favors one<br>
class over another across splits, thus none of the classes come out with<br>
a consistently "significant" performance while mean accuracy does (could<br>
you check if that is indeed the case by looking on per split<br>
diagonals?). Cool.  I always thought that digging in the mud is<br>
very entertaining ;)<br>
<div class="im"><br>
On Mon, 23 May 2011, Vadim Axel wrote:<br>
<br>
> Attached an illustration for my thesis.<br>
> The average classification rate can be considered significant, while we<br>
> clearly see that it is not exactly true...<br>
<br>
</div>--<br>
                                  .-.<br>
=------------------------------   /v\  ----------------------------=<br>
Keep in touch                    // \\     (yoh@|www.)<a href="http://onerussian.com" target="_blank">onerussian.com</a><br>
Yaroslav Halchenko              /(   )\               ICQ#: 60653192<br>
                   Linux User    ^^-^^    [175555]<br>
<br>
<br>
<br>
_______________________________________________<br>
Pkg-ExpPsy-PyMVPA mailing list<br>
<a href="mailto:Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org">Pkg-ExpPsy-PyMVPA@lists.alioth.debian.org</a><br>
<a href="http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa" target="_blank">http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/pkg-exppsy-pymvpa</a><br>
</blockquote></div><br></div>