クラウドソーシングの難しさ

今日は研究室のミーティングがあり、報告したいのでMturkでクラウドソーシングを行う。

Toyデータを作るために論文を漁り例文を作る。毎回思うのだが英語圏へのワーカーへの指示と言うのは割と難しく、ニュアンス次第で趣旨と変わってしまいそうでかなり注意を要する作業だなと思う。さらっとデータを作りますとか言っているが、実際はかなり難しく、専門知識が必要な作業のような気がする（だから専門業者もあるのだろうが）。Grammary便利。

指示文もさることながらスコアの尺度も難しい。数値にすべきなのか具体的な何かを指定するべきなのか（経験的には数値よりも具体的な何かをしてした方が良いかなという感触（1:Strongly agree〜4:Strongly disagreeよりは、何かその尺度に当てはまるような基準を考えてそれを文として指定する））。リッカート尺度という有名な尺度があるらしい。

英語圏の気軽に相談できる人がいて、その人にまっさらな状態でタスクを見てもらうのが１番良いと思う（ワーカーがどのような気持ちでタスクを見ているのかを把握するのが１番大切）。いないので苦しいが。

また一致率の尺度もいろいろある。1番有名なのはCohen's Kappaで複数だとFleiss Kappa今回のような値が段階的なものはWeighted Kappa、（これらは偶然一致を排除しているので相関（Pearsonの相関係数）や順位相関（Spearman's rank correlation coefficientとかKendall's Tau）とは異なる）。

社会学とかそういう分野だと共分散を使ったスコア（Composite reliability）で有効性を図るものもあるらしいが、ちょっと怪しい（偶然一致を排除していないので相関と変わらない）。こういう指標は人を対象にする調査でのまとまったスコアの取りづらさというところが反映されているのかなあと思う。

結果は芳しくなく、芳しくありませんでしたという報告以外はできなかった。残念。

研究所のミーティングでは根本的なアイデアについていろいろ深く議論をさせてもらってアイデアをもらう。理解が深まり、いろいろ見えてきたものがあるのでそれを論文に書くことにした。かなり理解して意見を出そうとしてくれているので本当にありがたい。この場所からは今のテーマをやっている限りは出て行きたくないなと思った。

用語の定義について書き出す方針を共有して、その後はやる気が出なく、セミナーの申し込みをして寝る。