統計的に有意な調査結果は以下の3点の重要な問題に対して弱点を持つ： 正しくないやり方で調査が行われた。ほぼすべてのユーザビリティ調査には弱点がある。最も一般的なのは、話しすぎることによって、参加者にバイアスをかけてしまうことである。調査設計自体がお粗末な場合もある。例えば、多くの。アイトラッキング調査では被験者に単に静止画のスクリーンショットを見せ、彼らがその画像のどこに目を配っているかを記録するだけだ。しかし、人々の1つの画像に対する見方は、通常のウェブサイトでのナビゲーション中に遭遇した一連の画面に対する見方とはまったく違う。方法論が不適切だったり、完全に間違っていたりすると、同じ（間違った）調査を2度目に行ったとき、同じ（間違った）結果を得る可能性が高いかどうかが問題にならなくなるのは明らかである。 調査が一般化できない。ほぼすべての学術研究ではテスト参加者として大学生を使っている。つまり、たまたま学生向けのサイトのデザインをしているのでない限り、結果があなた方のターゲットオーディエンスには当てはまらない可能性もある。調査において、顧客に類似したプロフィールを持つユーザーをリクルートしたとしても、タスクの種類やデザインのスタイルがあなた方のものとは違うということもありうる。ユーザビリティとはコンテクストへの依存度が高いものである。したがって、あるユーザーやタスクには適切でも、別の人が何か他のことをしようとすると悲惨になる可能性もある。 調査が偶然うまくいった。調査によってはその結果がp<.05のレベルで統計的に有意、つまり、結果が偶然の一致である確率が5％しかない、というものもあるだろう。それはとてもいいことのように思える。世界中で毎日20件以上のユーザビリティ調査が実施されていることを知るまでならだが。しかしながら、公表バイアスというものを考えると、あなたが伝え聞いたのが、風変わりな結果となった1件の調査についてのみだったということもあるだろう。つまり、真理に到達している他の19件（以上）の調査は公表するにはおもしろくないというわけだ。そうした調査によって確認される内容とは我々が既に知っていることだからである（ユーザビリティ上の発見は長期間にわたってほとんど変わらない）。
