Not so open-minded that our brains drop out.

科学とニセ科学について書くブログ

『あの論文は「何も言っていない」し、BLOGOSの記事はアホ過ぎる』に対するコメント

日本語圏の範囲で言えば、事の発端は、BLOGOSの『「サプリメントは効果なし」米医学誌がバッサリ』だ。それに対して、id:appleflower氏は『「サプリメントは効果なし」記事の不勉強』という批判記事を書いた。私は、後者の記事が曲解の産物であると批判したが、今度はid:t-saku31氏が『あの論文は「何も言っていない」し、BLOGOSの記事はアホ過ぎる』と題する記事でBLOGOSの記事とその元ネタを批判している。

私は、id:t-saku31氏による批判は概ね正しくないと考えるので、これに対して本エントリーで反論する。

でも、「サプリメントは効果なし」は主語が大きすぎるということは認める。

あのタイトルを見れば、ほとんどの人が「全てのサプリメントは・・・。」と解釈するでしょう。しかし、記事の中ではビタミンとミネラルのことについて論じられていて、サプリメントの部分集合であるはずのビタミンやミネラルが、いつのまにか「集合」扱いにされちゃってます。

(引用元: http://b.hatena.ne.jp/entry/b.hatena.ne.jp/entry/mochimasa.hateblo.jp/entry/2013/12/26/095827 )


これはその通りで、不十分なタイトルであると言えるだろう。BLOGOSの記事に曲解がないとするはてブでの私の主張は取り下げる。

反論1: 臨床試験の論文は「お粗末」とは言えない。

t-saku31氏は論説記事の論拠になった臨床試験の論文*1を「お粗末」と評している。

あんなものでは、(サプリメントについて)肯定も否定もできません。どうしても論評しろと言うのなら「あの論文は、試験自体がお粗末過ぎますので、何も言えません」くらいしか出ないですね・・・。

(引用元: http://大腸がん闘病記.jp/dietetic_treatment_of_large_intestine__cancer/%E3%82%B5%E3%83%97%E3%83%AA%E3%83%A1%E3%83%B3%E3%83%88%E3%81%AE%E6%9C%89%E5%8A%B9%E6%80%A7.html )


ではその論拠はというと、ただid:appleflower氏の記事をなぞっているだけ。

そもそもきちんとランダム化された臨床試験を実施していれば、効果があるのかそうではないのかがはっきり分かるのです。

例えばアメリカ国民2億人以上が全員男性医師だったら、2つ目の論文は多少信憑性はあったのですが、残念ながらそうではありません。統計の専門家が試験内容を見たら、「あのような臨床試験では、何も分からないだろう」と鼻で笑うでしょう。

同様に、1つ目の論文と3つ目の論文にも不備があります。「どう不備があるのか?」は、id:appleflowerさんの記事に敬意を表してここで述べることは致しません。

簡単に言えば、「調査したい要素を制御し、その他の要素はランダムに分けて比較する」というランダム化比較試験の基礎中の基礎が出来ていないのです。

(引用元: http://大腸がん闘病記.jp/dietetic_treatment_of_large_intestine__cancer/%E3%82%B5%E3%83%97%E3%83%AA%E3%83%A1%E3%83%B3%E3%83%88%E3%81%AE%E6%9C%89%E5%8A%B9%E6%80%A7.html)


前のエントリでも指摘したがid:appleflower氏による臨床試験と系統的レビューに対する批判のポイントは、すべて論文に正直に明記されていることだ。しかも、そのうち2つはAbstructのLimitation(制約事項)のセクションに書かれていることをただ引き写しただけ。Annals of Internal Medicine誌に掲載されるすべての臨床試験、すべての系統的レビューに関して、Abstractにこの項を設けることが義務付けられている*2。何のlimitationもない論文など存在しないのだ。

これらのネガティブな事情を考慮してもなお掲載に値すると査読者が判断したからこそ掲載が許可されたのであって、査読が正常に機能している限りこれらの3論文はいずれも一定の水準を満たしていることになる。通常、査読者は、編集者とは別に選任される。従って編集者がサプリに悪意を持っていようとも、クオリティの低い論文を意図的に掲載することは容易ではない*3

それでも査読が甘いというのなら*4、ただの引き写しではなく相応の説得力を伴った説明が必要だ。

反論2: 「有意差なし」という結果の論文は「何も言っていない」わけではない。

t-saku31氏は私の記事の可能性に関する記述を引用した上で、3論文は「何も言っていない」と主張する。

ですから、id:Mochimasaさんが言われているように、「現時点では可能性は可能性であって効果が実際に示されたわけではないことを強調したい。」という指摘は正しいですが、同様に「効果がない」とまでは言えないことを、私は強調しておきたいと思います。

つまり、あの3つの論文からは、サプリメントの効果の是非を判定しがたい・・・。だから「何も言っていない」と書いたのです。(参考:1つ目の論文,2つ目の論文,3つ目の論文)

(引用元: http://大腸がん闘病記.jp/dietetic_treatment_of_large_intestine__cancer/%E3%82%B5%E3%83%97%E3%83%AA%E3%83%A1%E3%83%B3%E3%83%88%E3%81%AE%E6%9C%89%E5%8A%B9%E6%80%A7.html )


純粋に統計学的に言えば、仮説検定において、帰無仮説が棄却された場合に、「有意な差が認められた」=「有意差あり」と言うことが許される。臨床試験に即して言えば、「薬剤を与えた患者と与えていない患者(あるいは偽薬を与えた患者)に差がない」とする帰無仮説が棄却された場合のみ、「統計学的に有意な効果が認められた」と結論できるということだ。ここで重要な事は帰無仮説が棄却されなかった場合(いわゆる「有意差なし」の場合)に、それがすなわち「効果がなかった」という結論には至らないということだ。言えるのは「効果が証明できなかった。」ということだけ。私が「可能性」と書いたのは、こういう意味だ。

では、「効果が証明できなかった。」だけの論文は「何も言っていない」ことと同じなのか?


それは暴論というものだ。効果が無いことが統計学的に厳密な意味で証明できなくても、一定以上のクオリティの臨床試験で「効果が証明できなかった。」という事実を積み重ねられたならば、それは十分に判断基準になりうる。逆に、そうした事実の積み重ねを「何も言っていない」ことの積み重ねと見なし無視するのなら、どんなインチキ薬にも擁護できてしまう。そんな判断基準こそ無意味ではないか。*5

私の論説記事に対する私の立場

私は実際にBLOGOSの記事の元ネタになった論説記事に目を通した。論説記事は、事実ではなく意見を書くところだから、そこに何のバイアスもないと主張するつもりはない。タイトルは煽り過ぎ? 学術雑誌の論説記事にそういう記事は珍しくないが、それを承知した上でそういう風潮そのものを批判するならそれもいいだろう*6。だが、私の分かる範囲では、本文にはきちんとしたことが書かれているように思う。少なくとも、私にも分かるような雑な曲解に基いているappleflower氏の記事よりもこの論文の方がましだ。

それでも、なお論説記事に曲解が存在すると言うのなら、その主張をAnnals of Internal Medicine誌に送ってみてはどうか?

質問

しかも、統計学者には常識なのですが、メタアナリシスは「実施する人の信条によって、結果が異なる」ことで有名です。「メタアナリシスの、メタアナリシスが必要だ」と揶揄されているくらいです。

(引用元: http://大腸がん闘病記.jp/dietetic_treatment_of_large_intestine__cancer/%E3%82%B5%E3%83%97%E3%83%AA%E3%83%A1%E3%83%B3%E3%83%88%E3%81%AE%E6%9C%89%E5%8A%B9%E6%80%A7.html )


私が統計学者でないせいか、初めて聞いた。ソースは?

*1:系統的レビューを含むのか。

*2:投稿規定を見よ。http://annals.org/public/authorsinfo.aspx#overview

*3:もちろん、編集者がサプリを不当に全否定する研究者ばかりを査読者に選んだというのなら話は別だが。

*4:そういうことはないわけではない。査読の厳しい有名な雑誌におかしな論文が載ることはままある。

*5:t-saku31氏はこうした積み重ねなしに、インチキ薬を排除することが可能だとでも言うのか? そんな方法があるのなら本当に教えて欲しい。

*6:t-saku31氏は「それにしても、あれほど感情的な論説というのも珍しいですね。」と言うが、どんな論説を読んでいるのだろう。