5-3. 検証第1段階(2)

横浜市水道局の「活水器の検証第1段階(効果あり報告)」は、試験方法・測定精度・考察がズサンなため、内容に信頼性が無いと思いマス。

ずいぶん厳しいね。

厳しいです。
「捏造」はたった1件でも科学全体を衰退させる悪魔の所業デスから。
例えば、この実験と同時期に理化学研究所で「STAP細胞事件」が起こりましたよね。(2014年)
1年近い論争の末に「STAP論文の全否定」という結論になっていマス。

あったね。

STAP論文の著者は学位を取り消され、指導教官は自ら命を絶ってしまうなど、科学史上稀に見る出来事でした。
「実験結果に作為を加える」ことは、絶対にやってはいけないのです。
この「検証第1段階(効果あり)」に関わった横浜市水道局の職員は、研究者倫理に反する行動がなかったか、検証の場に立たされるべきだと思います。

検証第1段階の疑問点

第1段階の疑問点については山形大学の天羽准教授がまとめられているので、詳細な解説はそちらも見てください。
このページでは重要な疑問点だけを取り上げマス。

ようやく本題だね。

前置きだけで大長編になっちゃいました。
このページで取り上げる「疑問点」は次の通りデス。

  1. 測定箇所の選定が不自然
    測定箇所3は配水管の末端で、水の流れが殆どない箇所のため、実験目的にそぐわない。
  2. 測定期間の選定が不自然
    塩素濃度は一般に夏季に低下し、冬季に上昇する。測定期間はちょうど、夏季から冬季への「自然上昇期間」ではないのか
  3. グラフが作為的
    データの取捨選択がチェリー・ピッキングになっている。

重要な疑問点だけで3つもあるの?

それだけ疑問だらけなのデス。
まず「測定箇所の選定が不自然」から。

測定箇所の選定が不自然

3カ所で測定したという話だよね。

ええ、Togetterでも指摘されていますが「測定箇所3」の選び方が不自然デス。「都合の良いデータを出すためにわざわざヘンな場所を選んだ」ように見えます。
横浜市の報告書から抜粋した「測定の様子」を見てください。

図1:横浜市水道局の報告書(2013年)より。

あれ? 測定箇所①測定箇所②は蛇口から採水しているのに、測定箇所③は消火栓の蓋を開けている。
③はずいぶん大変そうだね

ハイ。③は「測定条件が違いすぎる」と思います。
次に、配水管の「構造」をみてください。

図2:測定箇所の水流の模式図

ん? 測定箇所③は消火栓で行き止まりになってる。 これで水は流れるの?

流れませんね。いわゆる滞留水デス。
測定箇所③に水が流れ込むのは、測定のために消火栓を開けた時だけデスね。
この「活水器」は「1日100リットル以上の水が流れることでサビを防ぐ」と主張しているので、分岐から測定地点③には効果はほとんど無いはずデスね。
常に水が流れる測定箇所②と、水が滞留する測定地点③では比較対象として不適切デス。

図3:製造業者の説明

うーーーん。これは、ちょっと……どう考えたらいいんだろう。

「採水ミスがあった」と解釈するのが自然だと思います。
測定箇所③は滞留水なので、通常は「塩素濃度ゼロ」の状態になっていると思います。
検証では「滞留水を排水後、採水」となっていますが、採水前の排水量を少なくすれば「低い塩素濃度」、排水量を多くすれば「高い塩素濃度」とコントロールすることが可能デス。

もし、そんなことをしていたら「捏造」だよね。

「捏造」を疑われても仕方ないほど不自然と言わざるを得ないデス。
ただ、この検証から確実に言えるのは「業者が効果が無いとする状況で、高い効果が得られるという想定外の現象が起きている」までデス。
もちろん、「未知の現象で効果が得られた」という主張をしても良いのですけど、考察で全く触れられていないことから、そもそも「検証結果の矛盾を解明したくない」のだと思います。

測定期間の選定が不自然

「残留塩素濃度」は季節によって変化するという話をしました。 実は横浜市の報告書にある「変化」は、季節変動とあまり変わらないのです。

ふーん、そうなんだ。前のページのグラフは、全部は理解できてないから何とも……

グラフを見れば一目瞭然なので、大丈夫デス。

図4:製造業者の説明

横浜市は図4左側のグラフから「設置前は塩素濃度が低かった」「設置後は塩素濃度が上昇した」「だから活水器に効果があった」と報告しています。
一方で、図4右のグラフは仙台市水道局の水質年報から「塩素濃度」を可視化したものです。
仙台市は活水器を使っていないのに9月〜12月にかけて塩素濃度の上昇が見られます

あ、これが「季節で値が変わる」というやつだね。
水温が高いと塩素が反応しやすいので濃度が低くなり、冬は逆に高くなると。

ええ、その通りです。
変動幅は仙台、横浜どちらも0.3mg/L程度ですね。
つまり、活水器を付けても付けなくても塩素濃度が上昇する時期に、なぜか実験期間がピッタリ収まっているという不自然さがあるのです。

たしかに、これを見ると「効果」って何なの? という気分になるね。

横浜市の報告ではもう少し複雑な計算もしていて、「季節変化以上の効果がある」という体裁になっています。
でもそれは「チェリー・ピッキング」で説明がつくと思うのデス!

グラフが作為的

横浜市水道局の「検証第1段階」は測定箇所と測定期間が不自然という話をしました。
つまり、計画段階で「作為」が疑われるということデス。

厳しい指摘だけど、このデータを見たらそういう批判も仕方ないね。

そして、計画段階だけではなく、グラフ作成にもチェリー・ピッキングがあると指摘します。
チェリー・ピッキングとは「熟したサクランボだけを選別する」ことから転じて「都合の良いデータだけを採用する事」の意味デス。
詳しい説明はWikipedia先生を読んでください。

良くないことだ、というのは分かるよ。

そして、横浜市水道局のデータから「測定箇所③」だけを抜き出したのが図5デス。
実は、横浜市の「効果ありグラフ」は、測定データの一部しか使われていません。
図5の破線は、測定した全てのデータ(生データ)、実線が「効果ありデータ」になりマス。

図5:元データと発表データの比較

ふーん。装置の設置前はかなりのデータが間引かれていて、設置後は間引き少ないね。

その通りデス!
グラフの中の▲が、報告資料から省かれたデータを表していて、赤は「平均より高くて間引かれたデータ」、青は「平均より低くて間引かれたデータ」を表しています。
つまり、赤が多いほど「値が小さくなるように調整した」と言えますネ。

あれ、じゃあ「設置前」は「値が小さくなるようにした」ということにならない?

そうなります。
この検証は「改善」を主張したいので「設置前は塩素濃度が低かった」「設置後は塩素濃度が高くなった」というデータがほしいはずです。
その作為のもとで「設置前データの塩素濃度が小さくなるように操作した」と読めますね。

うわぁ……

さらに細かい指摘をすると、2月5日の塩素濃度は、グラフの値が間違っています。
測定値は0.46mg/lなのに、なぜかグラフ作成用セルには0.50mg/lと記入されているのです。
これも「設置後は塩素濃度が高くなってほしい」という意図のもとで、ナニカが起きてしまったのではないでしょうか。

図6:データの入力ミス

うわぁ……

こんなデタラメな報告書をもとに「導入を検討」なんて寝言は寝て言え! としか言えないデス。
この著者たちには、世間を騒がせた責任をきちんと取っていただきたいデスね。