さんG統計部さんU支部

掲示板スレッドに関する様々な統計処理を議論するスレです !extend:checked:vvvvv ※追記 2023/03/16(木) 23:13:31 統計学習関連 https://www.amazon.jp/hz/wishlist/ls/NKQK1KIT3L1D?ref_=wl_share 前スレ https://hayabusa4.3chan.jp/test/read.cgi/livegalileo/1678892988 ※追記 2023/03/17(金) 00:09:25 !extend:checked:vvvvv:1000:512

保守1

保守2

samba規制が… 保守3

保守4

保守5

保守終わり

はいおすすめ本のアマゾンのやつ貼っといてほしいわ

いちおつ

統計学習関連 https://www.amazon.jp/hz/wishlist/ls/NKQK1KIT3L1D?ref_=wl_share 前スレ https://hayabusa4.3chan.jp/test/read.cgi/livegalileo/1678892988 これやな

>>10 サンガツ追加しとく !add 統計学習関連 https://www.amazon.jp/hz/wishlist/ls/NKQK1KIT3L1D?ref_=wl_share 前スレ https://hayabusa4.3chan.jp/test/read.cgi/livegalileo/1678892988

よくみたらスレのコマンドも間違えてる… !add !extend:checked:vvvvv:1000:512

>>12 extendのコマンドは1行目に入れないと発動しない

>>13 さんGならするっぽいから安心し🤗

ああ1レス目やなくて1行目か すまん

>>13 憶えておきます

とりあえずこれ今日の分 https://i.imgur.com/YnPctzM.png https://i.imgur.com/QdHyXs9.png https://i.imgur.com/S8CRXig.png

うーん・・

対象： https://hayabusa4.3chan.jp/test/read.cgi/livegalileo/1678969867/ 全体要素数:22848 thread要素数: 110 -----Mann-Whitney Uテストの結果: 統計量: 1457045.5 p値: 0.0020390046610645313 -----スチューデントのt検定の結果: t-value: 11.5412 p-value: 0.0000

何をどうやったか知らんがU検定の方は有意差は出てる t検定はなんか何かが破綻してるようにしか見えん

t検定はやめたほうがいいかなあ ゆめちゃんスレは特に怪しいスレではないんだけど、有意差出てていいんかなあ

そもそもサンプルサイズ足りてないと思うからノンパラメトリックおすすめしたわけで…… なんの検定かわからんが正規分布とか仮定できるならええけど多分できないからtは向かない感

対象： https://hayabusa4.3chan.jp/test/read.cgi/livegalileo/1678974139/ 全体要素数:22923 thread要素数: 78 -----Mann-Whitney Uテストの結果: 統計量: 1118120.5 p値: 4.374917253226588e-05 -----スチューデントのt検定の結果: t-value: 1.0832 p-value: 0.2787

対象： https://hayabusa4.3chan.jp/test/read.cgi/livegalileo/1678976860/ 全体要素数:22923 thread要素数: 26 -----Mann-Whitney Uテストの結果: 統計量: 407636.5 p値: 0.0005280862325397415 -----スチューデントのt検定の結果: t-value: 0.7443 p-value: 0.4567

t検定の方のオプションをFalseからTrueに買えてみた equal_var=Trueは、t検定を実行する際に、2つの標本の母集団分散が等しいことを仮定するための引数です。この仮定が成り立つ場合、t検定の結果はより正確になります。しかし、この仮定が成り立たない場合、t検定の結果が誤ってしまう可能性があります。そのため、等分散性の仮定が成り立たない場合には、equal_var=Falseとすることがあります。equal_varのデフォルト値はTrueです。

対象： https://hayabusa4.3chan.jp/test/read.cgi/livegalileo/1678974139/ 全体要素数:22923 thread要素数: 78 -----Mann-Whitney Uテストの結果: 統計量: 1118120.5 p値: 4.374917253226588e-05 -----スチューデントのt検定の結果: t-value: 1.0832 p-value: 0.2787

U検定は両方有意 tは棄却できないし多分使い方間違ってるんちゃうかなぁ どんなデータをどういじってどう渡した結果かがわからんからそれ以上言えることはないわ

サンガツ。 Uテストが普通のスレに有意差をだすとなると、 アフィのあぶりだしには使えないかな スレの傾向を見て値を検討して、目安がわかったら何か見えてくるのかな

まずスレのパターン全部ごっちゃ混ぜやから参考にならんと思うのよ 切断効果による諸問題は気になるけど多分いくつかのパターンあると思うから分類試すのが先ちゃうかな

せやね、グラフにするとして、統計量とp値両方必要？X軸がpでY軸が統計量みたいな感じかな？ それともY軸はスレのレス数のほうがいい？

グラフなら95%の区間推定も一緒に出しときゃええんちゃう？ plotlyみたいに

なんのグラフを作りたいのかがわからん

>>30 x,yに複数のthreadのプロット図を作ったら傾向がわかるんじゃないかと思って 他何かいいのあったらそれを作ってみる

箱ひげ図というのがあるのね

何をどうしたいのかイマイチわからんがEDAにおいてペアプロットなりするのは常套手段やで あとはクリーニングしたデータをpandas profilingにとりあえず突っ込むとか https://water2litter.net/rum/post/python_seaborn_pairplot/ https://note.nkmk.me/python-seaborn-pandas-pairplot/

支援

ようやっとる

Rによるやさしい統計学が届いた

https://i.imgur.com/RtR0u0I.png https://i.imgur.com/tuGCEnu.png

>>38 Youtubeの講義動画合わせて見るんやで 一気に理解度上がるから

>>40 いつもありがとうやで 少しずつ進めてみるな

そもそも何がわからないのかわからない状態だから、EDAとか単語があるだけでガイドになるんや

pandas_profilingをすべてのIDの書き込み件数のリストに対してやってみた https://i.imgur.com/87S6D66.png

これ、!idchangeを除外しないとダメね

!idchangeを除外すると、こうグラフの一番高いところがぐぐっと減って、正しい感じになる気がする

全体的なレコード数が減っただけであんまかわんないんわね https://i.imgur.com/7ulOY3n.png

あ、さんUに移動したんや おめやで 保守保守

今のタスクはこんなところ ・アフィスレの検出手法 ・WEBアプリ化 ・ソースコード公開 ・ID末尾の統計と分析

あ、これもあった ・FAXの識別

>>47 今後もよろしくやで

PC: 10134 (58.81%) docomo: 2474 (14.36%) au: 2290 (13.29%) MVNO: 1129 (6.55%) softbank_ipv6: 792 (4.60%) softbank_ipv4: 326 (1.89%) no_reverse_lookup: 86 (0.50%)

ちび日多すぎてあのスレ使えんやんバルサンでもしないと

きっとこのスレも使えなくなるんやろな あいつの識別はあいつが見ない場所でやるか

体感半分固定回線だったけどやっぱりそれくらいはいるのか 大抵スマホから固定回線に接続してるんだろうけど >>53 ここも潰れたら風評被害で統計部自体消えてしまう可能性が

>>54 ならこのあとなりすましそうやしコテでも入れてみたらええんちゃうか？

コテやなくてトリップか どうでもええな

>>51 一応確認しておきたい。以下のスレを3Gに建てた？ 【さんG統計部】さんG、書き込みの半数以上はPCからだった http://hayabusa4.3chan.jp/test/read.cgi/livegalileo/1679080339/ さんG人増えすぎて困惑してる http://hayabusa4.3chan.jp/test/read.cgi/livegalileo/1679071148/6

>>55 私はここのスレを建てただけで統計ニキではない 統計ニキは>>17と>?38

統計ニキがgithubとかにトリップ書くとかしない限り解決せんのやろな

酉は必要になってくるかもねここでも3Gでも 大変面倒だとは思うけど同一性確認の為に必要というか

>>57 これ確かに建てたのワイ というか内容みたら判断できる話で

>>61 もしかしたら複数回線持ってるのかも？って思ってしまって 一瞬でもアレと同一視してしまって申し訳なかった

>>62 いや、ワイも言い方がきつかったらすまん アレを排除したいのはワイも同じや

>>63 ぜんぜん大丈夫ですよ 落ち着こうってなるとああいう文章になってしまうので ああいった無断転載や騙りを防ぐためにもトリップつけてほしいた方がよいのかもしれませんね

日付かわったんで https://i.imgur.com/kqqvb8d.png

3/17はなんか固定回線が減ってスマホ回線からが増えてたな。単発ID率も上がってた

あーもうメチャクチャだよこのコード とりあえずどっかで汚いまま公開しようかな

コメント分析をちょっとやってみて、 そのあとコードの整理するか

とりあえずオナニーするか

オナニーはまだしてないけど、気づいた点をふたつ ・アフィ連呼とかFAX連呼してる人のIDの回線分布をU検定したら面白そう

・特定のキーワードを多く書き込みしているIDを検索してみても、多くはさんG廃人なだけだった。割合が大事

煽りカスはひとり、多くてもふたりぐらいなのかな？

昨日でいうと、1.5人って感じだった。 そして1．0人の方はスレ立ってたし たぶん問題は単発IDなんだな

これもワイ

>>73 推定できる煽りカスはそんなもんなのか 単発率が漸減しているように見えるのは空気感に馴れつつあるのかな？

さんいち

>>75 単発煽りカスはわからないけど、単発書き込み自体はあんまり変わらないね

支援

なんか進展あったんか？

やっと専ブラからたどり着いた

いまの3JのID数っていくつあるの？

なんとなく調べたら色々見つかったので重複とかあったりと整理してないけど貼り付けとく https://corvus-window.com/wp-content/uploads/2022/12/image-30.png https://corvus-window.com/select_hypothesis_testing_by_sanplenum/ パラメトリック検定とノンパラメトリック検定の違い https://www.study-channel.com/2015/06/parametric-nonparametric-test.html?m=1 統計手法の選び方 https://www.gen-info.osaka-u.ac.jp/MEPHAS/tejunn.html https://xpert.link/uploads/2020/12/c85faa620e6ed1e13e95236f2de3f576.jpeg https://xpert.link/column/278/ 論文でよく使う統計手法！検定の選び方や一覧のまとめ https://crossnote.jp/parametric_nonparametric-stats/ https://crossnote.jp/wp-content/uploads/parametric-statistics.png https://crossnote.jp/wp-content/uploads/nonparametric-statistics.png https://www.statweb.jp/method/sentaku-houhou 「統計手法　フローチャート」で検索 https://blog.goo.ne.jp/xmldtp/e/2f509f896251f85abc4059ba3bff3fb4 https://blogimg.goo.ne.jp/image/upload/f_auto,q_auto,t_image_sp_entry/v1/user_image/64/e4/f9ad6b1ddd11334ec95fce76393ab7de.png https://ken7821.exblog.jp/16895615/ https://pds.exblog.jp/pds/1/201109/25/65/c0188865_15511558.jpg https://pds.exblog.jp/pds/1/201109/25/65/c0188865_15513055.jpg

日本語の情報は少ないのでググる 「statistical test flow chart」でチャートでググる https://www.google.com/search?q=statistical+test+flow+chart&tbm=isch

sikiのログが移転でぶっ壊れて気づかんかった なんか色々サンガツやで

>>79 今日はFAXの過去の発言を色々調べてたんやが、特に収穫はなかったなや でも8000文字ぐらいあるから、形態素分析→マルコフ連鎖できるで。やりたければ・・ >>81 すぐに復帰すると思ってたからさんJは収集してないんや >>82 ワイもちょっとずつRいじってるで！

AIテキストマイニングサイトで分析してみたわ https://i.imgur.com/lO53WcM.png https://i.imgur.com/TyQ5Typ.png https://i.imgur.com/1lAX9Zw.png https://i.imgur.com/RkUHdAx.png https://i.imgur.com/f2Ty4Yx.png

どんだけnoreにコンプレックス持ってるんだよ・・

URLはこれや https://textmining.userlocal.jp/results/i9amvkAxEy8cb4xeJ7CFZTXQL3L1kGmF#analyze

なんとなく結果を俯瞰してみると 怒りと悲しみを抱えた孤独で、若いエンジニアに劣等感と嫉妬を抱えている中年男性像が浮かび上がってくるな

ゆめちゃんを自分の信者だと思っていて、自分の行為によって信者以外の下民を啓蒙しようという意図も明確になってくるな

FAX氏とノレカスは対極にいるんかな？ 全能感は怒りと悲しみの裏返しで、noreは喜びと畏怖の象徴なのか

と、いうような遊びもできるので面白いですね

ちなみに、FAX氏を探したキーワードは以下 大体ゆめちゃんスレから抜き出してる ["酸妄","在る","在るな","下民", "折れ","マンカス","だからな","どうする？","である","FAX時代","FAX氏","ノレカス","鼻ゴミ","障害者共","知恵遅れ"]

さんJにFAXのレスまとめあがってたな

ノレ板にもあったぞ

ノレ掲示板で普通にFAX君会話してるのみて寂しいんだろうなってのは推察できたな ゆめちゃんにお願いされてさんUさんJ荒らすのやめるって言ってさんJのスクリプト止めたり旅行どこかいいとこある？って聞いてたり

こことUはetc鯖で運用するんだな そんなことまで分析できるのか…案の定というか特徴的だ まあ嫉妬の裏返しじゃないとあそこまでnoreに執着できんよ

こことUじゃなくてこことJ

朝5時からノレのところでキレてて草

なんでG荒らすの💢

G落ちた💢

直った😊

こっちも復活した qb5は落とされたまあ

また落ちて治った

なんか3chもきな臭いことになってきたな

4月から忙しくなるから、ワイもあんまり統計部のことできんくなるから、まあちょうどええか

5月閉鎖問題は削女人がドメイン更新するらしいから問題はないけど なんかこの1日ですごいいろいろあって整理できないわね

落ちたり戻ったりしたから移動平均があらぶってるな

youtubeの青学の先生の授業でつかってるホーエルの初等統計学の本買った。読むとは言ってない

ようやく3Uの新しいURLにたどり着けた

さんUにおかえり😊 今日の分だよ https://i.imgur.com/FgxoWff.png

鳥つけるの忘れてた

結局3万3千くらい？で収束してるね

特にネタないけどさんGにスレたてるか ウォチパ終わったら

新着投稿一覧が機能しなくなったけど、これで書き込み減ったりはするものなのかな おま環ならごめん

統計ニキは今学生とかなんか？

たいへんや 3Gの過去ログが全部ふっとんだで

これじゃまともな統計資料にならなさそうね

>>118 欠損の予測もまたそういう専門の本あるけど統計なんやで

>>119 はえー でもここまでダメージが甚大だと人口流出も大きそうだし今後もどうなるかはわからないね

3G 404ここやJは生き残るのか

>>121 なんか閉鎖とか書いてあるか 魚拓取ったほうがいい

>>122 過去のdatは多分ほとんどサルベージ出来ないんじゃないかなHEISAかはわからん

3chは閉鎖するってさ https://i.imgur.com/ZA6GuPf.jpg

スレ立てから1週間あまりで余命宣告くらうとは思わなんだな…

草。まあこんなことになると思ったよ

まあこのスレもあと一週間やな

ログがどうのこうのの話やなくなってて草

とりあえずワイは防弾なんGに行くけど、 集計プログラムをどうするかはちょっとなんともいえんな

もう防弾なんUできとるの頭下がるわ

管理モメンって絶対さんG民だったわ

三男もDAT見れるのか、少し回収すればプログラム動きそうだな あとは、管理モメンに聞いてみよう

迅速すぎてビビった

固定回線だと鯖移っても主表示出ちゃうのか スレ建ってたので 防U統計部 http://sannan.nl/test/read.cgi/liveuranus/1679572318/

スレ立てしてくれた人へ !hogoコマンド打たないと20時間ルールくらうから忍法帖確認のうえでコマンド打ち込みお願いします

不要らしいです 誤報申し訳ない

>>135 サンガツやで〜

一応 このスレは3chが消滅するその瞬間まで残し続けます 私が!　stopかけることはありません 統計部の更なる発展を願ってます 勢いでスレ立てしちゃってごめんね

てすつ

うそやんなんでこっちにも

てす

生き返った

ここもじきに沈む…

せめて3chと一緒に沈みたいでしょ? 乱立スクリプト如きに殺されちゃたまらんよ

蘇生