さんG統計部

モチベーション維持のために定期的に立つ ※バルサン(Lv2以下書込禁止) ※スレ独自ID ※自演防止＠jien

アクチュアリー目指してたけど断念したわ

!jien !idchange !バルサン

何のスレだっけ？

モチベーション維持のため定期的に建てる 【進捗】 ・精度の高い書き込み件数取得。今朝9時ぐらいからデータ収集再開 ・jienスレを除外した単発ID率の算出 【今後】 ・ソースを綺麗にする ・時間ごと、日時ごとのVIEWを作成 ・WEBアプリ化して公開

統計学余裕ぶっこいてたら後半なんも分からんまま終わった

>>4 さんGの書き込み件数アレするスレや

統計学ガチ勢がなんか面白いアイディアあったら出してくれたらそのうち実装するかもしれん

スレ立て乙、いい意味で

今日とか異常値すぎてよくわからんことになりそう

>>7 はえ～すっごい大変そう

たておつ 寝ちゃうからレスできないかも 今どれくらいレスなかったら即死するんやこの板 前ならさっきのスレ生き残っただろうに

既にやってたらすまんが、ベイズの定理辺り使って何かしら逆算してみても面白いかもしれない ちな素人、間違ってたらごめんね

統計系の食える資格ってアクチュアリーしかないの？

WBC中はプログラム改修してて止めてた 今日は9時〜今までで22404件書き込みがあるけど、何故か罠の戦争実況スレがエラー出してるから実数は＋1500くらい

>>13 まだなんもしてないんで、アイディアはありがたいやで

自分でプログラミング書いてんの凄いよな ワイは昔Rを触ったくらいだわ

>>14 若手でデータサイエンティスト志望とかなら統計検定とかでもアピールポイントになるんちゃうの　知らんけど

>>17 素人やし、chatgptとお話しながら作ってるんや

>>14 若干方向性は違うかもしれんが、応用統計繋がりで運営が機械学習版英検にしたいとか言ってたこういうのはある 恐らく発足初期の言論、ちな2018年頃に大学の先生に聞いたら馬鹿にしてた 今はどうなってるかわからんから申し訳ないけれど E資格とは - 一般社団法人日本ディープラーニング協会【公式】 https://www.jdla.org/certificate/engineer/

>>16 こちらこそありがとうやで、サンキューね

さっきも言ったけど、今日の単発ID率は24.51％や。時間帯にもよるけど、当然朝とかは書き込み少ないから60％越える。 これが何かの参考になるかわからんけど、推移を見ればアフィ的とか移民の動向がわかるかもしれん

平常時は1万ちょっとだっけ？ WBCスレだけで大抵★10以上(10000レス以上)近く行ってたから 今日はこの2つ合算した数値と同程度を叩き出してるのか やはり避難民の数と実況スレがすごいな

>>23 せや。それぐらいやった。

>>8 大してガチ勢ちゃうけど k近傍やらグラフ理論のネットワーク分析スレとIDを調べてスレの次数からクラスター分析したりとか時系列分析したあとstanとかでモデル作ったりとかとちゃう？ 一週間でぶつ切りにするのがええ anovaは知らん

支援

>>25 グラフ理論はワイもアイディアとしては持ってた。面白そうよな。他の言葉はぜんぜん知らんから調べておくな、サンガツやで

統計の元データcsvになったりしたらワイも遊んでみたい

データソースとしてはこれが全てや thread_key CHAR(11) NOT NULL, res_num INTEGER NOT NULL, name varchar(20), watcchoi varchar(30), email varchar(50), comment_time TIMESTAMP NOT NULL, post_id varchar(255), comment TEXT NOT NULL, thread_title varchar(100), PRIMARY KEY (thread_key, res_num) 正規化とかよくわからんのやすまんな

確かに教師なし学習関連は良い選択肢だと思う 所要時間はわからんが... 目次から興味あるのを抜き出してやってみても面白いと思う 続・わかりやすい パターン認識 －教師なし学習入門 - Ohmsha | - オーム社 https://shop.ohmsha.co.jp/smartphone/detail.html?id=000000000574

統計学ガチ勢ならstanはええぞ 世界が広がる

ようやっとる

>>27 k近傍は機械学習 stanはベイズのツールとか時系列はこういう時間変化するやつの分析 わいもSQLとかCSVあるなら遊びたいわ

>>30 初めてのパターン学習のほうがええんちゃうか？ 時系列分析は沖田本がええと思うけど読めてない😭

>>28 >>33 どれくらいデータ欲しい？ レコード一件が1レスや

>>20 ほーん つまり結局良いのはないのか

末尾別とかも見れるんか？

一週間分だと、たぶん10万件越えるけど、そんぐらいでええんか？溜まったらスレ建てて放流するわ

>>35 そら全部よ出来れば やる内容によるけど20万レコードありゃ足りるんちゃうかな？

>>33 サンガツやで 機械学習はグラボしょぼいからあんまりやりたくないとは思ってるんやけど、とりあえず調べてみるわ。ベイズは良さそうだと思ってる

>>40 google colaboあるやん？ テーブルデータならグラボ大していらん メモリのほうが大事

>>39 早くても来週以降やな。まあ気長に待っててクレメンス

>>34 まあ確かに入門としてはその方が良いのだと思う ただそっちの前編やと教師ありしか扱ってなかったような...どっかで見た言論やけど無し学習の方が時間も短いだとか見た気がするんや 間違ってたら申し訳ないが 時系列は...ワイも良い本知らないですね... 逆に情報有り難いわ、それチェックしてみる ありがとうね まあワイ本買って満足して積み上げてるカスやからあんま口出せんのやけど...

学生の頃R使ってたけどようわからんまま院まで出たわ すまんな

>>30 サンガツ。素人だけど興味はあるわ

そうなんよ、ワイも収集はじめて気づいたんやが掲示板のデータって時系列データなんよな

>>41 時系列データだから、推移を見たいんよ でもワイももうちょっと勉強してみるわ 学部時代に統計学2回落としたアレやし

むしろ時系列データちゃうやつのほうが少ないんとちゃうの？ グラフ理論は日本語やと共立出版のネットワーク分析くらいしかまともなのないって聞くで

>>37 見れるで。スレにある内容はすべて記録しとる。

ワイちゃんは相関係数くらいしか出せないけど色々あるんやねぇ

実践Data Scienceシリーズ RとStanではじめる ベイズ統計モデリングによるデータ分析入門 https://www.amazon.co.jp/dp/4065165369/ 扱ってる範囲は狭いけど分かりやすい本でおすすめや 大量のデータやとpythonとかの方がええんかな

なんGが復活したら（なんJでもええけど）アフィスレの序盤50ぐらいの必死見て 「そのスレにしか書き込んでない単発」率出すスクリプト組んだら面白そう

>>50 この辺になってくるとChatGPT君使えなくなってくるから本読んでついでにネットで調べるかくらいしかないんちゃう？ 体系的に書いてあるサイト見たことないわ

5GてここみたいにコロコロID変わるものなのかな

なにも支援できないけれど応援してるよ 研究室の配属決まったら 統計学から逃げ回ったツケを払わされそうだな…

>>52 やたらと相関係数高いIDペアとか見つかって面白そうではあるけど5chはスクレイピングが死ぬほどだるいわ

>>51 サンガツ。とりあえずカートに追加しとくわ 続・わかりやすい パターン認識 －教師なし学習入門 - Ohmsha | - オーム社も買うつもりや

何もわからないけど本の紹介なら出来る

>>49 jienも収集したら末尾二桁で単発がどんなレスをしてるかとかも傾向出せそうやな

>>56 はえーそうなん？

>>58 ワイ技術書好きやけど、統計学の良書とかは判断できんからありがたいやで

>>59 どうせ擬似乱数やから期待できなさそうやけどどうなるんやろな

ベイズとかやったなぁさっぱりやったわ あれもう哲学じゃね？ 仮定の仮定してなんか色々するやつやろ

>>60 goneっていう規制がかなりだるいで

自然言語処理界隈のツール使って色々やるのも楽しそう 異なるID間の同一人物判定とか 自動FAX鑑定士も出来る

イッチのコード改造したかったけどアカウント分けるのだるいのとgist使ったことないからわからんのとURLわからんからやれなかったわ

SNSはtwitterの統計解析が結構進んで論文とソースセットで置いてたりするからああいうの参考にしても面白いかもしれんな

>>66 ワイも素人やから指摘だけでもありがたいわ 近いうちgithubリポジトリであげるから暇あったらちょっとみてな

>>67 その辺の論文見れるのってどこなん？ どうせ読んでもわからんやろうけどかじりつきたいわ >>61 統計学の良書なんてほとんど決まっとるぞ

>>64 そうなんか まぁ今となっちゃ向こうはどうでもええか

まあちょっとだいぶ高度な話になるんで、実装は大分先やがちょっとずつ進んではおるで

>>59なんかすぐできそうやな

>>69 いやワイも素人やからニュースとかで話題になったのくらいしか知らんで 最近は計量政治学の本とかも出てるからああいうのも参考になるんかな A. Abilov, et al. (2021). VoterFraud2020: a Multi-modal Dataset of Election Fraud Claims on Twitter. https://voterfraud2020.io/ Fabian Schäfer, et al. (2017). Japan's 2014 General Election: Political Bots, Right-Wing Internet Activism, and Prime Minister Shinzō Abe's Hidden Nationalist Agenda https://www.liebertpub.com/doi/10.1089/big.2017.0049 Twitter データを利用した 「新型コロナウィルス」関連語句の分析　峰滝和典 https://kindai.repo.nii.ac.jp/index.php?action=repository_action_common_download&item_id=21197&item_no=1&attribute_id=40&file_no=1&page_id=13&block_id=21

>>73 サンガツ 助かる 最悪例の論文読めるところで漁る

標準 ベイズ統計学 入江 薫・菅澤 翔之助・橋本 真太郎(訳) ベイズはこれかいいらしいけど読めてない 読みたい本全然読めてない😭

ワイは統計今以上に知らん高1の時にこれ見たけど、ほんまにスラスラ読めた 古典統計学の説明の所でイメージ湧かずに挫折したが 多分少しでもかじった人なら大丈夫だと思う Amazonで実装が全く無いって言われてるしそこがあれやが ファイナンス・ライブラリー 10 入門 ベイズ統計学 https://www.asakura.co.jp/detail.php?book_code=29540

>>76 見たことあるわ

>>77 サンガツやで、後半どんな感じだった？ 大体でいいから感想教えてほしい 雑な聞き方で申し訳ないが、良さげな感触だったのであればまた読み直したい

ベンフォードの法則ってなんかに使えんかな？

>>78 見たことあるけど読んだことはない……

虫トコレース結果くらいか

>>76 これ読みやすそうやな

stanやるなら虫とこシミュレーションするのが一番楽しい気がするわ

>>80 そうか...こっちもてっきり読んだって決めつけてしまってたわ ごめんね とはいえ時系列本の情報ありがとうね、助かったよ 失礼しましたやで...

ワイはベイズ統計はさっさと統計モデリング実践に入った方がええと思う 使い方の実感わかんと面白くなかった。既に色んな分野の研究で使われとるし

>>65 マルコフ連鎖のライブラリぐらいしかいじったことないわ。あれはあれで結構面白かったけど

>>85 そういう本やなくて実践しろってこと？

とりあえずこんな感じでええかな？ https://i.imgur.com/XmrEuOi.png

なんかとても教育的なスレになってええな

>>88 ニキの知識量どんくらいなん？ 全部書き出してくれたらある程度チャートは立てられるで 機械学習含めて

今週末統計検定2級受けるわ なお花粉症で全然勉強できてない模様 仕事と並行は辛いわね

ワイ文系なのにゼミがガッツリ統計使うやつで地獄やったわ 分散分析とか回帰分析とか何してるのか分からなかった

おすすめしておいてあれやが、そんなに金あるんかイッチ... ワイが進めた中やとパターン認識は定番やろうしええやろけど、入門ベイズは余裕があればでええと思う 定番本はいくらでも他にあるんやし まあ少なくとも前半の読みやすさに関しては、高1だった頃のワイがほんまに保証するが

ワイのベイズは図書館にあればでええと思うよ ワイもそうやって読んだし

>>94 基本誰も借りないから無限再貸し出しでええやろ

>>90 統計学・・学部の時に二回落として温情で単位もらえた 機械学習・・・わからん。そもそも線形代数がわからん。高校の時に数学を勉強した記憶がない python・・・素人。ChatGPTとお話しながらやってる DB・・・select * fromぐらいしか自分で書けない 本は好き

>>93 ない😤

金はないけど、この手の本は買っておいて読むの挫折してもいずれ読み返して必ず役立つやろ！の精神

>>95 草、これすき ただほんまにその傾向はあると思うわ 専門書の貸し出し記録はスカスカ

萌えキャラが鎮座してるのに腹立たないなら、数学関連はこれとかどうだろう 同じく高1の時やったと思うがこれで偏微分を理解出来た 特にわからなくて悩んだ箇所は無かったと思う 途中で飽きて投げちゃったが... やさしく学ぶ 機械学習を理解するための数学のきほん ~アヤノ&ミオと一緒に https://book.mynavi.jp/ec/products/detail/id=77270

>>87 理解深めたり読むの楽しければええけど結局これで何出来るんや？ってなりがち。時間もかかるし ちなワイが挙げた本は名前の通り結構実践寄りやで

>>100 カート入れたわ。サンガツやで

場違いならすまんが数学科の人向けのベイズ統計本知ってる人居る？ これについては存在認知してるので、出来ればそれ以外で... 実装とかは無くてもいい、というかページの都合もあるやろし無い方が良い 注文多くて申し訳ない ベイズ統計の理論と方法 https://www.coronasha.co.jp/np/isbn/9784339024623/

>>96 どれくらいガチるかにもよるけど最初からやる感じで適宜取捨選択頼む 統計 1.その単位の統計の教科書（やらなくてもいい） ここはわいはないから入門統計学　栗田伸一がわいは良かった 2.Rによるやさしい統計学 作者:山田 剛史,杉澤 武俊,村井 潤一郎 オーム社（Youtubeに講義動画あるので参考にすると効率ええ） 3.Rで学ぶ確率統計学 一変量統計編、多変量編　東大出発の方は辞書として使うのあり ベイズ統計 0.普通の統計を2までは終わらせたい（以下全部含まれる 1.実践Data Scienceシリーズ RとStanではじめる ベイズ統計モデリングによるデータ分析入門 (KS情報科学専門書) 2.標準 ベイズ統計学 朝倉書店（やらなくていい） 時系列分析 1.経済・ファイナンスデータの計量時系列分析 (統計ライブラリー) 2.足りないならJames D. Hamilton Time Series Analysis（英語　やらなくていい） 3.基礎からわかる時系列分析 ―Rで実践するカルマンフィルタ・MCMC・粒子フィルター (Data Science Library) 作者:萩原 淳一郎,瓜生 真也,牧山 幸史 技術評論社 ベイズも使いたい時はこれ 続く

>>91 頑張って 統計検定ワイも受けたいわね...

>>104 グラフ理論 0.https://m.youtube.com/watch?v=d0KPWURyFIs このシリーズ 1.ここで紹介されてる本の演習やっとく 2.ネットワーク分析 第2版 (Rで学ぶデータサイエンス)共立出版 ここで初めてネットワーク分析できるのでやる PythonでやるならNetworkXの本が解説あるけどあれは使い方やから理論お勉強には役立たない SQL 1.ビッグデータ分析・活用のためのSQLレシピ 作者:加嵜 長門,田宮 直人 マイナビ出版 あとは100ノックみたいなのやりゃええやろ知らんが 続く

>>106 機械学習 0.機械学習のエッセンス -実装しながら学ぶPython,数学,アルゴリズム- (Machine Learning) 作者:加藤 公一　 SBクリエイティブ やらなくていいかも簡単（数学抜けてるなら復習兼ねてやる わからないなら線形とかやる） 1.見て試してわかる機械学習アルゴリズムの仕組み 機械学習図鑑 作者:秋庭 伸也,杉山 阿聖,寺田 学　翔泳社 全体像俯瞰用 2.はじめてのパターン認識 基本的なやつ 3.統計的学習の基礎 ―データマイニング・推論・予測― 統計的学習の基礎 ―データマイニング・推論・予測― 作者:Trevor Hastie,Robert Tibshirani,Jerome Friedman　共立出版 辞書　読まなくて良い 4.以下適宜みながら 深層学習 改訂第2版 (機械学習プロフェッショナルシリーズ) 作者:岡谷 貴之 講談社 仕事ではじめる機械学習 第2版 図解速習DEEP LEARNING 作者:増田 知彰 シーアンドアール研究所 scikit-learn、Keras、TensorFlowによる実践機械学習 第2版 作者:Aurélien Géron オライリー・ジャパン

ちなわいも全然できてない😭

>>86 すまん、ID変わったがROuIi8zh00や サンガツやで、もし違ってたらすまんのやが、マルコフ連鎖のライブラリって以前スレ立ってた例のあの人御用達の漱石がどうたらってやつか？ 興味あるんや、もし良ければ何使ってたか教えてほしい

統計的学習の基礎本屋でパラパラ捲ったけどほんま詳細で草やった あと疑似コード載ってたのは嬉しい PRMLとどっちが厳密なのかは個人的に気になる所

>>109 横からやけどせやで mecabとかやろ マルコフ連鎖なんてPythonは結構あるから検索すりゃ使うのだけなら簡単やで

>>110 PRMLクソ辛くて追い返されたわ 何あれ🙄

>>111 せやせや、言われたのはまさしくmecab 思い出させてくれてありがとう サンガツやで、いい機会やしワイもいじり始めてみようかな ほんまありがとうございますやで

>>104 >>106 >>107 丁寧にありがとう、すごくありがたい メモ帳に保存して印刷したわ これを基本としてちょっとずつ進めてみるわ なんかやる気はあって筑波大学のyoutube講義とか見てたりしたんだけど、どうも体系的知識がないからすぐ忘れてはやり直すみたいなのを繰り返していた

>>113 このあたり参考になるやで マルコフ連鎖本体のライブラリはmarkovifyや https://qiita.com/shge/items/fbfce6b54d2e0cc1b382

>>114 見りゃわかるけどめっちゃ時間かかるから分析だけよくわからんけどやっちゃうのもありや

>>112 ワイは覗いた事無いのであれだけれど、一通り数学勉強したら難なく読める程度のものではあるらしい 入門者からはムズすぎ、数学科からはくそ雑と叩かれる不憫な本って印象 勿論ワイも入門者なのでもっと頑張らなければいけませんが...😢

>>116 いつもよくわかんないけど実装して、 それで壁にぶつかって理論を学ぶってのが多いね でも、自分がやってるのがどのあたりなのかってわかるのは道迷いしなくて済むやね

マルコフ連鎖おもろいで 前に嫌儲の書き込みぶちこんでパーフェクトケンモメン作ったけど、特定の話題で、かつ1行だけなら結構わからんもんやで

>>115 ありがとうございます🙇 そこら辺全く情報掘れてなかったので助かります 一回いじってみるわ、感謝感謝やで

>>119 草 モチベーションが湧きました 有り難い

確率を重み付けの形で、その更新を外部アルゴリズムに頼らせればよりリアルになって楽しそう

東京オリンピックのスレを食わせたんよ そしたら大体書き込み内容は電通とか、安倍とかばっかりだから、生成するのも結構精度高くなるんよね

めっちゃすき

良スレやね ワイも勉強しよ

ワイも勉強する！

ここでおすすめされた本をカートにぶちこんだらこうなったわ https://i.imgur.com/O74zIlD.png

草 イギリスの文系学部約1年分じゃん

>>127 全部入れるからよ 普通に詰めても1年はかかるで

いっぱい本買っても積みそうだから数絞った方がええんちゃうか

大学の講義pdfほんまに転がってるしそれからでも良いと思うんだ

草 図書館でも探そうや

図書館最高！

>>133 ここで紹介した本図書館に全然ないンだわ…… 1冊あるかないか

リクエスト乞食していけ

リストにしといたで https://www.amazon.jp/hz/wishlist/ls/NKQK1KIT3L1D?ref_=wl_share

>>134 まあ持ち出しする気が無いなら、他から取り寄せとかも出来るとは思うが... ワイは中古で買う場合なら、ama以外ならメルカリラクマ楽天日本の古本屋をはしごしている https://www.kosho.or.jp/

>>136 青いRの統計本はシリーズ両方やで

>>138これhttps://www.amazon.co.jp/R%E3%81%A7%E5%AD%A6%E3%81%B6%E7%A2%BA%E7%8E%87%E7%B5%B1%E8%A8%88%E5%AD%A6%E4%B8%80%E5%A4%89%E9%87%8F%E7%B5%B1%E8%A8%88%E7%B7%A8-%E7%A5%9E%E6%B0%B8-%E6%AD%A3%E5%8D%9A/dp/4753601234/ref=pd_aw_fbt_img_sccl_1/358-6163541-5563967?pd_rd_w=Ia6FX&content-id=amzn1.sym.62a2bfef-96f1-4f4f-9dac-51fe0d99af26&pf_rd_p=62a2bfef-96f1-4f4f-9dac-51fe0d99af26&pf_rd_r=GBA7M185WCKZVDJZEDBS&pd_rd_wg=x3n7X&pd_rd_r=7197cec1-492b-422f-b564-ce89bd9257c4&pd_rd_i=4753601234&psc=1

統計ライブラリー未だに現役なんだ、煽る気は全くないのだけれど てっきり最近の本に役目奪われてるのかと思った

>>138 追加した。赤もか

>>141 ディープラーニングやりたいならゼロから作るシリーズとか入れたほうがええんちゃう？

数理的なことをやりたいのかPythonとかのライブラリがんがん回したいのかで 優先順位変わる気がするで

>>140 サンプルサイズの本とかもそうやけど代替ないイメージやわ

>>144 確かにその辺りのニッチ部門だと特にそうか ありがとうね、サンガツやで

支援age

なんとなくやりたいこと ・アフィのIDを検知 ・FAXのIDを検知 ・荒らし識別

自演スレを検知なら意外と行けると思う それできるなら結果的にアフィのIDも一部は行けるんちゃうかな

条件をいくつかつめて行けば外堀は埋まりそう 1．!jienスレにいないID 2．>>1のみしか書き込みがないID 3．2のスレの単発IDが閾値以上 みたいな

標本サイズとサンプルサイズ、標本の大きさ紛らわしすぎやろ

G検定ってどうなん 統計検定とどっちがいいかな

G検定はネット検索検定って聞いてるけど分からん

>>149 仰る通りやとは思うけれど、さんGはIDが何も無くてもコロコロ変わるのが悩ましいね...

>>149 主がいないスレのIDとか

ワイは何もできねえけれどこのスレ見守るで

>>152 全く煽る気は無いんやが良ければソース教えてもらえんやろか 単純に現状が気になっている

5chのレス食わせるのは面白そう

>>156 なんGやで

>>158 ありがとうね、サンガツやで

自力で探したらスレも見つかるかな

あ、そういや落ちてるから碌に検索も出来んのやった 寝不足で頭壊れてるわ

FAXハンターとか割とそこそこの精度のが作れそう

卒論でウィルコクソンの順位和検定使ったわ 他の学生はRで書いて投げてたけどワイプログラミング書けんから手計算で検定してた 手計算の温かみを感じるンゴねぇ

>>40 ワイクソニワカやから滅多なことは言えんがk近傍みたいな基礎的な手法なら別にグラボ使わんでも行けると思うで

アカンな>>149とか実装してると面白くて寝られんわ

5chの方やけど5G閉鎖→5Jのレス数増加数みたら5G滅茶苦茶やな なんGとなんJの合計レス数　2月27日：41.4万　3月6日：34.7万　3月13日：24万 https://eagle.5ch.net/test/read.cgi/livejupiter/1678732610/

面白そうやからワイもやってみたいけどデータ収集はどのくらいの間隔開けてGETすればええんやろか

初歩的な質問やけどさんgって必死チェッカーあるんか？ 本家では対応してないよね あとデータってどう取得するんや？ htmlソースの中から >>29 を検索するん？

>>168 https://hayabusa4.3chan.jp/livegalileo/id/ID:RwoP+8L50E/

>>169 ありがとう🙈 内蔵されとるんやな