防U統計部

無かったので ※追記 2023/03/23(木) 22:20:59 さんG統計部さんU支部 http://etc.3chan.jp/test/read.cgi/liveuranus/1678975374/ ※tlv=5

統計ニキじゃないけど助かる

統計ニキ来るかね

あっちにスレ告知はしたよ

!hogoで>>1は5日ルール回避できるけど忍法帖lv5消費するかもしれないから気をつけて

122 アフィサイトへの転載は禁止です。 2023/03/23(木) 21:40:59.76 ID:XBqgyxP00 防弾Uは5日間ルールあるの？ 133 管理モメン ★ 2023/03/23(木) 21:45:52.69 ID:ADMIN > >122 防弾Uにはないです スレ主や運営が落とすか保持数をスレ番が下回るときのみ落ちます

通常のスレ順dat落ちはあるのね

関連スレ さんG統計部さんU支部 http://etc.3chan.jp/test/read.cgi/liveuranus/1678975374/ 一応

!hogo まだよう分からんけど書いとくで！ !add さんG統計部さんU支部 http://etc.3chan.jp/test/read.cgi/liveuranus/1678975374/

せっかくデータ溜まってきたのに崩壊して草

魚拓取っとくんやぞ

>>1 サンガツやで〜

防弾Gは野球実況の可否で3Gと大きく変わってくるかもしれない

来たわね 前に問題出してくれてたニキもおるやろか 最近の書籍は見てないから分からんけど、p値について前にワイが見たのだとこういうのがあるんや。既に知っとるかもしれんけど紹介しとくで 佐藤俊哉. ASA 声明と疫学研究における P 値 The ASA Statement and P-values in Epidemiologic Research https://www.jstage.jst.go.jp/article/jjb/38/2/38_109/_pdf 統計的有意性と P 値に関する ASA 声明 https://www.biometrics.gr.jp/news/all/ASA.pdf

イッチ!subで統計ニキ福スレ主に指定してくれんか？

!sub: nEfUGjn10 指定はスレのIDとかでええんやろか コマンド一覧 https://wiki.sannan.nl/w/index.php/%E3%82%B3%E3%83%9E%E3%83%B3%E3%83%89%E3%83%BB%E6%A9%9F%E8%83%BD

sub:nEfUGjn10

すみません指定は忍法帖ID（名前欄に表示される6桁のもの）で行います 副主になる人が名前欄に!ninidを入力されれば表示できるので 主はそれを指定してください 今回はこちらで指定しておきます

!sub:f9b6f5★f9b6f5を副主に追加

こうか？ >>18 移住先ありがとやで。 ここで活動について質問してるんで、 よかったらみててクレメンス https://sannan.nl/test/read.cgi/unsaku/1658627617/662 もともとさんGで発作的につくったもんやから ダメならダメでまあええで。 もしくは、管理モメンが公式で作る予定なら それでもええんや

サンキュー管理モメン！

お、もうやってくれてんのか！ サンガツ！

もちろん部への参加も歓迎やで！

662 アフィサイトへの転載は禁止です。 (L5-f9b6f5✅) (ﾜ HwdU-d0aI)：2023/03/23(木) 23:14:55.88 ID:yu0qb/3U0 さんGでsubject.txtから各スレのdatファイルスクレイピングして、 こういうの作ってたんやが、防弾なんGでやってもええか？ https://i.imgur.com/weYyAEf.png 今のアクセス間隔はだいたい15分に一回や ちょっと感覚狭すぎたり、そもそもダメなら諦めるやで。 仕様はここも3chもあんまり変わらんからちょっと修正すればいけると思う。 ↓ここで活動する予定や さんG統計部さんU支部 https://etc.3chan.jp/test/read.cgi/liveuranus/1678975374/ 663 管理モメン ★：2023/03/23(木) 23:19:08.80 ID:ADMIN >>662 いいですよ

管理モメンの公認貰えたのか よかったよかった

防儲も書き込み増えてるな ええことや。防Gやったら防儲もスクレイピングするか

ワイ実はもともとケンモメンなんや

防儲も増えてるんか 経緯的には元々防儲がメイン？なんだよね。あんま見たことないけど

>>28 せやね ケンモメンの理想郷目指して作られた

板のほぼ初期からのデータとれるのは楽しいな

さんG統計部さんU支部、お亡くなりになりました😭

南無南無

書き込んだら息吹き返したわ

因みに書き込み数は3G時代と比べてどうなったんや？

>>34 まだとってない、2.3日まって・・

>>35 はいさい！

>>14 サンキュー読んどく なん見たことある気がするけど

dat落ちしちゃったわね

統計部は5chも頼むわ いつも使ってるサイトが使えん

アマゾンのあの書籍リストとgistのURLみたいわ

アマゾンのはこれかな？gistはわからない https://www.amazon.jp/hz/wishlist/ls/NKQK1KIT3L1D?ref_=wl_share

>>41 助かる

こっちはこっちで独自機能があるから スクレイピングの関数修正しなきゃあかんかったわ、もうちょい時間かかりそう 忍法帖と安倍晋三ガチャでエラーでる

上できかれたから、ここまでのソースあげておくわ、汚いよ https://gist.github.com/dory-dd/4cef97914ce3dd45d2b3d3f4cd1b5feb

いまここのスクレイピングの修正してる https://gist.github.com/dory-dd/4cef97914ce3dd45d2b3d3f4cd1b5feb#file-scraper-py

extract_thread_content_from_dat関数のところで頭が働かなくて止まってる

scraper.pyでdatファイルをスクレイピング db_thread_detail_data.pyで上記をDB保存 analize_thread.pyで分析用のviewを作成 index.pyでグラフを表示してる 保存と分析は結構あいまいな感じでやっちゃってるけど

キモは extract_thread_content_from_datのルールと いま、mainで書き換えようとしているscrape_all_thread_contents_from_list(url)をマルチスレッドで実行すること あとは insert_to_table1だね 他の部分は基本viewだから、あとからなんとでもなるし

viewの作成はちょっとだけ複雑なことやろうとしてたから、sqlite3の方言SQLになっちゃってるところもあってごめん

なんかポリシーがあると、すれば、 ・スレの内容をすべて保存する ・分析は可能な限りSQLでやる ・SQLで無理な部分をpythonでやる かなあ

こんなん作ってると頭FAXになるよ #fax_word = ["酸妄","在る","在るな","下民", "折れ","マンカス","だからな","どうする？","である","FAX時代","FAX氏","ノレカス","鼻ゴミ","障害者共","知恵遅れ"]

extract_thread_content_from_dat(data)はもう配列の番号で指定しない方がいいのかなあ

雑やけどイッチscrapy使うつもりある？ 多分サーバーへの負荷減らせるで

エラーバンドリングしてて偉い🤗

scraper.pyでdatファイルをスクレイピング db_thread_detail_data.pyで上記をDB保存 ここはscrapyで出来るから結構楽になるはずや

>>53 そんなんあるんか、ちょっと調べてみるわ

>>50 SQLで処理は面倒やな そこそこ難しいものでも出来ちゃうからやりたくないんや

解析たまに見てるで 支援age

scrapyはちょっとでかすぎるから、とりあえず既存のコード修正で対応することにするよ >>57 このスクリプトはワイのデスクトップPCでWSLで実行してるんや、だからPCの稼働に影響でない程度の速度を出したいから、なるべくSQLでやりたいんよ

>>59 SQLのほうがnumpyより軽いんやな 以外やわ あれCで書かれてるのに

あー、numpyかあ numpyは使ってないねえ

なんとなくselectでまず抽出した方がメモリを抑えられるかと思ってたんだけど、viewだからあんま変わらないかな・・ その方がデータ層とビジネスロジック層を明確に分離できる気がして

ということは早さというか、ロジックの明快さかな？

といっても、まだそんな高度な分析はしてないから、時系列分析程度だからという理由もある

今後、高度な分析になったら、numpyで分析した結果をinsertする機会もあるかも

正直子宮で考えてるから・・・子宮ないけど

やっぱり安倍晋三ガチャでエラー出る

いや、微妙に仕様違うな・・

datファイルとかってどこかに共同で保存しとるんか？ それともスクレイピングオンリーなんか？

各々が纏めて上げる場所があるとええな getuploaderだと容量少なすぎるか？

>>69 現行はこの形式やね https://sannan.nl/livegalileo/dat/1679922260.dat データだけDBに保存しとる

光明が見えてきた 嫌儲もやろうと思ってたんやが、この方法だとちょっと苦しいな・・・ というか、嫌儲って4万レスあるうちの半分以上安倍晋三ガチャやないか？

ええやろ、件数調べるだけなら 実行時間は 3.737229108810425 秒です。 db_livegalileoの登録レコードは: 5489 正しい値は: 5491 一致率は:99.96357676197414%

エラーが出るから大体ないように置き換え件数 [('[梨] 防G安倍晋三部2発\u3000コンマゾロ目で虚偽答弁00で山上99でビデオレター29で美しい国14でジューシー', 665), ('防G無職ニートフリーター部', 7), ('FAX特定して殺したいけど勝川は遠い', 5), ('防弾なんG文化保存部', 2)]

安倍ガチャ除けば0.2％のエラーレコードだから、まあええやろ

なんUは少し事情がちがうな [('🥺防U絵文字部🥺', 72), ('[梨] 😐ぬぇーふ', 61), ('[梨] 🥺ぷゆゆ集落🥺', 23), ('防弾遊戯王マスターデュエル部', 15), ('🏮防U酒部🏮', 14), ('[梨] キチゲ解放所', 13), ('⚾防U野球雑談総合部⚾', 6), ('［レスOK］防Uチラシの裏部', 3), ('新設しました [管理モメン★]', 2), ('防U統計部', 2), ('ぷよぷよ&テトリス部【その他パズルゲームもいいよ♥】', 2), ('【告知】忍法帖レベル4になるとレベル上げに認証が必要です [管理モメン★]', 2), ('防U 将棋部【雑談・実況・対局・リレー将棋あり】', 1), ('【ゲームから】防G割れ部総合【B-CASまで】', 1), ('BB2Cから書き込めないんだけど', 1), ('防G無職ニートフリーター部避難所', 1), ('【告知】!sub:相手の忍法帖ID\u3000で副主を指定できるので、複数人でスレを管理できます [管理モメン★]', 1)]

絵文字部とぷゆゆあたりはコマンド使いすぎてまったくとれないけど、まあしゃあないやろ・・

エラーレコード：220 db_liveuranusの登録レコードは: 3103 エラー率7％か うーん、たぶん最大でこんなもんかな。許容したい

大体こういうスレってIDないから、分析の対象外になるんよな・・

あっ忍法帖のレベル集計とかするう？

しねーよなー

ちょっと横道に逸れたけど、日付変わってからのユニークID数823だって

>>80 結果とかそろそろ匿名化して言ったほうがいいラインに到達しつつある気がするわ おすすめ（ワイはまだ読めてない） https://images-fe.ssl-images-amazon.com/images/I/91t9cyxxJaL._AC_UL210_SR210,210_.jpg https://images-fe.ssl-images-amazon.com/images/I/81lgrsYtXGL._AC_UL210_SR210,210_.jpg

あ、マスキングね

Error code 520だってなにこれ

不明なエラーってなんやねん ちょっとアクセスしすぎたか

うーん、急にアクセスしすぎだか

gistを最新にした。とりあえずanalize_thread.pyとindex.py以外は動く

https://gist.github.com/dory-dd/4cef97914ce3dd45d2b3d3f4cd1b5feb

cloudflareがさぁ！ VPNがさぁ！

やから遅くしたりするんやで

現状のコードならスマホで実行出来るからルート化すりゃええんちゃうかな

ルート化すればIP切り替えるの楽やし

https://sannan.nl/test/read.cgi/livegalileo/1680016003/

テーブルの例 https://i.imgur.com/NdOjcIs.png extract_thread_info_from_lines()の概念 https://i.imgur.com/FRKsdNF.png

防弾嫌儲で統計取ってる人がいた🙄 【独自研究】防弾嫌儲、さんG移民が流れ込み書き込み数が8倍になる [ioT3★] http://sannan.nl/test/read.cgi/news1/1680048325/

やっぱりどこも統計部あるんだな

てか5chではやらないんか？

発祥が3Gだし5chはsparrowがある上にレコード数多すぎるから厳しいのでは？ まあ統計ニキ次第だけど

そもそも発端が3chに勢い可視化する機能がないみたいな話じゃなかったんけ 5chにはあるから要らんって事ちゃう

>>96 それワイだよ

だいたい三男は全部の板に対応できるから、 G,U,嫌儲はデータとった 特に嫌儲はあんまり動きがないし、スレ保持数が多くて現状のスレだけでもかなり分析できそうだったから

>>98 めんどうくさいし、ワイ5chみてないからあんまり興味もないかなって

520エラーのせいで、ついにだんGをみれなくなって草

dat取得せずに、subject.txtだけで勢力図できないものだろうか？ subject.txtだけなら、5chでも取得できるから、いろんな勢力図作れそう

5chの過去ログって専ブラじゃなければ普通にGETできるんやな 時間毎にsubject.txtを取得＆前回のと比較して、落ちたkeyのスレをread.cgiで過去ログ取得＆htmlをパースってやるとリアルタイム性は落ちるけどリクエストの回数減らせるから弾かれなさそうな感じ まだ30分くらいしかぶん回してないからこの先わからんけど

ほほー。もう対応してましたか。 subject.txtだけなら、10分に1度ぐらいは大丈夫じゃない？ 落ちたやつは、あきらめてもいいかもしれませんね （１０分以内のレス増加数は誤差範囲内として）

>>105 ＞subject.txtだけなら、5chでも取得できる そうなんだ、これは知らなかった

弾かれるのはもう大丈夫っぽい

なんUと嫌儲は一日一回クローニングで大丈夫そうだな

>>105 自然言語処理が必要そうだね 統計処理だけでいけるのかな？

dat取得すればガチの勢力図作れるけど面倒やわ 今日はコード書けんかった

htmlパースはちょっとなあ・・・

でも5chのsubject.txt収集は既存の関数使い回せるからいいね。テーブルを一つ用意するだけで事足りるし。こんな感じかね CREATE TABLE IF NOT EXISTS {table_name} ( site_name varchar(10), board_name varchar(30), thread_key(11) NOT NULL, thread_title varchar(256), res_number INTEGER NOT NULL, created_by TIMESTAMP NOT NULL, PRIMARY KEY (thread_key, res_number) );

board_name varchar(30)もいらないか。20で充分だな

50はgone規制あるからここみたいにクソみたいなリクエスト送ると即何も取れなくなるで

>>107 あと、そのままだとdatのnot foundでエラーでるよ。scraper.pyのmain処理にエラーハンドリング追加しといたからみといて これで動いてる

>>116 そういえばそうだったね、前やられたことあるわ

5chのgoneはUA設定してないなら設定する・UA設定してても別のUAに変えるとワンチャン乗り切れるかもしれない 勿論引っかからないのが第一だけどあんまり細かくは見てないっぽいので万が一引っかかっても次からリクエスト間隔にさえ気を付ければ最悪User-Agent:unkoなんかでも通る説が濃厚

ちょっとgistだと使いづらくなってきたから整理するわ

>>106やけど昨晩の5Gの約6万書き込み分のデータまとめたので置いとくわ 時系列ぐちゃぐちゃやし整形もしてないけど一応試行段階でこんな感じで取れたってことで https://dotup.org/uploda/dotup.org2965239.csv.html ちなみに今もVPSからぶん回してるけど規制かかったりはしてなさそう

>>121 ええやん！自分でコード書いてたんやな！ 5chと比較できると色々できるな最高やん

あとで精査してみるな

スクレイピングの参考になるスレのURL知らない？ 安倍晋三とかjienとかワッチョイとか

これ下手にdatでスクレイピングするよりhtmlからパースしたほうが正確にスクレイピング出来そうだな…

>>121 なんGやな key, thread_title, res_num, name, email, comment_date, post_id, comment, やね、だいたいワイのと同じやね

ここよりなんGとかのほうがコード書くの楽やな 途中の変更起こらんから

gist消えとるな パースの参考にしようと思ってたやんけど

>>121 このデータpandasで読み込もうとしてるけどダブルコーテーションがついてたり付いてなかったりしてpandas君で素直に読み込んでくれなくて悲C 前処理に一番時間かかるやつやね😔

>>129 って書いた瞬間に上手く行くやつやね かなC 2時間くらい消費したのに

まあでもスレタイにカンマ使われてたら壊れるやろな

ワイも触発されてメカブまで入れてみた明後日あたりデータで遊んでみよう

お、ワイなんGデータ洗浄したよ。 あげなおそうか

とりあえずれこれなhttps://i.imgur.com/AU1aQmF.png

https://anonfiles.com/h6weW4h4z4/nanG_csv

これでdfにできてる # カラム名の指定 columns = ["key", "thread_title", "res_num", "name", "email", "comment_date", "post_id", "comment"] # データ型の指定 dtype = {"key": "Int64", "thread_title": str, "res_num": "Int64", "name": str, "email": str, "comment_date": str, "post_id": str, "comment": str} # CSVファイルの読み込み df = pd.read_csv(csv_path, names=columns, dtype=dtype, parse_dates=["comment_date"], na_values=[""]) # 欠損値の埋め方を指定 df = df.fillna({"key": 0, "res_num": 0}) # 「Over 1000」を除外 df = df[df["comment_date"] != "Over 1000"] # comment_dateカラムを日付型に変換 df["comment_date"] = pd.to_datetime(df["comment_date"], format="%Y/%m/%d(%a) %H:%M:%S.%f")

>>133 なんGのCSVの方は大丈夫や多分 防Gのデータ拾ってくるときのパースとかが正確にやるの面倒やなってくらいやな スレの途中で変わるからしゃーないんやが

https://i.imgur.com/GhfYvyh.png

https://i.imgur.com/epyHF5w.png

>>121 pandasで素直に取るとレス内にカンマが含まれてるとpandasのreadcsvが壊れるから ,"[^"]+,[^"]+"$ とかで該当レスの前処理してカンマを変換するなりしてくら使うとうまく行くわ またはread_csvのerror_bad_lines=False,とかでエラーの行ガン無視か

https://i.imgur.com/FTaDklj.png このデータを可視化 https://dotup.org/uploda/dotup.org2965239.csv.html 青がIDで赤がスレ IDとスレを繋いだ画像や 黒いのはスレタイの文字が重なりまくって読めない NIKUは除去済み 一応gmlとdotに変換はしたんやが重いからおすすめしないわ https://anonfiles.com/Z093c7iezf/_G_zip csvからやったほうがええかな データが一部やしなんとも言えんが立ったばっかりのアフィスレは他と繋がり少なそうなイメージやわ 次数解析とかはしてないからデータクリーニングして真ん中部分だけやりたいところやな

>>141 配置はforce-directed placement（spring layout）で日本語やとバネ配置とか力指向配置とか言われるやつや

dotからsvgに変換しようとしてるけど3時間くらい回しても画像一向に完成さなくて草 Google colabとか使ったほうが良かったかも知れん 普通に他のCPU空いてるから他のことは出来るけど

さんGのログ今すぐ取れる？ あと2時間で取れるだけ取ってほしい

>>144 ログなら簡単やけど過去ログは無理やで もう無くなったのは取れない

>>145 十分や 今取れるぶんだけでええ

>>146 魚拓を取るのかログを取るのかがわからん

>>147 すまんワイもよくわかっとらん とりあえず取れるもんを取ってほしい

>>148 いまスレ一覧にあるのは3分もあれば全部取れるで

ダウンロードだけならや

魚拓もそんなに時間はかからん

ありがとう

今ざっとURL抜き出しといたからニキも魚拓のコード走らせとくんやで https://pastebin.com/CaEFnbju

スクレイピングの本体はざっくり書いたんやけどDB入れるのがよくわからんから困る

ワイは体感的に人口が減ったように感じるわ 統計的には微増なんかな

移住直後は微増で今は減ってそうな体感

>>156 簡潔に言えばこれ

これやで https://i.imgur.com/4SAB7j1.png

テキストマイニングのええ本知らんか？

ワイ今年統計検定２級勉強するから😡 ちな参考書未購入

>>160 ワイもちょっと考えとる まず3級からやな、、、

3級とか高校生でもないならいらんで

2級は2011-から2015までの過去問は絶対に回しとくんやぞ

>>162 ちょっと言葉の使い方気をつけた方がええで

>>164 何がどう触れたのかわからんが気分害したならすまんな 統計検定の公式サイトの説明にもあるように「高等学校の必修科目である数学Iの「データ分析」相当の統計内容の知識と実際にそれらを身近な問題解決に活かすことが出来る統計的問題解決力を～～～」とあるように内容は高校相当なんや なんでやっても意味が薄いというか足らないからよほど数学等が苦手でないなら2級スタートをおすすめするわ 英検4級みたいな感覚

>>165 ええんやで ワイ頭悪いし、趣味やから家の近くで初歩から受けたいんや🤗

>>166 2級のCBT近くでやってないんか それはどんまいやわ とりあえず3級だろうと統計web完璧にしとけばオーバーキルできると思うで あれは2級用やがわかりやすいやつや

>>158 これ統計部のやつだと聞いてやって来た 計算お疲れ様です

>>168 それ貼ったの多分ワイだよ🤗

https://i.imgur.com/pVqgdEd.png

狂騒も終わったから落ち着いてきたのかな？

統計部いつもようやっとるサンガツ 出来事も載ってて見やすいわね ここ数日は大きな仕様変更がないのとリアルだと年度の切り替えとプロ野球の開幕から少し経って落ち着いたのもあるのかな

>>172 こちらこそサンガツ 精度が怪しいから少しずつ改修していくよ🙄

時系列分析の本読んだから触りたいけどデータ集めるのめんどくさいのと3ch時代のがないから触れないわ

>>174 あげる🥺👉https://anonfiles.com/b9AdEdkez2/livegalileo_all_csv

あ、ごめんよく読んだら不要だった？

>>175 助かる

データクレンジングしてねー

datファイルは脳死でmongodbに突っ込むのが良さそうな感じ 他のことで忙しいからこっちのコード書く時間なかなか取れないけど

>>170 お疲れ様

>>180 ありがとー🤗

>>181 この画像アップも自動化や

体感この1週間で人が減った気する

社畜部、ニーフリ部、ソシャゲ部 この辺とその他で分けるとその他のほうが減ってる気はする

統計の結果って何曜日に出すとか決まってる？

完全に偏見だけど3G初期中期に頑張ってネタ考えてスレ立てたりしてた人はなんPに行った印象

5chの障害がいつ直るかわからないし 当分人口は増えそうね

土曜の朝とは別の障害？

ちゃんとは見てないけどAPI鯖が逝った？っぽい 避難民かなり来てるね、次の統計が気になるわ

>>186 ワイもそう思う なんPは大出世前のさんGを感じる

統計気になるよね

見当もつかないけどID数は普段の10～30倍とかかな🤔

保守

!tlv5

!mirror★スレをMIRRORモードに設定

防Uのスレ紹介BOT機能mirrorコマンドが実装されたよぉ🥺

!kaijo:mirror★MIRRORモードを解除

次のミラーコマンドが使われると前のミラーコマンド解除されるっぽいな >>196がコピペされてない

宣伝用じゃないレスまでコピーされちゃうのは恥ずかしいからそれぐらいで良いかも

最近動いてるのか？