ロダ
http://ux.getuploader.com/twi_dl/
初版を作った人のコテ
◆LNUFE0SqYQ
ツイッターダウンローダー綜合
56 レス · dat原文
ver.1.1
http://ux.getuploader.com/twi_dl/download/2/twidlv1.1.7z
変更点などはReleaseNotesを見てください
これからはこれをdashに移植していこうかと思っています
なのでなでしこ版はこれからは保守以上はしません
理由は突然の死ジェネレーター(echo-cd)を使って行けて楽だからナリ
ただしwindows芋にcygwinを使わせるのは難しい物があるのでvergrantを使えるようにします
てすや
ver.1.2
http://ux.getuploader.com/twi_dl/download/3/twidl.ver.1.2.7z
v1.3.1
http://ux.getuploader.com/twi_dl/download/4/twidlv1.3.1.7z
大幅更新
ReadmeやReleaseNotesを一度読むことを切に願う
https://twitter.com/galaxyan_ygreck
ログを取ろうと思ったら途中で終わって全部取れないんですよね
環境依存でしたら申し訳ありませんが調べてもらえないでしょうか
それはツイッターの検索エンジンを元に作っているからです
1週間分は確実に取れますが過去になればなるほど取れる(検索エンジンに引っかかる)確率が減ります
apiを使わずに過去を取る方法はこれかtwilogとかしかないと思いますを
文句はツイッターへ
対策としてフォローフォロワーリストを作るためにapiを導入する予定なのでそこにapiでTL落とし機能の導入とツイログ取得を考えてます
とりとり
>>8
出感、期待していますを
ツイート固定IDが15桁以上になるとそれ以降の桁が0になるのですね
当職は詳しくないのですがプログラミングに使用した言語の仕様でしょうか
>>10
そうなることは確認していません
webスクレイピングなのでそうならないはずです
誰を取得したかを教えてくれると助かります
すみませんでした
csvファイルを表示するのにマイクロソフトエクセルを使用していたため
四捨五入されて表示されていました
当職 頭唐澤
使わせて頂いております
作者様との出会いに感謝
ver.1.4
ディレクトリ構成を変えてわかりやすい配置にしました
またphantomjsを使ってwhotwiとTLを取得するようにもしました
一度readmeとReleaseNotesを読むことを切に望む
http://ux.getuploader.com/twi_dl/download/5/1.4.7z
favのdlを切に望む。
フォロー被フォローの取得は考えています
apiを使えればいいのですがアクセストークン取得のプログラムがまだ完成していません
手抜きになりますがログインせずにフォロー被フォローを見れるサイトをwhotwiとtwilog以外で教えてくれると比較的早く実装できるかもしれません
またv.1.4以前の固定IDなどが記載させるtxtファイルの内容に一部不具合があります
一行目の名前(@ツイッターID)の名前の部分が1.4以前ではTLの一番上の名前になります
標的のツイートならば不具合は起きませんがRTの場合に不具合が起きます
そこまで大きい不具合ではないので次期バージョンで修正します
dekan
フォロー被フォローはログインしなくてもモバイル版から取得できますを
https://mobile.twitter.com/KoushinLawfirm/following
https://mobile.twitter.com/KoushinLawfirm/followers
書き忘れてましたが/favoritesでお気に入りも取得できるようです
とりあえず取り急ぎ
twitterの公式はふんだんにjavascriptを使っているためスクレイピングが非常に難しいです
そうなのですか…
当職 無能
心ある開発者の方々との出会いに感謝。
2014年1月ごろのツイートになると、RT数に「retweet」「retweets」、fav数に「favorite」「favorites」
とついてしまいます。LibreOfficeでそのまま置換して除去すればいい問題ではありますが、
お手隙であればつかないようにしていただけるとありがたいナリ。
>>23
それだとどこがどうなっているのかがわからないのでどのファイルでなったか上げてもらってもいいですか？
>>24
http://i.imgur.com/CewSIrL.png
ファイル自体をアップしたほうがよいでしょうか？
いいアップローダーがあるといいのですが。
>>25
出感
取得ソースがそうなっているなどの根本的な解決が難しい場合はむりやりな方法ですが置換をするなどの処理を入れます
仕様変更があったみたいです
現在修正版を作っています
whotwiも大幅な仕様変更があったみたいです
v1.4と現在作っている仕様変更対応版でのwhotwi依存は公開、非公開、存在しないユーザの判定のみなので影響はないです
whotwiの変更点はこんな感じです
改善
白ベースのデザインへ変更
改悪
固定IDが消える
週と時刻に応じた書き込み量のデザインが罫線がないため見づらい
そのうちフォローや被フォローの取得もwhotwiに依存する形で実装します
ver.1.5
仕様変更の修正
phantomjsによるwhotwiのzh-tw言語の取得
デバッグモードの追加
デバッグモードは中間ファイルを保存するので不具合報告の際にセットで上げてくれるととても助かります
http://ux.getuploader.com/twi_dl/download/6/twidlv1.5.7z
v1.4以前のツールは仕様変更のため使えないです
v1.5を使用してください
>>30
出感
ReleaseNoteには書きましたがvine周りのチェックが住んでません
とりあえず昔のままにしてありますが今回の仕様変更は割りと大規模なのでエラーが出るかもしれないです
だれか確認してくれませんか？
ちょっとしたバグを見つけました
タイトルバーの●件名が本来想定していたツイート件名ではなくデバッグモード時のjsonファイルを落とした回数になっていました
出力される内容に問題はありません
ですのでこの問題は後回しにします
オメ学の方で用意したスクリプトがwikiのスタイルに依存するのでそれ問題が解決したらそのスプリクトもtwidlもセットで上げます
あとツイッターの仕様変更にfav数が● いいねになっていたので いいねを消します
拡張子.nakoになってる
それはソースファイルです
なでしこの拡張子はnakoで書きます
exeがあるはずなのでそれを実行してください
試してないけどフォロー取得するツールはあるみたいやで
http://inertia.s500.xrea.com/jousitunakuso/
最新版1.5.1を公開します
ライセンスをMITに変更します。
理由は更新の通知などをだすためにOSDNに移管しようと思ってますがOSDNはOSI認証されたライセンスしか受け付けないからです
名前はkrswでお願いします
また画像の仕様変更といいねを消しました
http://ux.getuploader.com/twi_dl/download/7/twidlv1.5.1.7z
>>37
これはいい
サンガツ
自分の操作ミスかもしれませんが全てのツイートを取得しようとしても出来ませんでした
よろしければ確認お願いします
>>40
尊師のツイッターと私が作った実験用の垢では期待どうりに取得できました
たまに万クラスのツイートしてる人を対象にしても500程度しか取れないことがありますがそれはTwitter検索エンジンの仕様です
3日くらいあとにもう一度行ったら万単位のログを作れました
念のため確認したいのでデバッグモードを使用して取得したもの一式すべてを上げてください
v1.5は不具合があるので1.5.1を使ってください
もし何も取れなかったりエラーが出たらIDだけで大丈夫です
>>41
http://fast-uploader.com/file/7003998662925/
パスワードはいつもの数字です
9/21まで取得出来ていますがそれ以前のツイートがあることを確認しています
ロダの中身を確認したところ取れるだけはちゃんとログを取れてます
ここ2ヶ月は仕様変更が相次いでおり、また取得件数が増えたり減ったりとおかしいので時間が立ってたからまたやってください
どうも比較的新しいリプライを取得できんみたいや
twidlv1.5.1.nakoの139行目
>「https://twitter.com/{ユーザー名}/」からHTTPデータ取得
を
「https://twitter.com/{ユーザー名}/with_replies」からHTTPデータ取得
でビルドしてくれんか
なんでかワイの環境やとシステムリソース云々言われてなでしこインストールできん
一ヶ月以上ほったらかしですいません
「https://twitter.com/{ユーザー名}/」からHTTPデータ取得のあたりはユーザIDの取得などの取得にのみ使っているのでツイートが取得できないのは関係ないです
取得ができない原因は253行から428行までの中にある範囲切り取るで対象にしているHTMLタグが変わったことのはずです
検索API自体は大量にログを吐いているのでタグを直せば使えるはずです
私に暇があまりないのでできる人がいたら直して欲しいですを
ちぃったーの変更はないかも…？
どうもリプライが取得できない場合があるようで
普通のツイートをキャッチするまではリプライは無視するみたい
試しにてきとーな垢でてきとーに5回リプライを送って、twidlを試してみると5回分のリプライは取得できず
同じ垢で普通にカラコロツイートしてtwidlをしてみると5回分のリプライを含め正常に取得できた
まあとりあえず取り急ぎ…
リプライも通常もv1.5.1を上げた時は正常にできてたので使用変更やと思うわ
リプライが取れてないとわかったのはありがたい
リツイートは取得できないのでしょうか？
v1.6
http://ux.getuploader.com/twi_dl/download/8/1.6.7z
>>49
検索エンジンの気分次第です
v1.6
http://ux.getuploader.com/twi_dl/download/9/1.6.7z
>>49
検索エンジンの気分次第です
画像を一枚も取得できず、ツイートも12万件ある中2件しか取得できませんでした
デバッグモードで出来たzipを上げておきます、お役に立てば幸いです
https://anonfiles.com/file/2a92508e9a7f10a56e8bb88b095afd31
>>52
当職にはわかりませんでした
どうやら検索エンジンが悪いみたいです
v1.6で尊師のツイッター(@koushinlawfirm)は正常に取れました
ほんま有能
最近更新されてないけどホンマ便利やでこれ
ただ最近は取得できないアカウントの方が多い
ツイッターはころころhtmlの仕様を変えるからなぁ
どれだけAPIを使わせたいねん