Added better filtering
This commit is contained in:
Robert
parent
7aabde7516
commit
9c6f9fcc47
1
.gitignore
vendored
1
.gitignore
vendored
|
|
@ -1,5 +1,6 @@
|
|||
.idea
|
||||
venv
|
||||
images
|
||||
|
||||
*.jpg
|
||||
*.png
|
||||
|
|
|
|||
555414
NaughtyChat.txt
Normal file
555414
NaughtyChat.txt
Normal file
File diff suppressed because it is too large
Load diff
73
cloud.py
73
cloud.py
|
|
@ -2,6 +2,7 @@ import praw
|
|||
import json
|
||||
import argparse
|
||||
import re
|
||||
import csv
|
||||
from wordcloud import WordCloud, STOPWORDS, ImageColorGenerator
|
||||
from stop_words import safe_get_stop_words
|
||||
import matplotlib.pyplot as plt
|
||||
|
|
@ -35,6 +36,14 @@ parser.add_argument("-N", metavar="max_words", type=int,
|
|||
help="Maximum number of words in WordCloud (Default 200)")
|
||||
parser.add_argument("-v", "--verbose", action="store_true",
|
||||
help="Dump comments to comments.log")
|
||||
parser.add_argument("-w", metavar="wordlist", type=str,
|
||||
help="The wordlist to use for weighting (Default english)")
|
||||
parser.add_argument("-min", metavar="min_freq", type=float,
|
||||
help="The minimum frequency a word needs to have to be counted in % (Default 0)")
|
||||
parser.add_argument("-boost", metavar="freq_boost", type=float,
|
||||
help="The boost a word that isn't in the wordlist gets (Default 1)")
|
||||
parser.add_argument("-blow", metavar="freq_blow", type=float,
|
||||
help="The \"anti-boost\" a word that is in the wordlist gets (Default 1)")
|
||||
|
||||
args = parser.parse_args()
|
||||
|
||||
|
|
@ -50,6 +59,18 @@ if args.b is None:
|
|||
if args.N is None:
|
||||
args.N = 200
|
||||
|
||||
if args.w is None:
|
||||
args.w = "english"
|
||||
|
||||
if args.min is None:
|
||||
args.min = 0
|
||||
|
||||
if args.boost is None:
|
||||
args.boost = 1
|
||||
|
||||
if args.blow is None:
|
||||
args.blow = 1
|
||||
|
||||
|
||||
def fetch_comments(comment) -> list:
|
||||
comment_body = re.sub(r'[\[\(]?https?:\/\/[0-9A-Za-z\/\?#\[\]\)@\.!$\&%\-+,;=]+', '', comment.body)
|
||||
|
|
@ -106,17 +127,45 @@ if args.c is not None:
|
|||
cw = int(args.c[0])
|
||||
cc = args.c[1]
|
||||
|
||||
wordcloud = WordCloud(font_path="ARIALUNI.TTF",
|
||||
max_words=args.N,
|
||||
collocations=False,
|
||||
scale=args.s,
|
||||
stopwords=stopwords,
|
||||
mask=mask,
|
||||
background_color=args.b,
|
||||
mode="RGB",
|
||||
contour_width=cw,
|
||||
contour_color=cc
|
||||
).generate(' '.join(comments))
|
||||
wc_obj = WordCloud(font_path="ARIALUNI.TTF",
|
||||
max_words=args.N,
|
||||
collocations=False,
|
||||
scale=args.s,
|
||||
stopwords=stopwords,
|
||||
mask=mask,
|
||||
background_color=args.b,
|
||||
mode="RGB",
|
||||
contour_width=cw,
|
||||
contour_color=cc
|
||||
)
|
||||
|
||||
words = wc_obj.process_text(' '.join(comments))
|
||||
|
||||
with open(f"wordlists/{args.w}.csv") as list:
|
||||
lookup = csv.reader(list, delimiter=";")
|
||||
lookup_dict = {}
|
||||
for row in lookup:
|
||||
lookup_dict[row[1]] = int(row[2].replace(" ", ""))
|
||||
|
||||
out_dict = {}
|
||||
words_total = 0
|
||||
max_freq = 0
|
||||
for (word, freq) in words.items():
|
||||
words_total += freq
|
||||
if freq > max_freq:
|
||||
max_freq = freq
|
||||
|
||||
for (word, freq) in words.items():
|
||||
if freq / words_total >= args.min:
|
||||
out_freq = freq
|
||||
if word in lookup_dict:
|
||||
out_freq *= (max_freq / lookup_dict[word]) / args.blow
|
||||
else:
|
||||
out_freq *= args.boost
|
||||
|
||||
out_dict[word] = out_freq
|
||||
|
||||
wordcloud = wc_obj.generate_from_frequencies(out_dict)
|
||||
|
||||
if args.color is True:
|
||||
wordcloud.recolor(color_func=colors)
|
||||
|
|
@ -131,4 +180,4 @@ if args.verbose is True:
|
|||
plt.imshow(wordcloud, interpolation="bilinear")
|
||||
plt.axis("off")
|
||||
|
||||
plt.show()
|
||||
plt.show()
|
||||
|
|
|
|||
500
wordlists/english.csv
Normal file
500
wordlists/english.csv
Normal file
|
|
@ -0,0 +1,500 @@
|
|||
1;the;1 086 322 084;1
|
||||
2;and;570 238 088;0,524925431
|
||||
3;to;567 125 659;0,522060324
|
||||
4;of;520 616 100;0,47924654
|
||||
5;a;450 818 768;0,414995492
|
||||
6;in;347 194 633;0,319605611
|
||||
7;is;248 380 169;0,228643211
|
||||
8;that;224 519 835;0,206678883
|
||||
9;for;208 388 402;0,191829297
|
||||
10;I;182 655 261;0,168140981
|
||||
11;you;182 453 085;0,167954871
|
||||
12;it;178 836 372;0,164625551
|
||||
13;with;156 119 520;0,143713842
|
||||
14;on;144 467 343;0,132987578
|
||||
15;as;131 550 003;0,121096685
|
||||
16;are;127 182 849;0,117076557
|
||||
17;be;121 334 041;0,111692511
|
||||
18;this;118 313 376;0,108911876
|
||||
19;was;101 276 933;0,093229195
|
||||
20;have;98 995 039;0,091128626
|
||||
21;or;91 357 988;0,084098436
|
||||
22;at;88 985 877;0,081914819
|
||||
23;not;87 283 369;0,080347597
|
||||
24;your;86 771 653;0,079876543
|
||||
25;from;84 815 518;0,078075848
|
||||
26;we;81 286 792;0,074827524
|
||||
27;by;80 592 007;0,074187949
|
||||
28;will;75 287 940;0,069305357
|
||||
29;can;73 380 242;0,06754925
|
||||
30;but;73 083 776;0,067276342
|
||||
31;they;72 519 671;0,066757062
|
||||
32;an;70 739 017;0,065117904
|
||||
33;he;67 251 894;0,061907877
|
||||
34;all;61 495 030;0,056608469
|
||||
35;has;56 078 674;0,051622511
|
||||
36;if;55 913 287;0,051470266
|
||||
37;their;55 489 229;0,051079905
|
||||
38;one;53 923 171;0,04963829
|
||||
39;do;53 876 351;0,049595191
|
||||
40;more;52 863 332;0,048662669
|
||||
41;n't;52 097 921;0,04795808
|
||||
42;my;52 066 603;0,04792925
|
||||
43;his;50 951 208;0,046902488
|
||||
44;so;49 213 525;0,045302886
|
||||
45;there;47 444 673;0,043674591
|
||||
46;about;46 693 627;0,042983225
|
||||
47;which;45 739 634;0,042105039
|
||||
48;when;44 528 548;0,040990189
|
||||
49;what;43 721 332;0,040247117
|
||||
50;out;41 303 918;0,038021797
|
||||
51;up;40 865 639;0,037618345
|
||||
52;our;40 747 450;0,037509548
|
||||
53;who;39 513 873;0,036373994
|
||||
54;also;39 076 493;0,035971369
|
||||
55;had;37 580 331;0,034594096
|
||||
56;time;37 416 837;0,034443594
|
||||
57;some;36 631 344;0,033720519
|
||||
58;would;36 278 124;0,033395366
|
||||
59;were;34 456 212;0,031718228
|
||||
60;like;34 146 192;0,031432843
|
||||
61;been;34 043 476;0,03133829
|
||||
62;just;33 799 176;0,031113402
|
||||
63;her;33 758 030;0,031075526
|
||||
64;new;33 361 392;0,030710406
|
||||
65;other;32 942 994;0,030325255
|
||||
66;them;32 105 569;0,029554374
|
||||
67;she;30 841 495;0,028390747
|
||||
68;people;30 421 073;0,028003732
|
||||
69;these;30 346 365;0,027934961
|
||||
70;no;29 934 430;0,027555759
|
||||
71;get;29 850 777;0,027478754
|
||||
72;how;29 615 038;0,027261747
|
||||
73;me;28 754 532;0,026469619
|
||||
74;into;28 642 590;0,026366573
|
||||
75;than;27 631 684;0,025435996
|
||||
76;only;26 533 516;0,024425091
|
||||
77;its;26 289 380;0,024200355
|
||||
78;most;26 036 206;0,023967299
|
||||
79;may;25 711 134;0,023668058
|
||||
80;any;25 708 576;0,023665703
|
||||
81;many;24 844 281;0,022870087
|
||||
82;make;24 392 340;0,022454059
|
||||
83;then;24 304 264;0,022372982
|
||||
84;well;24 020 281;0,022111565
|
||||
85;first;23 900 423;0,022001231
|
||||
86;very;23 718 574;0,021833832
|
||||
87;over;23 433 481;0,021571393
|
||||
88;now;23 268 050;0,021419108
|
||||
89;could;22 732 394;0,020926017
|
||||
90;after;22 564 231;0,020771216
|
||||
91;even;22 246 087;0,020478353
|
||||
92;because;21 575 657;0,019861197
|
||||
93;us;21 188 627;0,019504922
|
||||
94;said;21 118 317;0,019440199
|
||||
95;good;20 850 458;0,019193624
|
||||
96;way;20 753 150;0,019104049
|
||||
97;two;20 615 564;0,018977396
|
||||
98;should;20 364 151;0,018745961
|
||||
99;work;20 294 419;0,01868177
|
||||
100;use;20 209 195;0,018603318
|
||||
101;through;19 457 545;0,017911396
|
||||
102;see;19 255 611;0,017725508
|
||||
103;know;18 633 716;0,017153031
|
||||
104;did;18 617 523;0,017138124
|
||||
105;much;18 586 676;0,017109729
|
||||
106;where;18 527 936;0,017055656
|
||||
107;years;18 475 373;0,01700727
|
||||
108;need;18 152 024;0,016709615
|
||||
109;him;18 135 444;0,016694353
|
||||
110;back;18 086 300;0,016649114
|
||||
111;such;18 002 390;0,016571872
|
||||
112;those;17 394 626;0,016012402
|
||||
113;being;17 186 684;0,015820984
|
||||
114;day;17 147 221;0,015784657
|
||||
115;take;17 051 169;0,015696237
|
||||
116;while;16 987 528;0,015637653
|
||||
117;here;16 157 575;0,01487365
|
||||
118;before;16 110 780;0,014830574
|
||||
119;does;16 024 521;0,014751169
|
||||
120;great;15 802 739;0,014547011
|
||||
121;year;15 756 464;0,014504413
|
||||
122;go;15 240 443;0,014029396
|
||||
123;help;15 204 513;0,013996321
|
||||
124;want;15 201 049;0,013993133
|
||||
125;really;14 905 838;0,01372138
|
||||
126;think;14 528 861;0,013374359
|
||||
127;best;14 508 216;0,013355354
|
||||
128;life;14 478 608;0,013328099
|
||||
129;each;14 461 675;0,013312511
|
||||
130;made;14 403 756;0,013259195
|
||||
131;right;14 243 466;0,013111642
|
||||
132;world;14 112 944;0,012991491
|
||||
133;business;13 705 631;0,012616545
|
||||
134;home;13 687 649;0,012599991
|
||||
135;own;13 596 911;0,012516464
|
||||
136;down;13 544 228;0,012467967
|
||||
137;still;13 472 686;0,01240211
|
||||
138;used;13 392 282;0,012328095
|
||||
139;find;13 384 274;0,012320723
|
||||
140;around;13 218 230;0,012167874
|
||||
141;going;12 925 606;0,011898502
|
||||
142;every;12 882 762;0,011859063
|
||||
143;both;12 687 801;0,011679594
|
||||
144;last;12 596 956;0,011595968
|
||||
145;off;12 568 448;0,011569725
|
||||
146;too;12 470 769;0,011479808
|
||||
147;same;12 419 285;0,011432415
|
||||
148;information;12 031 414;0,011075365
|
||||
149;little;11 695 673;0,010766303
|
||||
150;another;11 540 840;0,010623774
|
||||
151;look;11 432 731;0,010524255
|
||||
152;few;11 401 511;0,010495516
|
||||
153;long;11 264 930;0,010369788
|
||||
154;part;11 168 135;0,010280685
|
||||
155;since;11 143 932;0,010258405
|
||||
156;things;11 137 850;0,010252806
|
||||
157;place;11 129 389;0,010245018
|
||||
158;am;10 905 198;0,010038642
|
||||
159;between;10 820 784;0,009960935
|
||||
160;during;10 808 095;0,009949255
|
||||
161;different;10 797 013;0,009939053
|
||||
162;must;10 690 628;0,009841122
|
||||
163;come;10 664 434;0,009817009
|
||||
164;using;10 487 785;0,009654397
|
||||
165;however;10 477 701;0,009645115
|
||||
166;without;10 375 679;0,0095512
|
||||
167;high;10 272 381;0,00945611
|
||||
168;why;10 239 970;0,009426274
|
||||
169;something;10 238 690;0,009425096
|
||||
170;online;10 191 169;0,009381351
|
||||
171;system;10 112 358;0,009308803
|
||||
172;better;10 080 112;0,009279119
|
||||
173;three;10 069 875;0,009269696
|
||||
174;never;10 040 300;0,009242471
|
||||
175;always;10 021 039;0,00922474
|
||||
176;love;9 978 269;0,009185369
|
||||
177;say;9 940 058;0,009150194
|
||||
178;might;9 758 074;0,008982671
|
||||
179;next;9 327 423;0,008586241
|
||||
180;company;9 314 939;0,008574749
|
||||
181;state;9 213 709;0,008481563
|
||||
182;number;9 200 697;0,008469585
|
||||
183;again;9 157 338;0,008429671
|
||||
184;free;9 139 571;0,008413316
|
||||
185;lot;9 110 408;0,00838647
|
||||
186;under;8 999 181;0,008284082
|
||||
187;family;8 942 739;0,008232125
|
||||
188;found;8 871 991;0,008166999
|
||||
189;within;8 821 032;0,008120089
|
||||
190;give;8 816 968;0,008116348
|
||||
191;set;8 815 554;0,008115046
|
||||
192;school;8 755 836;0,008060074
|
||||
193;important;8 743 753;0,008048951
|
||||
194;water;8 685 078;0,007994938
|
||||
195;able;8 670 394;0,007981421
|
||||
196;keep;8 648 208;0,007960998
|
||||
197;got;8 642 205;0,007955472
|
||||
198;sure;8 552 448;0,007872847
|
||||
199;end;8 551 115;0,00787162
|
||||
200;money;8 534 863;0,00785666
|
||||
201;service;8 521 606;0,007844456
|
||||
202;small;8 519 934;0,007842917
|
||||
203;put;8 378 749;0,007712951
|
||||
204;experience;8 364 514;0,007699847
|
||||
205;having;8 280 863;0,007622843
|
||||
206;once;8 236 139;0,007581673
|
||||
207;available;8 220 464;0,007567244
|
||||
208;health;8 159 671;0,007511282
|
||||
209;support;8 131 832;0,007485655
|
||||
210;often;8 108 755;0,007464411
|
||||
211;including;8 082 359;0,007440113
|
||||
212;days;7 951 767;0,007319898
|
||||
213;away;7 854 419;0,007230286
|
||||
214;old;7 820 868;0,007199401
|
||||
215;area;7 800 194;0,00718037
|
||||
216;feel;7 775 709;0,00715783
|
||||
217;read;7 745 587;0,007130102
|
||||
218;show;7 710 438;0,007097746
|
||||
219;big;7 641 799;0,007034561
|
||||
220;against;7 635 745;0,007028988
|
||||
221;thing;7 634 241;0,007027604
|
||||
222;order;7 629 741;0,007023461
|
||||
223;program;7 611 088;0,00700629
|
||||
224;though;7 607 072;0,007002594
|
||||
225;city;7 559 832;0,006959107
|
||||
226;group;7 551 142;0,006951108
|
||||
227;services;7 537 055;0,00693814
|
||||
228;site;7 534 726;0,006935996
|
||||
229;making;7 500 588;0,006904571
|
||||
230;course;7 482 521;0,00688794
|
||||
231;point;7 457 133;0,006864569
|
||||
232;children;7 430 693;0,00684023
|
||||
233;times;7 398 973;0,006811031
|
||||
234;team;7 390 401;0,00680314
|
||||
235;game;7 381 510;0,006794955
|
||||
236;along;7 364 949;0,00677971
|
||||
237;let;7 282 798;0,006704087
|
||||
238;house;7 276 154;0,006697971
|
||||
239;today;7 266 420;0,006689011
|
||||
240;body;7 246 785;0,006670936
|
||||
241;working;7 220 862;0,006647073
|
||||
242;case;7 216 227;0,006642806
|
||||
243;man;7 208 651;0,006635832
|
||||
244;real;7 200 538;0,006628364
|
||||
245;provide;7 196 400;0,006624555
|
||||
246;care;7 157 937;0,006589148
|
||||
247;public;7 148 402;0,006580371
|
||||
248;top;7 138 687;0,006571428
|
||||
249;looking;7 117 515;0,006551938
|
||||
250;several;7 102 789;0,006538382
|
||||
251;start;7 099 284;0,006535156
|
||||
252;less;7 062 487;0,006501283
|
||||
253;process;7 013 084;0,006455805
|
||||
254;become;7 005 933;0,006449223
|
||||
255;actually;7 003 268;0,006446769
|
||||
256;local;6 986 621;0,006431445
|
||||
257;together;6 940 525;0,006389012
|
||||
258;person;6 926 168;0,006375796
|
||||
259;change;6 915 113;0,006365619
|
||||
260;book;6 893 942;0,006346131
|
||||
261;enough;6 877 100;0,006330627
|
||||
262;getting;6 850 070;0,006305745
|
||||
263;week;6 837 795;0,006294445
|
||||
264;power;6 825 500;0,006283127
|
||||
265;until;6 821 252;0,006279217
|
||||
266;market;6 820 644;0,006278657
|
||||
267;fact;6 793 786;0,006253933
|
||||
268;god;6 721 690;0,006187566
|
||||
269;food;6 697 065;0,006164898
|
||||
270;students;6 693 375;0,006161501
|
||||
271;full;6 685 773;0,006154503
|
||||
272;women;6 655 732;0,00612685
|
||||
273;community;6 649 245;0,006120878
|
||||
274;name;6 635 921;0,006108613
|
||||
275;second;6 629 530;0,00610273
|
||||
276;data;6 494 503;0,005978432
|
||||
277;government;6 493 787;0,005977773
|
||||
278;says;6 454 215;0,005941346
|
||||
279;others;6 446 289;0,005934049
|
||||
280;ever;6 427 629;0,005916872
|
||||
281;yet;6 393 300;0,005885271
|
||||
282;research;6 383 726;0,005876458
|
||||
283;done;6 342 538;0,005838543
|
||||
284;left;6 338 022;0,005834386
|
||||
285;far;6 264 791;0,005766974
|
||||
286;large;6 252 388;0,005755556
|
||||
287;called;6 230 129;0,005735066
|
||||
288;doing;6 216 192;0,005722237
|
||||
289;already;6 209 056;0,005715668
|
||||
290;development;6 202 644;0,005709765
|
||||
291;social;6 152 475;0,005663583
|
||||
292;open;6 147 111;0,005658645
|
||||
293;possible;6 077 457;0,005594526
|
||||
294;side;6 064 135;0,005582262
|
||||
295;play;6 003 199;0,005526169
|
||||
296;means;5 983 711;0,005508229
|
||||
297;needs;5 968 865;0,005494563
|
||||
298;try;5 945 472;0,005473029
|
||||
299;came;5 943 203;0,00547094
|
||||
300;ca;5 931 957;0,005460588
|
||||
301;based;5 882 703;0,005415248
|
||||
302;hard;5 873 296;0,005406588
|
||||
303;thought;5 855 929;0,005390601
|
||||
304;products;5 846 806;0,005382203
|
||||
305;national;5 823 955;0,005361168
|
||||
306;quality;5 795 607;0,005335072
|
||||
307;level;5 787 450;0,005327564
|
||||
308;live;5 765 272;0,005307148
|
||||
309;design;5 743 688;0,005287279
|
||||
310;makes;5 731 317;0,005275891
|
||||
311;project;5 706 449;0,005252999
|
||||
312;line;5 659 531;0,005209809
|
||||
313;night;5 647 605;0,005198831
|
||||
314;least;5 642 047;0,005193715
|
||||
315;whether;5 622 030;0,005175288
|
||||
316;job;5 607 499;0,005161912
|
||||
317;car;5 606 213;0,005160728
|
||||
318;example;5 606 206;0,005160722
|
||||
319;include;5 578 401;0,005135126
|
||||
320;following;5 563 335;0,005121257
|
||||
321;given;5 562 871;0,00512083
|
||||
322;website;5 523 539;0,005084624
|
||||
323;past;5 521 393;0,005082648
|
||||
324;plan;5 515 382;0,005077115
|
||||
325;offer;5 514 280;0,0050761
|
||||
326;buy;5 506 714;0,005069136
|
||||
327;call;5 504 516;0,005067112
|
||||
328;went;5 480 066;0,005044605
|
||||
329;simply;5 454 708;0,005021262
|
||||
330;hand;5 449 925;0,005016859
|
||||
331;music;5 442 615;0,00501013
|
||||
332;easy;5 419 406;0,004988765
|
||||
333;problem;5 403 421;0,004974051
|
||||
334;men;5 394 825;0,004966138
|
||||
335;country;5 386 469;0,004958446
|
||||
336;took;5 377 725;0,004950396
|
||||
337;four;5 377 713;0,004950385
|
||||
338;members;5 368 209;0,004941637
|
||||
339;form;5 354 037;0,004928591
|
||||
340;personal;5 349 863;0,004924748
|
||||
341;control;5 333 560;0,004909741
|
||||
342;energy;5 321 630;0,004898759
|
||||
343;room;5 310 225;0,00488826
|
||||
344;head;5 285 296;0,004865312
|
||||
345;pay;5 250 846;0,0048336
|
||||
346;create;5 231 117;0,004815438
|
||||
347;run;5 230 595;0,004814958
|
||||
348;kind;5 225 514;0,004810281
|
||||
349;credit;5 223 410;0,004808344
|
||||
350;almost;5 207 417;0,004793622
|
||||
351;believe;5 167 436;0,004756818
|
||||
352;quite;5 164 499;0,004754114
|
||||
353;mind;5 151 349;0,004742009
|
||||
354;law;5 147 513;0,004738478
|
||||
355;early;5 144 825;0,004736003
|
||||
356;comes;5 138 026;0,004729745
|
||||
357;states;5 137 104;0,004728896
|
||||
358;usually;5 132 083;0,004724274
|
||||
359;companies;5 126 740;0,004719355
|
||||
360;web;5 113 914;0,004707549
|
||||
361;taking;5 097 243;0,004692202
|
||||
362;started;5 095 304;0,004690417
|
||||
363;later;5 093 070;0,004688361
|
||||
364;although;5 085 126;0,004681048
|
||||
365;story;5 083 276;0,004679345
|
||||
366;per;5 077 217;0,004673768
|
||||
367;future;5 074 920;0,004671653
|
||||
368;known;5 065 947;0,004663393
|
||||
369;someone;5 061 146;0,004658974
|
||||
370;across;5 022 474;0,004623375
|
||||
371;rather;5 020 839;0,00462187
|
||||
372;young;5 004 865;0,004607165
|
||||
373;whole;5 002 105;0,004604624
|
||||
374;special;4 993 760;0,004596942
|
||||
375;everything;4 985 049;0,004588924
|
||||
376;months;4 972 707;0,004577562
|
||||
377;anything;4 965 642;0,004571059
|
||||
378;training;4 961 986;0,004567693
|
||||
379;url;4 957 073;0,004563171
|
||||
380;bit;4 940 344;0,004547771
|
||||
381;seen;4 935 996;0,004543768
|
||||
382;product;4 929 537;0,004537823
|
||||
383;american;4 918 874;0,004528007
|
||||
384;please;4 907 791;0,004517805
|
||||
385;management;4 906 649;0,004516753
|
||||
386;cost;4 902 004;0,004512478
|
||||
387;either;4 890 450;0,004501842
|
||||
388;light;4 887 391;0,004499026
|
||||
389;university;4 844 575;0,004459612
|
||||
390;face;4 836 230;0,00445193
|
||||
391;due;4 834 580;0,004450411
|
||||
392;nothing;4 822 420;0,004439217
|
||||
393;human;4 818 757;0,004435846
|
||||
394;event;4 798 583;0,004417275
|
||||
395;history;4 791 009;0,004410302
|
||||
396;probably;4 781 460;0,004401512
|
||||
397;friends;4 759 587;0,004381377
|
||||
398;learn;4 752 159;0,00437454
|
||||
399;current;4 748 143;0,004370843
|
||||
400;tell;4 746 025;0,004368893
|
||||
401;general;4 744 247;0,004367256
|
||||
402;price;4 743 379;0,004366457
|
||||
403;list;4 734 687;0,004358456
|
||||
404;type;4 714 676;0,004340035
|
||||
405;building;4 712 636;0,004338157
|
||||
406;industry;4 695 699;0,004322566
|
||||
407;bad;4 684 049;0,004311842
|
||||
408;check;4 671 860;0,004300621
|
||||
409;everyone;4 646 596;0,004277365
|
||||
410;office;4 646 109;0,004276917
|
||||
411;idea;4 637 360;0,004268863
|
||||
412;internet;4 635 926;0,004267543
|
||||
413;news;4 630 193;0,004262265
|
||||
414;million;4 623 209;0,004255836
|
||||
415;video;4 619 484;0,004252407
|
||||
416;among;4 611 742;0,004245281
|
||||
417;air;4 604 530;0,004238642
|
||||
418;especially;4 597 926;0,004232562
|
||||
419;told;4 594 204;0,004229136
|
||||
420;results;4 566 804;0,004203913
|
||||
421;post;4 559 810;0,004197475
|
||||
422;hours;4 551 799;0,004190101
|
||||
423;international;4 537 641;0,004177068
|
||||
424;center;4 536 712;0,004176213
|
||||
425;understand;4 530 050;0,00417008
|
||||
426;above;4 524 889;0,004165329
|
||||
427;addition;4 510 786;0,004152347
|
||||
428;major;4 509 936;0,004151564
|
||||
429;education;4 495 164;0,004137966
|
||||
430;white;4 492 763;0,004135756
|
||||
431;particular;4 489 463;0,004132718
|
||||
432;problems;4 480 034;0,004124038
|
||||
433;media;4 465 083;0,004110275
|
||||
434;according;4 459 522;0,004105156
|
||||
435;upon;4 452 694;0,004098871
|
||||
436;page;4 448 650;0,004095148
|
||||
437;continue;4 439 220;0,004086468
|
||||
438;black;4 437 214;0,004084621
|
||||
439;study;4 433 907;0,004081577
|
||||
440;issues;4 433 806;0,004081484
|
||||
441;inside;4 432 348;0,004080142
|
||||
442;technology;4 417 297;0,004066287
|
||||
443;five;4 416 809;0,004065837
|
||||
444;value;4 411 051;0,004060537
|
||||
445;further;4 390 640;0,004041748
|
||||
446;access;4 388 944;0,004040187
|
||||
447;reason;4 385 799;0,004037292
|
||||
448;short;4 376 063;0,004028329
|
||||
449;true;4 370 139;0,004022876
|
||||
450;simple;4 367 494;0,004020441
|
||||
451;natural;4 349 490;0,004003868
|
||||
452;amount;4 308 595;0,003966222
|
||||
453;search;4 279 327;0,00393928
|
||||
454;result;4 268 533;0,003929344
|
||||
455;taken;4 267 439;0,003928337
|
||||
456;main;4 258 350;0,00391997
|
||||
457;heart;4 238 109;0,003901337
|
||||
458;space;4 222 102;0,003886602
|
||||
459;financial;4 219 879;0,003884556
|
||||
460;ago;4 209 067;0,003874603
|
||||
461;trying;4 209 012;0,003874553
|
||||
462;question;4 202 642;0,003868689
|
||||
463;living;4 201 005;0,003867182
|
||||
464;likely;4 200 772;0,003866967
|
||||
465;interest;4 196 629;0,003863154
|
||||
466;various;4 184 421;0,003851916
|
||||
467;insurance;4 172 854;0,003841268
|
||||
468;common;4 157 919;0,00382752
|
||||
469;move;4 152 358;0,0038224
|
||||
470;child;4 148 724;0,003819055
|
||||
471;yourself;4 133 429;0,003804976
|
||||
472;report;4 128 213;0,003800174
|
||||
473;certain;4 120 784;0,003793335
|
||||
474;share;4 114 670;0,003787707
|
||||
475;single;4 106 245;0,003779952
|
||||
476;close;4 102 594;0,003776591
|
||||
477;instead;4 099 791;0,003774011
|
||||
478;bring;4 098 961;0,003773246
|
||||
479;works;4 097 524;0,003771924
|
||||
480;age;4 071 785;0,00374823
|
||||
481;s;4 060 226;0,003737589
|
||||
482;season;4 058 873;0,003736344
|
||||
483;hope;4 054 325;0,003732157
|
||||
484;coming;4 049 900;0,003728084
|
||||
485;areas;4 034 866;0,003714245
|
||||
486;ask;4 032 587;0,003712147
|
||||
487;medical;4 025 434;0,003705562
|
||||
488;low;4 020 452;0,003700976
|
||||
489;games;4 016 899;0,003697705
|
||||
490;turn;4 006 644;0,003688265
|
||||
491;key;4 003 188;0,003685084
|
||||
492;party;3 987 191;0,003670358
|
||||
493;add;3 975 531;0,003659625
|
||||
494;month;3 974 446;0,003658626
|
||||
495;seems;3 971 018;0,00365547
|
||||
496;view;3 963 114;0,003648194
|
||||
497;fun;3 959 538;0,003644902
|
||||
498;matter;3 947 737;0,003634039
|
||||
499;words;3 940 149;0,003627054
|
||||
500;needed;3 937 584;0,003624693
|
||||
|
500
wordlists/german.csv
Normal file
500
wordlists/german.csv
Normal file
|
|
@ -0,0 +1,500 @@
|
|||
1 die 527056159
|
||||
2 und 488790440
|
||||
3 der 477357554
|
||||
4 in 267256433
|
||||
5 das 201678723
|
||||
6 den 179276860
|
||||
7 zu 173178704
|
||||
8 mit 168108251
|
||||
9 ist 162122156
|
||||
10 von 154642196
|
||||
11 für 132395842
|
||||
12 auf 128403397
|
||||
13 nicht 125735767
|
||||
14 es 125610823
|
||||
15 ein 124208637
|
||||
16 im 122763935
|
||||
17 auch 122695302
|
||||
18 sich 118016482
|
||||
19 ich 116607908
|
||||
20 sie 115394863
|
||||
21 eine 110046318
|
||||
22 dem 96322184
|
||||
23 des 95346208
|
||||
24 an 77791338
|
||||
25 als 77440658
|
||||
26 werden 71702746
|
||||
27 bei 71353746
|
||||
28 sind 64124366
|
||||
29 dass 63700459
|
||||
30 so 63657852
|
||||
31 oder 63629965
|
||||
32 wie 63473313
|
||||
33 aus 63325510
|
||||
34 wir 59393319
|
||||
35 aber 58563134
|
||||
36 wird 58544530
|
||||
37 nach 57657400
|
||||
38 man 56423064
|
||||
39 er 56210928
|
||||
40 hat 53998460
|
||||
41 noch 53371073
|
||||
42 einen 50628252
|
||||
43 nur 49240747
|
||||
44 um 48971191
|
||||
45 am 48218904
|
||||
46 einer 47944903
|
||||
47 zum 47209465
|
||||
48 kann 45119388
|
||||
49 einem 43899635
|
||||
50 über 43541965
|
||||
51 war 41900214
|
||||
52 wenn 41074598
|
||||
53 haben 40236664
|
||||
54 durch 38149345
|
||||
55 dann 36722348
|
||||
56 vor 36163025
|
||||
57 zur 35526682
|
||||
58 mehr 34735137
|
||||
59 was 34613950
|
||||
60 diese 32103304
|
||||
61 da 30954655
|
||||
62 können 30257832
|
||||
63 schon 29758652
|
||||
64 sein 29687214
|
||||
65 bis 28762499
|
||||
66 wurde 27853955
|
||||
67 hier 26999088
|
||||
68 sehr 26746879
|
||||
69 wieder 26713329
|
||||
70 immer 25811967
|
||||
71 uns 24311040
|
||||
72 ihr 23691425
|
||||
73 mir 23423114
|
||||
74 mal 22160353
|
||||
75 ihre 22074171
|
||||
76 alle 22039875
|
||||
77 dieser 22011946
|
||||
78 doch 21744708
|
||||
79 habe 21635781
|
||||
80 gibt 21453915
|
||||
81 vom 21352952
|
||||
82 mich 20689740
|
||||
83 unter 20676744
|
||||
84 du 18595011
|
||||
85 ja 18540785
|
||||
86 keine 17319218
|
||||
87 gut 16918288
|
||||
88 damit 16734983
|
||||
89 hatte 16295008
|
||||
90 ganz 16260980
|
||||
91 beim 16047323
|
||||
92 eines 16033620
|
||||
93 denn 15985544
|
||||
94 muss 15968164
|
||||
95 nun 15823717
|
||||
96 Zeit 15689672
|
||||
97 seine 15578168
|
||||
98 jetzt 14970087
|
||||
99 etwas 14901416
|
||||
100 gegen 14795923
|
||||
101 dabei 14637758
|
||||
102 also 14541743
|
||||
103 viel 14403221
|
||||
104 diesem 14362931
|
||||
105 ab 13958579
|
||||
106 viele 13878923
|
||||
107 zwei 13697187
|
||||
108 anderen 13692064
|
||||
109 ohne 13430780
|
||||
110 selbst 13401697
|
||||
111 alles 13112041
|
||||
112 sowie 13092545
|
||||
113 Menschen 13090468
|
||||
114 waren 12931527
|
||||
115 seit 12877565
|
||||
116 einfach 12791885
|
||||
117 geht 12768629
|
||||
118 Jahr 12762818
|
||||
119 dieses 12733271
|
||||
120 heute 12672297
|
||||
121 sondern 12288226
|
||||
122 neue 12169030
|
||||
123 wurden 12051708
|
||||
124 Jahren 11995093
|
||||
125 bereits 11928294
|
||||
126 machen 11875703
|
||||
127 sollte 11768102
|
||||
128 ob 11724263
|
||||
129 weil 11468462
|
||||
130 soll 11402924
|
||||
131 ihrer 11390090
|
||||
132 ihren 11307168
|
||||
133 dazu 11226163
|
||||
134 dies 11185546
|
||||
135 ersten 10906924
|
||||
136 zwischen 10844297
|
||||
137 ihnen 10684754
|
||||
138 bin 10624857
|
||||
139 lassen 10584014
|
||||
140 andere 10512207
|
||||
141 meine 10458805
|
||||
142 seiner 10314961
|
||||
143 Jahre 9874593
|
||||
144 unsere 9823401
|
||||
145 leben 9806794
|
||||
146 wer 9717290
|
||||
147 neuen 9617311
|
||||
148 weiter 9587805
|
||||
149 kommt 9579839
|
||||
150 müssen 9516884
|
||||
151 einmal 9437305
|
||||
152 wo 9420775
|
||||
153 dort 9365552
|
||||
154 erst 9338828
|
||||
155 kein 9291700
|
||||
156 natürlich 9225046
|
||||
157 ihn 9180662
|
||||
158 diesen 9028469
|
||||
159 jedoch 8850361
|
||||
160 konnte 8843894
|
||||
161 ihm 8818710
|
||||
162 würde 8764340
|
||||
163 finden 8713911
|
||||
164 drei 8684205
|
||||
165 seinen 8588300
|
||||
166 will 8563540
|
||||
167 nichts 8539745
|
||||
168 uhr 8492900
|
||||
169 macht 8481848
|
||||
170 allem 8294399
|
||||
171 sei 8292991
|
||||
172 Euro 8249839
|
||||
173 wirklich 8121831
|
||||
174 ins 8111413
|
||||
175 steht 8068749
|
||||
176 kommen 7991114
|
||||
177 daß 7955537
|
||||
178 gerade 7893774
|
||||
179 Deutschland 7888129
|
||||
180 während 7886715
|
||||
181 Tag 7826404
|
||||
182 allerdings 7802105
|
||||
183 Kinder 7799247
|
||||
184 dafür 7756085
|
||||
185 wäre 7706939
|
||||
186 welche 7686320
|
||||
187 Ende 7624024
|
||||
188 wohl 7538960
|
||||
189 mein 7521692
|
||||
190 einige 7435008
|
||||
191 Weg 7328048
|
||||
192 jeder 7302780
|
||||
193 letzten 7187526
|
||||
194 sehen 7143925
|
||||
195 allen 7120528
|
||||
196 weitere 7086359
|
||||
197 besonders 7076311
|
||||
198 zwar 6886172
|
||||
199 neben 6868008
|
||||
200 vielen 6867682
|
||||
201 vielleicht 6859242
|
||||
202 beiden 6837223
|
||||
203 Welt 6834127
|
||||
204 ihrem 6732840
|
||||
205 unternehmen 6656828
|
||||
206 wollen 6638675
|
||||
207 liegt 6553546
|
||||
208 Teil 6536149
|
||||
209 seinem 6531944
|
||||
210 stehen 6520717
|
||||
211 bzw. 6452598
|
||||
212 fast 6441440
|
||||
213 Stadt 6379613
|
||||
214 erste 6376661
|
||||
215 euch 6376558
|
||||
216 gar 6309929
|
||||
217 sogar 6306802
|
||||
218 geben 6276523
|
||||
219 deutschen 6180542
|
||||
220 möglich 6177569
|
||||
221 etwa 6170314
|
||||
222 schnell 6167845
|
||||
223 Seite 6165110
|
||||
224 großen 6165055
|
||||
225 Frage 6153626
|
||||
226 denen 6142522
|
||||
227 eigentlich 6141918
|
||||
228 unserer 6139564
|
||||
229 gehen 6123766
|
||||
230 gute 6112390
|
||||
231 Arbeit 6110941
|
||||
232 recht 6057430
|
||||
233 oft 6030186
|
||||
234 genau 5954108
|
||||
235 lange 5952272
|
||||
236 wenig 5923939
|
||||
237 leider 5922393
|
||||
238 hatten 5870555
|
||||
239 davon 5815860
|
||||
240 Thema 5814807
|
||||
241 gemacht 5810657
|
||||
242 Fall 5797491
|
||||
243 eigenen 5785538
|
||||
244 dir 5785125
|
||||
245 könnte 5777259
|
||||
246 unser 5771092
|
||||
247 große 5760049
|
||||
248 zusammen 5739304
|
||||
249 bietet 5690958
|
||||
250 besser 5617018
|
||||
251 Frau 5610299
|
||||
252 möchte 5583884
|
||||
253 darauf 5562045
|
||||
254 gab 5485703
|
||||
255 Spiel 5479154
|
||||
256 rund 5437449
|
||||
257 Art 5429867
|
||||
258 gleich 5350355
|
||||
259 hätte 5342261
|
||||
260 Platz 5325552
|
||||
261 Prozent 5316649
|
||||
262 Beispiel 5308956
|
||||
263 sicher 5275855
|
||||
264 daher 5268996
|
||||
265 wissen 5240196
|
||||
266 kleinen 5240002
|
||||
267 paar 5147022
|
||||
268 de 5141460
|
||||
269 meiner 5139728
|
||||
270 kam 5127160
|
||||
271 findet 5113448
|
||||
272 sagen 5110118
|
||||
273 gerne 5084099
|
||||
274 deshalb 5074246
|
||||
275 zurück 5069281
|
||||
276 jeden 5060089
|
||||
277 sollten 5059742
|
||||
278 statt 5058266
|
||||
279 lässt 5006302
|
||||
280 Liebe 5001629
|
||||
281 richtig 4974021
|
||||
282 kleine 4947770
|
||||
283 stellen 4938838
|
||||
284 fragen 4924943
|
||||
285 deren 4904709
|
||||
286 worden 4851329
|
||||
287 weiß 4845456
|
||||
288 sollen 4844176
|
||||
289 tun 4831023
|
||||
290 erhalten 4797684
|
||||
291 wegen 4793222
|
||||
292 eher 4787445
|
||||
293 weniger 4762414
|
||||
294 direkt 4749813
|
||||
295 ebenfalls 4725803
|
||||
296 darüber 4718361
|
||||
297 ging 4699787
|
||||
298 Informationen 4683845
|
||||
299 nie 4647720
|
||||
300 Bereich 4645765
|
||||
301 später 4621618
|
||||
302 ganze 4618437
|
||||
303 dich 4605431
|
||||
304 hin 4596921
|
||||
305 warum 4592933
|
||||
306 hab 4542170
|
||||
307 vier 4526227
|
||||
308 nehmen 4523561
|
||||
309 sieht 4477392
|
||||
310 geschichte 4469021
|
||||
311 je 4465469
|
||||
312 Kunden 4458804
|
||||
313 keinen 4430578
|
||||
314 werde 4416735
|
||||
315 aller 4316850
|
||||
316 kurz 4306376
|
||||
317 Geld 4283525
|
||||
318 bekommen 4272226
|
||||
319 gilt 4233736
|
||||
320 Möglichkeit 4228599
|
||||
321 nächsten 4218301
|
||||
322 deutlich 4209947
|
||||
323 außerdem 4209527
|
||||
324 Frauen 4185904
|
||||
325 arbeiten 4174685
|
||||
326 bleibt 4169224
|
||||
327 klar 4155264
|
||||
328 kaum 4143307
|
||||
329 eben 4142236
|
||||
330 meinen 4141756
|
||||
331 wollte 4128276
|
||||
332 Ziel 4110884
|
||||
333 Berlin 4105881
|
||||
334 zeigt 4077553
|
||||
335 Mann 4038691
|
||||
336 Buch 4016717
|
||||
337 rahmen 4007146
|
||||
338 konnten 3999445
|
||||
339 besten 3981715
|
||||
340 bitte 3968161
|
||||
341 somit 3965725
|
||||
342 stand 3958287
|
||||
343 sagt 3935300
|
||||
344 Bild 3902028
|
||||
345 darf 3898718
|
||||
346 Entwicklung 3879463
|
||||
347 gehört 3873753
|
||||
348 pro 3867803
|
||||
349 zudem 3867229
|
||||
350 wichtig 3864527
|
||||
351 Internet 3860873
|
||||
352 Wasser 3811133
|
||||
353 spielen 3800809
|
||||
354 bieten 3795573
|
||||
355 Tage 3768168
|
||||
356 neu 3763576
|
||||
357 Woche 3762257
|
||||
358 Minuten 3760781
|
||||
359 unseren 3736115
|
||||
360 stellt 3730795
|
||||
361 Verfügung 3725323
|
||||
362 bisher 3721338
|
||||
363 deutsche 3716681
|
||||
364 verschiedenen 3711943
|
||||
365 Land 3681785
|
||||
366 guten 3680422
|
||||
367 Ort 3653903
|
||||
368 schön 3647269
|
||||
369 gegenüber 3612065
|
||||
370 solche 3611414
|
||||
371 kosten 3610902
|
||||
372 Form 3608743
|
||||
373 weit 3598391
|
||||
374 weiteren 3578989
|
||||
375 Wochen 3568594
|
||||
376 zweiten 3564553
|
||||
377 musste 3561457
|
||||
378 Haus 3560872
|
||||
379 dank 3560744
|
||||
380 eigene 3553191
|
||||
381 meisten 3551285
|
||||
382 bleiben 3544219
|
||||
383 insgesamt 3535418
|
||||
384 Grund 3513498
|
||||
385 Problem 3504705
|
||||
386 besteht 3503102
|
||||
387 sagte 3501365
|
||||
388 jede 3501343
|
||||
389 nachdem 3490781
|
||||
390 ebenso 3473497
|
||||
391 beide 3457619
|
||||
392 anders 3451372
|
||||
393 danach 3447805
|
||||
394 Familie 3441632
|
||||
395 meinem 3440222
|
||||
396 alten 3412261
|
||||
397 bringen 3412252
|
||||
398 daran 3406610
|
||||
399 Leute 3391322
|
||||
400 aufgrund 3387492
|
||||
401 Eltern 3383464
|
||||
402 gemeinsam 3372745
|
||||
403 sofort 3366928
|
||||
404 dessen 3338812
|
||||
405 halten 3333333
|
||||
406 nutzen 3324427
|
||||
407 Hand 3323297
|
||||
408 lesen 3322683
|
||||
409 leicht 3319687
|
||||
410 anfang 3317815
|
||||
411 jedem 3302711
|
||||
412 bekannt 3298956
|
||||
413 Hilfe 3274423
|
||||
414 Blick 3272376
|
||||
415 schließlich 3262337
|
||||
416 dadurch 3255202
|
||||
417 Zukunft 3250708
|
||||
418 Namen 3250681
|
||||
419 sowohl 3246072
|
||||
420 überhaupt 3245872
|
||||
421 unserem 3243204
|
||||
422 zunächst 3218197
|
||||
423 Stunden 3200450
|
||||
424 hinter 3196322
|
||||
425 hast 3191932
|
||||
426 heißt 3173510
|
||||
427 Stelle 3158189
|
||||
428 finde 3149917
|
||||
429 Einsatz 3138992
|
||||
430 Team 3138169
|
||||
431 trotz 3136772
|
||||
432 Millionen 3131615
|
||||
433 insbesondere 3130207
|
||||
434 gewesen 3126328
|
||||
435 Musik 3125291
|
||||
436 endlich 3109250
|
||||
437 sonst 3104335
|
||||
438 weise 3086830
|
||||
439 per 3078550
|
||||
440 innerhalb 3072146
|
||||
441 Schule 3066170
|
||||
442 fünf 3055384
|
||||
443 zeigen 3050215
|
||||
444 fest 3048058
|
||||
445 ganzen 3047065
|
||||
446 führen 3030668
|
||||
447 führt 3029009
|
||||
448 Artikel 3015689
|
||||
449 stark 3009799
|
||||
450 allein 3003250
|
||||
451 liegen 3002327
|
||||
452 Personen 2997780
|
||||
453 Mai 2990497
|
||||
454 Seiten 2986582
|
||||
455 oben 2974539
|
||||
456 trotzdem 2972379
|
||||
457 Bilder 2972005
|
||||
458 meist 2970604
|
||||
459 Film 2963453
|
||||
460 obwohl 2961509
|
||||
461 Daten 2961118
|
||||
462 Erfolg 2947792
|
||||
463 würden 2928232
|
||||
464 jedes 2917818
|
||||
465 kind 2909912
|
||||
466 verschiedene 2893944
|
||||
467 Probleme 2891222
|
||||
468 neues 2873772
|
||||
469 Gott 2863320
|
||||
470 hinaus 2842870
|
||||
471 Abend 2832415
|
||||
472 mehrere 2827323
|
||||
473 damals 2800081
|
||||
474 Preis 2790545
|
||||
475 lernen 2788349
|
||||
476 beispielsweise 2778719
|
||||
477 einzelnen 2764394
|
||||
478 Gruppe 2752444
|
||||
479 weiterhin 2750627
|
||||
480 deine 2749056
|
||||
481 nämlich 2745046
|
||||
482 fand 2732164
|
||||
483 zumindest 2731639
|
||||
484 Juni 2724050
|
||||
485 Richtung 2722964
|
||||
486 gesagt 2718966
|
||||
487 hallo 2718329
|
||||
488 Gesellschaft 2700958
|
||||
489 mitarbeiter 2696934
|
||||
490 einigen 2696295
|
||||
491 lang 2695926
|
||||
492 schwer 2693690
|
||||
493 hoch 2676379
|
||||
494 Programm 2674749
|
||||
495 Augen 2673973
|
||||
496 welches 2670552
|
||||
497 dennoch 2669196
|
||||
498 geworden 2663559
|
||||
499 Rolle 2658202
|
||||
500 wert 2651066
|
||||
|
Loading…
Reference in a new issue