后台信息--一个php脚本正在输入mysql表。
我可以手动完成,但我希望至少有某种程度的自动化。
1 12342 64 0
2 12347 65 0
3 11364 66 0
4 12281 67 0
5 12342 68 0
6 12347 69 0
7 11314 70 12347
8 2922 71 0
9 2351 72 0
10 2639 73 0
11 698 74 283
12 10852 75 283
13 362 76 109
14 568 77 107
15 12347 78 19
16 9504 79 139
17 12347 80 135
18 12347 81 28
19 12342 82 22
20 12342 83 66
21 12223 84 60
22 12347 85 123
23 12347 86 316
24 12347 87 139
25 12347 88 22274
26 12347 89 84
27 12342 90 84
28 11395 91 3
29 12347 92 1
30 12347 93 0
31 12347 94 0
32 9504 95 0
33 12347 96 0
34 12347 97 0
35 9846 98 0
36 101 99 0
37 0 100 8
38 0 101 0
39 0 102 1
40 0 103 1
41 0 104 0
42 0 105 0
43 0 106 0
44 0 107 0
45 0 108 0
46 0 109 0
47 0 110 0
48 0 111 0
49 0 112 0
50 0 113 0
51 0 114 10
52 0 115 1
53 0 116 1
54 0 117 1
55 0 118 1
56 0 119 1
57 0 120 8
58 0 121 1
59 0 122 1
60 0 123 1
61 0 124 1
62 0 125 3
63 0 126 1第一列和第三列是列号,第二列和第四列是每个列中非空值的总数。
我想把我的表分成一个列,列总是(12347条记录),或者几乎总是存在的。然后,表示模板号和索引字段的列。
然后,我需要分析其余的字段,看看会出现哪些模式来创建额外的表来保存有时存在的数据。
例如,如果列1=“某事”、列2=“某事”等等,那么就会出现80-90列。
然后,我要做的是拥有一个索引号和10列的表。然后主表将有一个模板号和一个索引号。其中模板号可能是要查找的表的名称或名称列表的数字索引。
它花了一个小时的工作,以确定有28列几乎总是在那里,53没有值,其余的在中间。
显示创建表
www_error | CREATE TABLE `www_error` (
`REQUEST_TIME_FLOAT` decimal(15,4) DEFAULT NULL,
`REQUEST_URI` int(11) DEFAULT NULL,
`REDIRECT_UNIQUE_ID` varchar(50) DEFAULT NULL,
`REDIRECT_REQUEST_METHOD` varchar(18) DEFAULT NULL,
`REDIRECT_STATUS` int(11) DEFAULT NULL,
`UNIQUE_ID` varchar(50) DEFAULT NULL,
`HTTP_HOST` varchar(33) DEFAULT NULL,
`HTTP_ACCEPT` varchar(300) DEFAULT NULL,
`HTTP_ACCEPT_LANGUAGE` varchar(120) DEFAULT NULL,
`HTTP_ACCEPT_ENCODING` varchar(60) DEFAULT NULL,
`HTTP_COOKIE` blob,
`HTTP_CONNECTION` varchar(14) DEFAULT NULL,
`HTTP_UPGRADE_INSECURE_REQUESTS` varchar(10) DEFAULT NULL,
`HTTP_CACHE_CONTROL` varchar(50) DEFAULT NULL,
`PATH` int(11) DEFAULT NULL,
`SERVER_SIGNATURE` varchar(300) DEFAULT NULL,
`SERVER_SOFTWARE` varchar(20) DEFAULT NULL,
`SERVER_NAME` varchar(33) DEFAULT NULL,
`SERVER_ADDR` varchar(30) DEFAULT NULL,
`SERVER_PORT` varchar(5) DEFAULT NULL,
`REMOTE_ADDR` bigint(40) DEFAULT NULL,
`DOCUMENT_ROOT` int(11) DEFAULT NULL,
`REQUEST_SCHEME` varchar(20) DEFAULT NULL,
`CONTEXT_PREFIX` int(11) DEFAULT NULL,
`CONTEXT_DOCUMENT_ROOT` int(11) DEFAULT NULL,
`SCRIPT_FILENAME` int(11) DEFAULT NULL,
`REMOTE_PORT` int(11) DEFAULT NULL,
`REDIRECT_URL` blob,
`GATEWAY_INTERFACE` varchar(15) DEFAULT NULL,
`SERVER_PROTOCOL` varchar(170) DEFAULT NULL,
`REQUEST_METHOD` varchar(20) DEFAULT NULL,
`QUERY_STRING` varchar(123) DEFAULT NULL,
`SCRIPT_NAME` int(11) DEFAULT NULL,
`PHP_SELF` int(11) DEFAULT NULL,
`REQUEST_TIME` int(15) unsigned DEFAULT NULL,
`HTTP_PRAGMA` varchar(10) DEFAULT NULL,
`LESSKEY` varchar(16) DEFAULT NULL,
`NNTPSERVER` varchar(4) DEFAULT NULL,
`MANPATH` varchar(59) DEFAULT NULL,
`XDG_SESSION_ID` varchar(1) DEFAULT NULL,
`HOSTNAME` varchar(4) DEFAULT NULL,
`XKEYSYMDB` varchar(28) DEFAULT NULL,
`HOST` varchar(4) DEFAULT NULL,
`TERM` varchar(5) DEFAULT NULL,
`SHELL` varchar(9) DEFAULT NULL,
`PROFILEREAD` varchar(4) DEFAULT NULL,
`HISTSIZE` varchar(4) DEFAULT NULL,
`SSH_CLIENT` varchar(22) DEFAULT NULL,
`MORE` varchar(3) DEFAULT NULL,
`SSH_TTY` varchar(10) DEFAULT NULL,
`USER` varchar(4) DEFAULT NULL,
`LS_COLORS` varchar(879) DEFAULT NULL,
`XNLSPATH` varchar(22) DEFAULT NULL,
`HOSTTYPE` varchar(6) DEFAULT NULL,
`CONFIG_SITE` varchar(40) DEFAULT NULL,
`FROM_HEADER` varchar(20) DEFAULT NULL,
`PAGER` varchar(4) DEFAULT NULL,
`CSHEDIT` varchar(5) DEFAULT NULL,
`XDG_CONFIG_DIRS` varchar(8) DEFAULT NULL,
`LIBGL_DEBUG` varchar(5) DEFAULT NULL,
`MINICOM` varchar(5) DEFAULT NULL,
`MAIL` varchar(14) DEFAULT NULL,
`CPU` varchar(6) DEFAULT NULL,
`INPUTRC` varchar(10) DEFAULT NULL,
`PWD` varchar(24) DEFAULT NULL,
`LANG` varchar(5) DEFAULT NULL,
`PYTHONSTARTUP` varchar(16) DEFAULT NULL,
`GPG_TTY` varchar(10) DEFAULT NULL,
`SHLVL` varchar(1) DEFAULT NULL,
`HTTP_USER_AGENT` bigint(20) DEFAULT NULL,
`SSH_CONNECTION` varchar(34) DEFAULT NULL,
`LESSCLOSE` varchar(18) DEFAULT NULL,
`WINDOWMANAGER` varchar(5) DEFAULT NULL,
`REDIRECT_spider` varchar(300) DEFAULT NULL,
`spider` varchar(300) DEFAULT NULL,
`CONTENT_TYPE` varchar(839) DEFAULT NULL,
`HTTP_REFERER` varchar(109) DEFAULT NULL,
`HTTP_ACCEPT_CHARSET` varchar(75) DEFAULT NULL,
`HTTP_DNT` varchar(10) DEFAULT NULL,
`HTTP_FROM` varchar(300) DEFAULT NULL,
`REDIRECT_HTTPS` varchar(10) DEFAULT NULL,
`REDIRECT_SSL_TLS_SNI` varchar(30) DEFAULT NULL,
`HTTPS` varchar(10) DEFAULT NULL,
`SSL_TLS_SNI` varchar(33) DEFAULT NULL,
`CONTENT_LENGTH` varchar(10) DEFAULT NULL,
`HTTP_KEEP_ALIVE` varchar(10) DEFAULT NULL,
`REDIRECT_QUERY_STRING` varchar(660) DEFAULT NULL,
`SERVER_ADMIN` enum('comments@mail','','comments@ecybernard.com') DEFAULT NULL,
`HTTP_DEPTH` varchar(1) DEFAULT NULL,
`HTTP_TRANSLATE` varchar(1) DEFAULT NULL,
`HTTP_IF_MODIFIED_SINCE` varchar(29) DEFAULT NULL,
`HTTP_REFER` varchar(61) DEFAULT NULL,
`LESS` varchar(8) DEFAULT NULL,
`LESS_ADVANCED_PREPROCESSOR` varchar(2) DEFAULT NULL,
`COLORTERM` varchar(1) DEFAULT NULL,
`MACHTYPE` varchar(17) DEFAULT NULL,
`QT_SYSTEM_DIR` varchar(23) DEFAULT NULL,
`OSTYPE` varchar(5) DEFAULT NULL,
`HOME` varchar(5) DEFAULT NULL,
`HTTP_TE` varchar(18) DEFAULT NULL,
`LC_CTYPE` varchar(11) DEFAULT NULL,
`HTTP_MIME_VERSION` varchar(3) DEFAULT NULL,
`HTTP_X_VERMEER_CONTENT_TYPE` varchar(32) DEFAULT NULL,
`XDG_DATA_DIRS` varchar(10) DEFAULT NULL,
`LS_OPTIONS` varchar(22) DEFAULT NULL,
`XCURSOR_THEME` varchar(3) DEFAULT NULL,
`LOGNAME` varchar(4) DEFAULT NULL,
`DBUS_SESSION_BUS_ADDRESS` varchar(25) DEFAULT NULL,
`XDG_RUNTIME_DIR` varchar(11) DEFAULT NULL,
`G_BROKEN_FILENAMES` varchar(1) DEFAULT NULL,
`CVS_RSH` varchar(3) DEFAULT NULL,
`LESSOPEN` varchar(14) DEFAULT NULL,
`_` varchar(12) DEFAULT NULL,
`HTTP_PROXY_CONNECTION` varchar(10) DEFAULT NULL,
`HTTP_X_FB_BACKGROUND_STATE` varchar(1) DEFAULT NULL,
`HTTP_X_FB_SIM_HNI` varchar(6) DEFAULT NULL,
`HTTP_X_FB_NET_HNI` varchar(6) DEFAULT NULL,
`HTTP_X_FB_HTTP_ENGINE` varchar(5) DEFAULT NULL,
`REDIRECT_ERROR_NOTES` varchar(136) DEFAULT NULL,
`HTTP_REFERRER` varchar(34) DEFAULT NULL,
`HTTP_X_REAL_IP` varchar(12) DEFAULT NULL,
`HTTP_X_FORWARDED_FOR` varchar(12) DEFAULT NULL,
`HTTP_TRUE_CLIENT_IP` varchar(12) DEFAULT NULL,
`HTTP_EXPECT` varchar(12) DEFAULT NULL,
`HTTP_CONTENT_LANGUAGE` varchar(5) DEFAULT NULL,
`HTTP_ORIGIN` varchar(20) DEFAULT NULL,
KEY `REQUEST_URI` (`REQUEST_URI`),
CONSTRAINT `www_error_ibfk_1` FOREIGN KEY (`REQUEST_URI`) REFERENCES `request` (`id`) ON DELETE NO ACTION ON UPDATE NO ACTION
) ENGINE=InnoDB DEFAULT CHARSET=utf8次列,在26列和4000行以及计数行中只有193个唯一值。
HTTP_ACCEPT
HTTP_ACCEPT_LANGUAGE
HTTP_ACCEPT_ENCODING
HTTP_COOKIE
HTTP_UPGRADE_INSECURE_REQUESTS
HTTP_CACHE_CONTROL
SERVER_SIGNATURE
QUERY_STRING
HTTP_PRAGMA
REDIRECT_spider
spider
CONTENT_TYPE
HTTP_REFERER
HTTP_ACCEPT_CHARSET
HTTP_DNT
HTTP_FROM
REDIRECT_HTTPS
REDIRECT_SSL_TLS_SNI
HTTPS
SSL_TLS_SNI
CONTENT_LENGTH
HTTP_KEEP_ALIVE
REDIRECT_QUERY_STRING
HTTP_DEPTH
HTTP_TRANSLATE
HTTP_REFER
HTTP_PROXY_CONNECTION 发布于 2017-10-07 03:49:44
您需要对哪些字段(WHERE)进行筛选?你需要哪些GROUP BY或ORDER BY?制作那些真正的专栏。将其余部分放入JSON字符串。然后,根据所使用的MySQL/MariaDB的哪个版本,将其放入单个TEXT或JSON列中。
作为第一步,您可以将28个始终存在的字段变成真实的列。但我建议你减少这一点。
JSON是开放的;您可以根据需要添加更多内容。你可以省去丢失的字段。
不需要分析,也不需要NULLs。升级时不需要ALTER TABLE .. ADD COLUMN ..。
https://dba.stackexchange.com/questions/187590
复制相似问题