首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >分析126列的模式,以创建相似的表,以避免存储大量的NULLS

问分析126列的模式,以创建相似的表,以避免存储大量的NULLS
EN

Database Administration用户
提问于 2017-10-04 03:06:30
回答 1查看 64关注 0票数 0

后台信息--一个php脚本正在输入mysql表。

我可以手动完成,但我希望至少有某种程度的自动化。

代码语言:javascript
复制
1     12342 64     0
2     12347 65     0
3     11364 66     0
4     12281 67     0
5     12342 68     0
6     12347 69     0
7     11314 70     12347
8     2922  71     0
9     2351  72     0
10     2639 73     0
11     698  74     283
12     10852    75     283
13     362  76     109
14     568  77     107
15     12347    78     19
16     9504 79     139
17     12347    80     135
18     12347    81     28
19     12342    82     22
20     12342    83     66
21     12223    84     60
22     12347    85     123
23     12347    86     316
24     12347    87     139
25     12347    88     22274
26     12347    89     84
27     12342    90     84
28     11395    91     3
29     12347    92     1
30     12347    93     0
31     12347    94     0
32     9504 95     0
33     12347    96     0
34     12347    97     0
35     9846 98     0
36     101  99     0
37     0    100     8
38     0    101     0
39     0    102     1
40     0    103     1
41     0    104     0
42     0    105     0
43     0    106     0
44     0    107     0
45     0    108     0
46     0    109     0
47     0    110     0
48     0    111     0
49     0    112     0
50     0    113     0
51     0    114     10
52     0    115     1
53     0    116     1
54     0    117     1
55     0    118     1
56     0    119     1
57     0    120     8
58     0    121     1
59     0    122     1
60     0    123     1
61     0    124     1
62     0    125     3
63     0    126     1

第一列和第三列是列号,第二列和第四列是每个列中非空值的总数。

我想把我的表分成一个列,列总是(12347条记录),或者几乎总是存在的。然后,表示模板号和索引字段的列。

然后,我需要分析其余的字段,看看会出现哪些模式来创建额外的表来保存有时存在的数据。

例如,如果列1=“某事”、列2=“某事”等等,那么就会出现80-90列。

然后,我要做的是拥有一个索引号和10列的表。然后主表将有一个模板号和一个索引号。其中模板号可能是要查找的表的名称或名称列表的数字索引。

是否有一个自动工具来分析数据,以确定可选/人烟稀少的字段拥有数据所需的条件。

它花了一个小时的工作,以确定有28列几乎总是在那里,53没有值,其余的在中间。

显示创建表

代码语言:javascript
复制
www_error | CREATE TABLE `www_error` (
  `REQUEST_TIME_FLOAT` decimal(15,4) DEFAULT NULL,
  `REQUEST_URI` int(11) DEFAULT NULL,
  `REDIRECT_UNIQUE_ID` varchar(50) DEFAULT NULL,
  `REDIRECT_REQUEST_METHOD` varchar(18) DEFAULT NULL,
  `REDIRECT_STATUS` int(11) DEFAULT NULL,
  `UNIQUE_ID` varchar(50) DEFAULT NULL,
  `HTTP_HOST` varchar(33) DEFAULT NULL,
  `HTTP_ACCEPT` varchar(300) DEFAULT NULL,
  `HTTP_ACCEPT_LANGUAGE` varchar(120) DEFAULT NULL,
  `HTTP_ACCEPT_ENCODING` varchar(60) DEFAULT NULL,
  `HTTP_COOKIE` blob,
  `HTTP_CONNECTION` varchar(14) DEFAULT NULL,
  `HTTP_UPGRADE_INSECURE_REQUESTS` varchar(10) DEFAULT NULL,
  `HTTP_CACHE_CONTROL` varchar(50) DEFAULT NULL,
  `PATH` int(11) DEFAULT NULL,
  `SERVER_SIGNATURE` varchar(300) DEFAULT NULL,
  `SERVER_SOFTWARE` varchar(20) DEFAULT NULL,
  `SERVER_NAME` varchar(33) DEFAULT NULL,
  `SERVER_ADDR` varchar(30) DEFAULT NULL,
  `SERVER_PORT` varchar(5) DEFAULT NULL,
  `REMOTE_ADDR` bigint(40) DEFAULT NULL,
  `DOCUMENT_ROOT` int(11) DEFAULT NULL,
  `REQUEST_SCHEME` varchar(20) DEFAULT NULL,
  `CONTEXT_PREFIX` int(11) DEFAULT NULL,
  `CONTEXT_DOCUMENT_ROOT` int(11) DEFAULT NULL,
  `SCRIPT_FILENAME` int(11) DEFAULT NULL,
  `REMOTE_PORT` int(11) DEFAULT NULL,
  `REDIRECT_URL` blob,
  `GATEWAY_INTERFACE` varchar(15) DEFAULT NULL,
  `SERVER_PROTOCOL` varchar(170) DEFAULT NULL,
  `REQUEST_METHOD` varchar(20) DEFAULT NULL,
  `QUERY_STRING` varchar(123) DEFAULT NULL,
  `SCRIPT_NAME` int(11) DEFAULT NULL,
  `PHP_SELF` int(11) DEFAULT NULL,
  `REQUEST_TIME` int(15) unsigned DEFAULT NULL,
  `HTTP_PRAGMA` varchar(10) DEFAULT NULL,
  `LESSKEY` varchar(16) DEFAULT NULL,
  `NNTPSERVER` varchar(4) DEFAULT NULL,
  `MANPATH` varchar(59) DEFAULT NULL,
  `XDG_SESSION_ID` varchar(1) DEFAULT NULL,
  `HOSTNAME` varchar(4) DEFAULT NULL,
  `XKEYSYMDB` varchar(28) DEFAULT NULL,
  `HOST` varchar(4) DEFAULT NULL,
  `TERM` varchar(5) DEFAULT NULL,
  `SHELL` varchar(9) DEFAULT NULL,
  `PROFILEREAD` varchar(4) DEFAULT NULL,
  `HISTSIZE` varchar(4) DEFAULT NULL,
  `SSH_CLIENT` varchar(22) DEFAULT NULL,
  `MORE` varchar(3) DEFAULT NULL,
  `SSH_TTY` varchar(10) DEFAULT NULL,
  `USER` varchar(4) DEFAULT NULL,
  `LS_COLORS` varchar(879) DEFAULT NULL,
  `XNLSPATH` varchar(22) DEFAULT NULL,
  `HOSTTYPE` varchar(6) DEFAULT NULL,
  `CONFIG_SITE` varchar(40) DEFAULT NULL,
  `FROM_HEADER` varchar(20) DEFAULT NULL,
  `PAGER` varchar(4) DEFAULT NULL,
  `CSHEDIT` varchar(5) DEFAULT NULL,
  `XDG_CONFIG_DIRS` varchar(8) DEFAULT NULL,
  `LIBGL_DEBUG` varchar(5) DEFAULT NULL,
  `MINICOM` varchar(5) DEFAULT NULL,
  `MAIL` varchar(14) DEFAULT NULL,
  `CPU` varchar(6) DEFAULT NULL,
  `INPUTRC` varchar(10) DEFAULT NULL,
  `PWD` varchar(24) DEFAULT NULL,
  `LANG` varchar(5) DEFAULT NULL,
  `PYTHONSTARTUP` varchar(16) DEFAULT NULL,
  `GPG_TTY` varchar(10) DEFAULT NULL,
  `SHLVL` varchar(1) DEFAULT NULL,
  `HTTP_USER_AGENT` bigint(20) DEFAULT NULL,
  `SSH_CONNECTION` varchar(34) DEFAULT NULL,
  `LESSCLOSE` varchar(18) DEFAULT NULL,
  `WINDOWMANAGER` varchar(5) DEFAULT NULL,
  `REDIRECT_spider` varchar(300) DEFAULT NULL,
  `spider` varchar(300) DEFAULT NULL,
  `CONTENT_TYPE` varchar(839) DEFAULT NULL,
  `HTTP_REFERER` varchar(109) DEFAULT NULL,
  `HTTP_ACCEPT_CHARSET` varchar(75) DEFAULT NULL,
  `HTTP_DNT` varchar(10) DEFAULT NULL,
  `HTTP_FROM` varchar(300) DEFAULT NULL,
  `REDIRECT_HTTPS` varchar(10) DEFAULT NULL,
  `REDIRECT_SSL_TLS_SNI` varchar(30) DEFAULT NULL,
  `HTTPS` varchar(10) DEFAULT NULL,
  `SSL_TLS_SNI` varchar(33) DEFAULT NULL,
  `CONTENT_LENGTH` varchar(10) DEFAULT NULL,
  `HTTP_KEEP_ALIVE` varchar(10) DEFAULT NULL,
  `REDIRECT_QUERY_STRING` varchar(660) DEFAULT NULL,
  `SERVER_ADMIN` enum('comments@mail','','comments@ecybernard.com') DEFAULT NULL,
  `HTTP_DEPTH` varchar(1) DEFAULT NULL,
  `HTTP_TRANSLATE` varchar(1) DEFAULT NULL,
  `HTTP_IF_MODIFIED_SINCE` varchar(29) DEFAULT NULL,
  `HTTP_REFER` varchar(61) DEFAULT NULL,
  `LESS` varchar(8) DEFAULT NULL,
  `LESS_ADVANCED_PREPROCESSOR` varchar(2) DEFAULT NULL,
  `COLORTERM` varchar(1) DEFAULT NULL,
  `MACHTYPE` varchar(17) DEFAULT NULL,
  `QT_SYSTEM_DIR` varchar(23) DEFAULT NULL,
  `OSTYPE` varchar(5) DEFAULT NULL,
  `HOME` varchar(5) DEFAULT NULL,
  `HTTP_TE` varchar(18) DEFAULT NULL,
  `LC_CTYPE` varchar(11) DEFAULT NULL,
  `HTTP_MIME_VERSION` varchar(3) DEFAULT NULL,
  `HTTP_X_VERMEER_CONTENT_TYPE` varchar(32) DEFAULT NULL,
  `XDG_DATA_DIRS` varchar(10) DEFAULT NULL,
  `LS_OPTIONS` varchar(22) DEFAULT NULL,
  `XCURSOR_THEME` varchar(3) DEFAULT NULL,
  `LOGNAME` varchar(4) DEFAULT NULL,
  `DBUS_SESSION_BUS_ADDRESS` varchar(25) DEFAULT NULL,
  `XDG_RUNTIME_DIR` varchar(11) DEFAULT NULL,
  `G_BROKEN_FILENAMES` varchar(1) DEFAULT NULL,
  `CVS_RSH` varchar(3) DEFAULT NULL,
  `LESSOPEN` varchar(14) DEFAULT NULL,
  `_` varchar(12) DEFAULT NULL,
  `HTTP_PROXY_CONNECTION` varchar(10) DEFAULT NULL,
  `HTTP_X_FB_BACKGROUND_STATE` varchar(1) DEFAULT NULL,
  `HTTP_X_FB_SIM_HNI` varchar(6) DEFAULT NULL,
  `HTTP_X_FB_NET_HNI` varchar(6) DEFAULT NULL,
  `HTTP_X_FB_HTTP_ENGINE` varchar(5) DEFAULT NULL,
  `REDIRECT_ERROR_NOTES` varchar(136) DEFAULT NULL,
  `HTTP_REFERRER` varchar(34) DEFAULT NULL,
  `HTTP_X_REAL_IP` varchar(12) DEFAULT NULL,
  `HTTP_X_FORWARDED_FOR` varchar(12) DEFAULT NULL,
  `HTTP_TRUE_CLIENT_IP` varchar(12) DEFAULT NULL,
  `HTTP_EXPECT` varchar(12) DEFAULT NULL,
  `HTTP_CONTENT_LANGUAGE` varchar(5) DEFAULT NULL,
  `HTTP_ORIGIN` varchar(20) DEFAULT NULL,
  KEY `REQUEST_URI` (`REQUEST_URI`),
  CONSTRAINT `www_error_ibfk_1` FOREIGN KEY (`REQUEST_URI`) REFERENCES `request` (`id`) ON DELETE NO ACTION ON UPDATE NO ACTION
) ENGINE=InnoDB DEFAULT CHARSET=utf8

次列,在26列和4000行以及计数行中只有193个唯一值。

代码语言:javascript
复制
 HTTP_ACCEPT                    
 HTTP_ACCEPT_LANGUAGE           
 HTTP_ACCEPT_ENCODING           
 HTTP_COOKIE                    
 HTTP_UPGRADE_INSECURE_REQUESTS 
 HTTP_CACHE_CONTROL             
 SERVER_SIGNATURE               
 QUERY_STRING                   
 HTTP_PRAGMA                    
 REDIRECT_spider                
 spider                         
 CONTENT_TYPE                   
 HTTP_REFERER                   
 HTTP_ACCEPT_CHARSET            
 HTTP_DNT                       
 HTTP_FROM                      
 REDIRECT_HTTPS                 
 REDIRECT_SSL_TLS_SNI           
 HTTPS                          
 SSL_TLS_SNI                    
 CONTENT_LENGTH                 
 HTTP_KEEP_ALIVE                
 REDIRECT_QUERY_STRING          
 HTTP_DEPTH                     
 HTTP_TRANSLATE                 
 HTTP_REFER                     
 HTTP_PROXY_CONNECTION   
EN

回答 1

Database Administration用户

发布于 2017-10-07 03:49:44

您需要对哪些字段(WHERE)进行筛选?你需要哪些GROUP BY或ORDER BY?制作那些真正的专栏。将其余部分放入JSON字符串。然后,根据所使用的MySQL/MariaDB的哪个版本,将其放入单个TEXT或JSON列中。

作为第一步,您可以将28个始终存在的字段变成真实的列。但我建议你减少这一点。

JSON是开放的;您可以根据需要添加更多内容。你可以省去丢失的字段。

不需要分析,也不需要NULLs。升级时不需要ALTER TABLE .. ADD COLUMN ..。

另见http://mysql.rjweb.org/doc.php/eav。

票数 0
EN
页面原文内容由Database Administration提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://dba.stackexchange.com/questions/187590

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档