横瓜先生纵论NOSQL与MYSQL实现最热最新查询的分页性能比较_MySQL

【状元】横瓜-PHP教父(601069289) 20:45:59
大家谈谈NOSQL与MYSQL的差距
NOSQL与MYSQL实现最热最新查询的分页性能比较
MYSQL千亿级要优化的,用起来的不敏捷
如果NOSQL一个语句能搞顶,何必用MYSQL
都没有比较过吗
【状元】Fang(1033289127) 20:46:29
nosql 是 sql 的补充啦
【元帅】IT柏拉图(2500875) 20:46:53
mongodb其实查询上的性能并不会比mysql多太大，只是sock有优势，真正的优势是做 mapreduce
【状元】Fang(1033289127) 20:47:21
么看出 mongodb 有啥优势
【元帅】清水煮白菜(554263494) 20:47:45
不过听用过mongodb的说 mapreduce基本无用
【状元】Fang(1033289127) 20:47:49
当作关系数据库用拼不过 mysql , mssql等
【元帅】IT柏拉图(2500875) 20:48:04
mangodb之所以快，因为默认东西都加载到内存，但真正千亿级数据，那来那么多内存，数据量大了，要是单台的，全放内存一样会慢
【状元】Fang(1033289127) 20:48:08
当作非关系 现在已经很多成熟的了
【元帅】清水煮白菜(554263494) 20:48:15
mongodb的最大优势，文档数据非常适合web开发，开发效率远高于Mysql
个人感觉
【状元】广州-kiss-14K立跳(1908510) 20:48:29

【元帅】清水煮白菜(554263494) 20:48:48
我日志分析用的mongodb，比mysql确实方便多了
【状元】广州-kiss-14K立跳(1908510) 20:48:51
个人非常讨厌 mangodg
【状元】Fang(1033289127) 20:49:05
估计就放日志好点
【元帅】清水煮白菜(554263494) 20:49:15
mongodb支持更多的链接。
【状元】Fang(1033289127) 20:49:15
我想了很久 就适合放日志
【元帅】清水煮白菜(554263494) 20:49:19
……。
【状元】Fang(1033289127) 20:49:22

【元帅】木鱼(571398367) 20:49:30
mongodb使用方便
字段任意添加
【状元】广州-kiss-14K立跳(1908510) 20:49:47
不觉得...反而觉得mongodb 非常不方便
【元帅】清水煮白菜(554263494) 20:49:54
非常方便
【状元】Fang(1033289127) 20:49:58
就是
【状元】唐-php(329358447) 20:49:59
日志分析有什么用
【元帅】清水煮白菜(554263494) 20:50:00
扩展性也好
【元帅】木鱼(571398367) 20:50:11
容易配置
【状元】广州-kiss-14K立跳(1908510) 20:50:14
如果数据库要经常任意改变内容...那还需要设计数据库么
【元帅】IT柏拉图(2500875) 20:50:35
字段任意添加呵呵，看起来虽好，实际项目中，会让你抓狂的
【元帅】清水煮白菜(554263494) 20:50:42
mongodb比mysql更需要设计
【状元】横瓜-PHP教父(601069289) 20:50:42
13亿人的记录,分成32个省,要求按照省查询各个省的人,要求可以翻页到所有页,例如第100万页
【状元】广州-kiss-14K立跳(1908510) 20:50:49
写进去的数据任意变化...用的地方谁知道变成什么样了
【状元】横瓜-PHP教父(601069289) 20:51:13
13亿人的记录,分成32个省,要求按照省查询各个省的人,要求可以翻页到所有页,例如安徽省所有人员的第100万页
【元帅】木鱼(571398367) 20:51:15
我实际项目已经使用了，挺好用
【元帅】清水煮白菜(554263494) 20:51:16
越是自由的东西，越需要设计
【状元】广州-kiss-14K立跳(1908510) 20:51:23
反正我是觉得mongodb只适合放日志
【元帅】清水煮白菜(554263494) 20:51:24
我也用了。比mysql方便多了
【元帅】IT柏拉图(2500875) 20:51:37
人这种还好，有固定id
【元帅】清水煮白菜(554263494) 20:51:51
读写性能，也比mysql快4－5倍
【元帅】IT柏拉图(2500875) 20:51:55
死人的id都可以存在，但死的数据删除了就不好处理
【元帅】清水煮白菜(554263494) 20:52:30
如果不用安全写入，用存在更新，不存在插入的方式，写数据，比mysql快10倍
【元帅】唯一(357029887) 20:52:30

【状元】横瓜-PHP教父(601069289) 20:52:41
13亿人的记录,分成32个省,要求按照省查询各个省的人,要求可以翻页到所有页,例如翻到安徽省所有人员的第100万页,
【元帅】木鱼(571398367) 20:53:37
用了mongodb，我就把mysql抛弃了
【元帅】清水煮白菜(554263494) 20:54:02
你不写数据都有会强制同步到硬盘么？
不强制，我发现，丢数据的概率相当大
【元帅】深圳-The Best-(554983108) 20:54:19
断电肿么办
【元帅】奋斗(67063492) 20:54:27
。。
【元帅】木鱼(571398367) 20:54:31
没发现过丢数据
【元帅】奋斗(67063492) 20:54:39
停电最容易坏的的是mysql
【元帅】IT柏拉图(2500875) 20:54:40
人口数据很容易呀，把人口数据分成两个表，一个全国数据表，一个省份表就行了，但至于后面还要不要切分就看你的需求了
【元帅】木鱼(571398367) 20:54:41
阿里云不会断电
【元帅】IT柏拉图(2500875) 20:54:59
人口数据的id是固定不变的，都是1...13亿，是永远不会删除的
【元帅】清水煮白菜(554263494) 20:55:01
使用了强制同步到硬盘么？
【元帅】深圳-The Best-(554983108) 20:55:13
等断电了，你岂不是要跳楼了
【元帅】奋斗(67063492) 20:55:14

【元帅】挨踢精鹰(1452369892) 20:55:44
不能备份吗
【元帅】木鱼(571398367) 20:55:53
不清楚，我不知道在哪配置强制同步
我都是使用默认配置的
【元帅】IT柏拉图(2500875) 20:56:06
如果50条一页，第一页就是 id 1-50的，第100万页就是 5000001 - 5000050 的，这有什么难的
【元帅】奋斗(67063492) 20:56:23
就是啊
【状元】横瓜-PHP教父(601069289) 20:56:43
要求用一个表
【元帅】清水煮白菜(554263494) 20:56:42
他以为我们要用limit
唉
【元帅】IT柏拉图(2500875) 20:56:55
为什么一定要用一个表呢？
【元帅】奋斗(67063492) 20:56:59
横瓜想表达什么
【元帅】IT柏拉图(2500875) 20:57:01
操....
【元帅】挨踢精鹰(1452369892) 20:57:07
操蛋
【元帅】清水煮白菜(554263494) 20:57:12
操蛋
【元帅】挨踢精鹰(1452369892) 20:57:16
为什么只能用一个表
【状元】广州-kiss-14K立跳(1908510) 20:57:33
我们公司放了一批访问数据到mongo里...
每次处理数据都有人在骂
【元帅】奋斗(67063492) 20:57:43
13亿人的记录,分成32个省,要求按照省查询各个省的人,要求可以翻页到所有页,例如翻到安徽省所有人员的第100万页,
【状元】横瓜-PHP教父(601069289) 20:57:44
方便同步
【元帅】IT柏拉图(2500875) 20:57:50
显示出你高富帅还是脑残，用一个表也不是没办法，id前面做一下省份标识，不就行了
【哑巴】|.S.N.|(15996204) 20:57:52
扯了，排序的话第100000万条后就会有问题了
【元帅】清水煮白菜(554263494) 20:57:53
其实人家只是刷存在感的，你们也太配合了
【元帅】木鱼(571398367) 20:57:55
不是要求不能用电脑吗？
【元帅】奋斗(67063492) 20:58:25
、
【状元】横瓜-PHP教父(601069289) 20:58:42
要求是ID递增
【元帅】深圳-The Best-(554983108) 20:58:42
不要怀疑瓜瓜
【元帅】清水煮白菜(554263494) 20:58:42
要不要用刀在硬盘上刻数据呀。
【元帅】奋斗(67063492) 20:58:49
一个表按省份分区
【元帅】深圳-The Best-(554983108) 20:58:52
瓜瓜是牛X的
【状元】横瓜-PHP教父(601069289) 20:58:58
连续递增
【元帅】深圳-The Best-(554983108) 20:59:05
一般的人做不到他这样
【元帅】奋斗(67063492) 20:59:09
是递增
【状元】横瓜-PHP教父(601069289) 20:59:17
下一个不一定哪个省出生小孩呢
【元帅】IT柏拉图(2500875) 20:59:31
你是否递增和做省份标识有什么关系呢
【元帅】挨踢精鹰(1452369892) 20:59:35
能给你同步就行了
【元帅】木鱼(571398367) 20:59:36
要求不能用电脑
【元帅】挨踢精鹰(1452369892) 20:59:41
你还要求这么多
【元帅】奋斗(67063492) 20:59:42
按省份分区就行了嘛
【元帅】深圳-The Best-(554983108) 20:59:46
一个省，用一个索引
【元帅】挨踢精鹰(1452369892) 20:59:47
不是操蛋是什么
【哑巴】|.S.N.|(15996204) 20:59:47
100万条数据，如果要排序分页，翻到几万页会有问题的
【元帅】奋斗(67063492) 20:59:55
没问题
【元帅】清水煮白菜(554263494) 20:59:58
http://www.ideawu.net/blog/archives/765.html/comment-page-1
【元帅】木鱼(571398367) 21:00:02
要求只能用圆珠笔录入数据
【元帅】IT柏拉图(2500875) 21:00:04
两个标识，一个是全局的，就是你说的默认递增，一个是省份的，每省份开一个不同的递增，不也一样
【元帅】挨踢精鹰(1452369892) 21:00:07
个个客户都像你这样要求人家搞毛啊
【元帅】清水煮白菜(554263494) 21:00:10
ssdb有人用过没
求真相
【状元】横瓜-PHP教父(601069289) 21:00:35
图图,但是要分男女呢
【哑巴】|.S.N.|(15996204) 21:00:35
你见过要翻几万页的么，那不是数据库，是google
【元帅】清水煮白菜(554263494) 21:00:35
图图别较真，人家是刷存在感的
【状元】横瓜-PHP教父(601069289) 21:00:50
要分出生年月的
都作成ID?
所以啊,ID不能那样设计
【元帅】奋斗(67063492) 21:01:21
男女分区，年份分区
【土豪】AB(416435562) 21:01:26
横瓜哥 你这是在求解决方案吗？？？
【元帅】奋斗(67063492) 21:01:30

【元帅】清水煮白菜(554263494) 21:01:37
人家是刷存在感的
【元帅】挨踢精鹰(1452369892) 21:01:43
他在扯淡
【元帅】深圳-The Best-(554983108) 21:01:44
横瓜在讨论问题
【元帅】IT柏拉图(2500875) 21:01:44
再复杂的条件，就是综合查询了，你觉得综合查询，有必要翻这么多页？
【状元】横瓜-PHP教父(601069289) 21:02:01
要的
【元帅】IT柏拉图(2500875) 21:02:04
如果条件都是能固定，增加多几个字段有时不可？
【元帅】老陈(493258372) 21:02:23
翻页很多就要分解了来处理
【元帅】木鱼(571398367) 21:02:29
redis只有1000多个连接
【元帅】奋斗(67063492) 21:02:35
如何分解法
2
【元帅】IT柏拉图(2500875) 21:02:41
如果你直接用关系字查询那种完全模糊的，就没法弄了
【元帅】老陈(493258372) 21:02:43
但搞那么多分页实在不是给人看的
【元帅】深圳-The Best-(554983108) 21:02:49
分解了来处理？求讲解
【元帅】IT柏拉图(2500875) 21:02:52
此外日期是可以改的
【元帅】老陈(493258372) 21:03:07
那是给采集来采的
【元帅】深圳-The Best-(554983108) 21:03:12
求老陈讲解
【元帅】老陈(493258372) 21:03:22
具体的问瓜瓜
【元帅】奋斗(67063492) 21:03:23

【元帅】深圳-The Best-(554983108) 21:03:35
瓜瓜说一下
【元帅】奋斗(67063492) 21:03:42
求一份13亿的数据
【元帅】挨踢精鹰(1452369892) 21:03:52
擦
【元帅】深圳-The Best-(554983108) 21:03:56
自己生成一下
【元帅】老陈(493258372) 21:04:04
这个很早我是做过这种分页,但后来还是限制了最多分页数
【元帅】奋斗(67063492) 21:04:08

【元帅】IT柏拉图(2500875) 21:04:16
瓜瓜在研究它的千亿级cms，只有这东西才可能有生成一百万页给鬼看的需求
【哑巴】".S.N.|(15996204) 21:04:18
其实是需求扯淡，你见过银行让你一次现实所以历史订单吗，都要选着日期
【元帅】挨踢精鹰(1452369892) 21:04:19
给统计局一个权限让他们录入得了
【元帅】IT柏拉图(2500875) 21:04:25
百度都最多只能看20页
【元帅】老陈(493258372) 21:04:40
数据大,在复合模糊查询,在提升也是要死人的
【元帅】奋斗(67063492) 21:04:57
瓜瓜不是不做哪个cms了嘛
【元帅】挨踢精鹰(1452369892) 21:05:19
不用模糊查询啊
【元帅】老陈(493258372) 21:05:19
瓜瓜做分腿的
不做分页
【元帅】挨踢精鹰(1452369892) 21:05:30
用傻瓜查询
【状元】横瓜-PHP教父(601069289) 21:08:29
我已经实现了类似千亿之内这样的查询,例如安徽的最新出生的小孩排第一
【元帅】深圳-The Best-(554983108) 21:08:50

【元帅】挨踢精鹰(1452369892) 21:09:05
上线没有
【元帅】老陈(493258372) 21:09:12
快来膜拜啊
【状元】横瓜-PHP教父(601069289) 21:09:16
依据年龄排序翻到100万页
【元帅】深圳-The Best-(554983108) 21:09:17
横瓜牛X
【