博客园_我帅故我在

Ubuntu10下MySQL搭建Amoeba_分片

2012-04-12T10:49:00Z

一、背景知识

"Shard" 这个词英文的意思是"碎片"，而作为数据库相关的技术用语，"Sharding" 姑且称之为"分片"。

Sharding 不是一个某个特定数据库软件附属的功能，而是在具体技术细节之上的抽象处理，是水平扩展(Scale Out，亦或横向扩展、向外扩展)的解决方案，其主要目的是为突破单节点数据库服务器的 I/O 能力限制，解决数据库扩展性问题。

Sharding 基本上是针对开源数据库的扩展性解决方案，很少有听说商业数据库进行 Sharding 的。目前业界的趋势基本上是拥抱 Scale Out，逐渐从 Scale Up 中解放出来。

数据 Sharding 的策略与分区表的方式有很多类似的地方，有基于表、ID 范围、数据产生的时间或是SOA 下理念下的基于服务等众多方式可选择。而与传统的表分区方式不同的是，Sharding 策略和业务结合的更为紧密，成功的 Sharding 必须对自己的业务足够熟悉，进行众多可行性分析的基础上进行，"业务逻辑驱动"。

二、配置过程

(一) 测试环境

Amoeba for MySQL：192.168.1.147

server1：192.168.1.25

server2：192.168.1.30

server3：192.168.1.35

数据库为：DBA_DB，帐号密码统一为：test/123456

(二) 前期准备

1. 验证Amoeba是否安装成功的命令（如下图）：/usr/local/amoeba/bin/amoeba

（图1：安装成功）

2. 启动amoeba：/usr/local/amoeba/bin/amoeba start

（图2：启动成功）

(三) 分片配置

1. 修改amoeba.xml，设置登陆amoeba的帐号密码。

<property name="user">testuser</property>

<property name="password">password</property>

2. 测试使用上面帐号是否正常登陆，如果出现上面的图2界面说明设置的帐号密码成功。

#mysql -u testuser -p -h 192.168.1.147 -P 8066

3. 修改dbServers.xml，设置数据库、登陆MySQL的帐号和密码。

4. 修改dbServers.xml，设置数据库服务器的IP地址和服务器别名。

</factoryConfig>

</dbServer>

</factoryConfig>

</dbServer>

</factoryConfig>

</dbServer>

5. 修改rule.xml，设置分片规则，设置需要分片的表、数据库名、分片的服务器、分片规则：对ID mod 3，分别分片到server1、server2、server3。

<expression><![CDATA[

var division = ID%3;

case division when 1 then 'server1';

when 2 then 'server2';

when 0 then 'server3';

end case;

]]></expression>

</rule>

6. 重新启动amoeba，如果出现上面的图2界面说明设置成功。

#mysql -u testuser -p -h 192.168.1.147 -P 8066

7. 如果你已经使用终端登陆了amoeba，那么你需要重启打开终端；如果你使用SQLyog的工具登陆了amoeba，那么你需要关闭链接，再重新链接amoeba；

(四) 验证sharding

1. 插入下面的测试数据

INSERT INTO store(Id,NAME,Scheme,Destination,AddOn)

VALUES (1,'viajar',2,'我的博客',NOW());

INSERT INTO store(Id,NAME,Scheme,Destination,AddOn)

VALUES (2,'viajar',2,'我的博客',NOW());

INSERT INTO store(Id,NAME,Scheme,Destination,AddOn)

VALUES (3,'viajar',2,'我的博客',NOW());

INSERT INTO store(Id,NAME,Scheme,Destination,AddOn)

VALUES (4,'viajar',2,'我的博客',NOW());

2. 登陆server1、server2、server3、amoeba分别验证数据的分布。

（server1）

（server2）

（server3）

（amoeba）

三、注意事项

1. 验证Amoeba是否安装成功的命令：/usr/local/amoeba/bin/amoeba 要全部输入，如果是进入到bin执行amoeba是不行的。

2. #mysql -u root -p -h 127.0.0.1 -P 8066其中root和密码表示的是在amoeba.xml中配置的帐号密码。

3. 当tableRule中没有任何规则能命中该表，将操作tableRule配置的writePools（若没有配置则使用defaultPools）属性中的数据库节点；

4. 当某个表在任何tableRules都没有被路由到，将操作queryRouter配置的writePools（若没有配置则使用defaultPools）属性中的数据库节点。

5. Amoeba的垂直切分的意思是对表进行切分的意思。基于Amoeba的数据垂直切分

四、错误与疑问

1. MySQL的表分区是怎么搭建的？它存在哪些优缺点？

2. 在实际应用的分片策略，例如，博主ID：使用AuthorID作为分片依据列；分类ID：使用ClassId作为分片依据列。这些ID都是UUID值，先对这个ID进行hash取key，再对key取模，再进行分片，Amoeba for MySQL能支持到这样的嘛？

3. MySQL能不能返回HASH值？执行select hash('mypass');有错。

4. Amoeba对联表查询支持？性能如何？

5. 在做分片的时候出现了一个低级错误，那就是在Insert的时候使用UUID();在Amoeba分片规则中使用了3个ID规则，导致每个数据库都进数据了，因为规则无法判断到这个ID是什么，只能到了数据库执行之后才知道，这跟调用存储过程是一样的道理。

五、参考文献

Amoeba使用指南

通过Amoeba对一个数据库实例进行操作

通过Amoeba对数据进行简单的分片

Ubuntu10下MySQL搭建Amoeba_基础

2012-04-09T12:00:00Z

一、背景知识

Amoeba 是阿里巴巴的技术陈思儒开始的一个开源项目，它是分布式数据库Proxy解决方案。Amoeba框架是基于Java SE 1.5开发的，在安装Amoeba之前需要先安装Java环境。经验证，Amoeba在Java SE 1.5和Java SE 1.6上能正常运行。

(一) Amoeba包括3个产品：Amoeba From Sourceforge

1. Amoeba for MySQL是Amoeba开源社区发布的一款MySQL数据库中间层代理软件，致力于数据库的切分整合、负载均衡、高可用性等；

2. Amoeba for Aladdin支持所有提供jdbc驱动的数据库(Oracle、SQL Server、MySQL等) ；

3. Amoeba for MongoDB支持NoSQL数据库MongoDB；

(二) 其他的MySQL分布式数据库系统的中间层软件还有MySQL Proxy，HiveDB。Amoeba for MySQL相较于其他软件有以下优势：

1. 基于XML的配置文件，用SQLJEP语法编写规则，配置比较简单(MySQL Proxy需要编写大量Lua脚本才能实现)，有比较完善的使用帮助文档

2. 同时支持水平切分和垂直切分(HiveDB只支持水平切分)

3. 目前的版本已经比较稳定，已有很多企业用于生产环境

4. 支持HA机制、支持活动连接数均衡、支持权重配置

相较于其他软件有以下劣势：

1. Amoeba for MySQL不支持事务：其实，分布式事务的问题是所有数据库中间层普遍面临的问题，不是Amoeba独有的问题；目前通常的解决办法是，将事务拆分成几个单数据库内的小事务，由应用程序进行总控。

2. Amoeba for MySQL不支持跨节点JOIN：同样，这个问题也不是Amoeba独有的，通常的解决办法是由应用程序先从一个节点取出数据，然后由应用程序去其他节点JOIN。

3. Amoeba for MySQL不支持跨节点排序：这个问题也不是Ameoba独有的，通常的解决办法是由应用程序从多个节点中取出数据，然后进行排序。

4. Amoeba for MySQL不适合返回大量(超过10万)数据的查询。

5. Amoeba for MySQL不支持分库分表，只能做到分数据库实例。

二、配置过程

下面是Amoeba for MySQL的基础搭建（不包含读写分离和数据分片）：

(一) 下载JDK：jdk-6u30-linux-i586.bin（解压版安装）

(二) 安装和验证JDK：Ubuntu10下安装JAVA JDK

(三) 下载Amoeba for MySQL：amoeba-mysql-binary-2.1.0-RC5.tar.gz

(四) 安装和验证Amoeba for MySQL：

1. 拷贝文件到/tmp目录：E:\>pscp.exe amoeba-mysql-binary-2.1.0-RC5.tar.gz chen@192.168.1.147:/tmp/

2. 在/usr/local创建文件夹：#mkdir amoeba

3. 进入文件夹：#cd amoeba

4. 解压文件到/usr/local/amoeba：

#tar -zxvf /tmp/amoeba-mysql-binary-2.1.0-RC5.tar.gz

5. 验证Amoeba是否安装成功的命令（如下图）：/usr/local/amoeba/bin/amoeba

（图1：安装成功）

6. 启动amoeba：/usr/local/amoeba/bin/amoeba start

（图2：启动成功）

7. 修改/usr/local/amoeba/conf/dbServers.xml文件：（需要根据自己的情况）

<property name="schema">mysql</property>

<property name="user">gaizai</property>

8. 只要上面的参数对了，amoeba.xml是不需要修改的，直接输入下面的命令，密码为空（默认为空），直接回车就可以进入了：

#mysql -u root -p -h 192.168.1.147 -P 8066

或者#mysql -u root -p -h 127.0.0.1 -P 8066

如果开启的amoeba的终端没有报错，恭喜你，搭建amoeba for mysql成功了！！下面是对配置的一些不错测试：

9. 使用SQLyog进行测试：

（图3：测试空密码）

10. 可以尝试修改amoeba.xml：

<property name="user">testuser</property>

<property name="password">password</property>

登陆应该改为：#mysql -u testuser -p -h 192.168.1.147 -P 8066，密码为password，这样一样能登陆成功。

11. 可以尝试使用SQLyog进行登陆

（图4：测试帐号密码）

三、注意事项

(一) 验证Amoeba是否安装成功的命令：/usr/local/amoeba/bin/amoeba 要全部输入，如果是进入到bin执行amoeba是不行的。

(二) #mysql -u root -p -h 127.0.0.1 -P 8066其中root和密码表示的是在amoeba.xml中配置的帐号密码。

(三) Amoeba主要配置文件：#/usr/local/amoeba/conf/*.xml

1. amoeba.xml用来配置Amoeba服务的基本参数，如Amoeba主机地址、端口、认证方式、用于连接的用户名、密码、线程数、超时时间、其他配置文件的位置等。

2. dbServers.xml用来存储和配置Amoeba所代理的数据库服务器的信息，如:主机IP、端口、用户名、密码等。

3. rule.xml用来配置切分规则。

4. ruleFunctionMap.xml用来配置切分规则中使用的用户自定义函数的处理方法。

5. functionMap.xml用来配置数据库函数的处理方法，Amoeba将使用该配置文件中的方法解析数据库函数。

6. access_list.conf用来授权或禁止某些服务器IP访问Amoeba。

7. log4j.xml，用来配置Amoeba输出日志的级别和方式。

(四) dbServers.xml中的loadbalance标签选项的3个定义：

1=ROUNDROBIN round robin

2=WEIGHTBASED weight based

3=HA high availability

四、错误与疑问

1. amoeba start之后，再用终端连接上mysql，出现了下面的错误：

（图5：错误信息）

这个错误是dbServers.xml中配置的mysql的连接存在问题，可以先使用里面的帐号测试登陆，进一步排除问题。

2. 下面两个图是启动amoeba的不同界面，为什么会有区别呢？用于调试：

（图6：有及时信息输出）

（图7：回到命令行了）

3. Amoeba的启动用户，需要是root嘛？

4. 如果你修改了配置，不要以为重启amoeba就可以了，如果你还是使用之前遗留的链接到MySQL的操作界面，那么你修改的文件是不会生效的，需要重新登录数据库，比如我是在IP147的机器上搭建amoeba的，如果是在本机打开终端的就需要关掉终端，重新打开，如果还是使用SQLyog的，那就需要断开，重新链接。

5. Amoeba Monitor Server的使用？

6. 什么是tar.gz？

解压：$ tar zxvf FileName.tar.gz

压缩：$ tar zcvf FileName.tar.gz DirName

五、参考文献

Amoeba使用指南

通过Amoeba对一个数据库实例进行操作

Amoeba for MySQL学习研究之介绍

Amoeba for MySQL学习研究之安装

Amoeba for MySQL学习研究之配置

UBUNTU11.10下安装 JDK-6U30-LINUX-I586.BIN

linux解压 tar命令

tar.gz

本文链接

SQL Server 数据库帐号密码生成

2012-03-23T08:35:00Z

一、背景

在某天晚上凌晨1点，我收到领导的通知：需要把我们所有的数据库的密码都需要进行一次修改，原因是我们放到Web服务器的配置文件config中明文了我们的数据库帐号和密码，而且这份配置文件可能泄露了，更糟糕的是我们的数据库是可以通过外网进行访问的。虽然有端口进行映射，但是我们的数据依然处在危险的状态，所以这个时候DBA需要争分夺秒修改数据库的帐号密码。

我们的数据库服务器大概有30台，而且每台机器上跑了很多个数据库。有创建数据库帐号经验的同学你会发现：使用SSMS进行创建帐号密码是件多么痛苦的事情，需要点击很多checkbox，特别是在创建一个可以访问整个数据库实例里的所有数据库的时候（虽然我们提倡每个数据库的帐号和密码都不一样，更严格的要求可能需要设置同一个数据库下需要有不同权限的帐号进行管理）

如果我们对数据库的帐号进行有效管理的话，我们可以很轻松的完成这个任务，只需要一条SQL就能管理了。在这里我提倡一种安全、易维护的方案给大家：SQL Server数据库帐号密码安全设计

在看这篇文章之前，建议你先看看：SQL Server 2005控制用户权限访问表

二、设计概要

我们首先要明白我们出现的问题是什么：

1. 我们厌烦了一个个去点击checkbox；

2. 点击那么多次checkbox，我们不能确保所有的点击都是正确的；

所以我们第一步要想的就是有没什么办法可以解决上面这些问题？上面的这些操作SSMS是能让用户把操作保存为脚本的，我们可以自己编写SQL脚本来完成类似的工作。为了模拟SSMS上的操作，我们需要获取到数据库实例中所包含的所有数据库，再对每个数据库创建帐号和密码。我们可以通过游标的形式循环数据库，并创建帐号和密码。最后我们需要禁用掉sa这个帐号。

修改下面【通用SQL模板】的@user和@password的值，拷贝到下面的代码到SSMS中执行，这样就可以生成出适合本数据库实例的SQL脚本【生成的脚本代码】了，我们再拷贝生成的SQL代码到SSMS中执行就可以了。

执行下面的两个脚本不过秒级，所以20台服务器对你来说，简单啦。

三、通用SQL模板

--创建数据库帐号

DECLARE @dbname varchar(100)

DECLARE @user varchar(100)

DECLARE @password varchar(100)

DECLARE @sql varchar(max)

SET @user = 'UfranimdA_gz'

SET @password = 'o23#25R@8a8A!@23#@%'

SET @sql = '

USE [master]

CREATE LOGIN ['+ @user + '] WITH PASSWORD=N'''+ @password +''', DEFAULT_DATABASE=[master], CHECK_EXPIRATION=OFF, CHECK_POLICY=ON

EXEC master..sp_addsrvrolemember @loginame = N'''+@user+''', @rolename = N''sysadmin''

GO'

PRINT(@sql)

DECLARE @itemCur CURSOR

SET @itemCur = CURSOR FOR

SELECT name from sys.databases where state =0

OPEN @itemCur

FETCH NEXT FROM @itemCur INTO @dbname

WHILE @@FETCH_STATUS=0

BEGIN

SET @sql = '

USE ['+ @dbname + ']

CREATE USER ['+@user+'] FOR LOGIN ['+@user+']

USE ['+ @dbname + ']

ALTER USER ['+@user+'] WITH DEFAULT_SCHEMA=[dbo]

USE ['+ @dbname + ']

EXEC sp_addrolemember N''db_owner'', N'''+@user+'''

GO'

PRINT(@sql)

FETCH NEXT FROM @itemCur INTO @dbname

END

CLOSE @itemCur

DEALLOCATE @itemCur

--禁用sa帐号

SET @sql = '

USE [master]

ALTER LOGIN [sa] DISABLE

GO'

PRINT(@sql)

四、生成的脚本代码

--创建数据库帐号密码

USE [master]

CREATE LOGIN [UfranimdA_gz] WITH PASSWORD=N'o23#25R@8a8A!@23#@%', DEFAULT_DATABASE=[master], CHECK_EXPIRATION=OFF, CHECK_POLICY=ON

EXEC master..sp_addsrvrolemember @loginame = N'UfranimdA_gz', @rolename = N'sysadmin'

USE [master]