2009关键词

1 13th, 2008 | Posted by jacky | Filed under 大话技术

1.山寨

数据库的服务器将不再采购大型的主机和高端的SAN存储。主机尽可能选用PC server,这几年INTEL的CPU能力越来越强,PC server的处理能力与小型机的差距正在缩短。存储我们也尽可能的选用SAS硬盘的廉价存储,而不是FC硬盘的高端存储,甚至还计划搭建我们自己的“山寨”存储。对于MySQL数据库,则直接采用PC server+本地SAS硬盘的方案。

2.MySQL,分布式

mysql数据库+分布式应用架构将是我们未来发展的方向,这几年随着数据量和访问量的增长,数据库的压力也越来越大,ORACLE+小型机+高端存储这种集中式架构越来越不能满足业务发展的需要。明年已经确定将有几个大型项目使用MySQL数据库和分布式的架构,逐步降低我们对ORACLE和高端设备的依赖性。而且我们已经有非常厉害的MySQL DBA-SKY,未来我们将不仅仅局限在ORACLE方面。

3.数据同步

如果我们要做镜像站点或者分布式应用,数据同步是必须解决的问题。我们目前正在进行ORACLE redo log的解析的研究,并且已经取得了相当的进展(当然不是我做的,是部门的一个大牛去做的)。一定有人问我们为什么不用SharePlex,DSG,或者ORACLE的stream来解决,而是一定要自己来做呢。而且ORACLE的redo对我们是一个黑盒,我们有能力解决这个问题吗?首先,我们不是要做一个商业化产品,我们的仅仅是根据我们实际的环境和需要,能够对日志做有限的解析,达到我们的目的即可。第二,商业化的产品价格昂贵,而且对于我们的某些特别的需求,商业产品都无法解决。这就是我们要自己解析日志的原因。

4.镜像

对于镜像站点的搭建,我觉得技术因素并不是最重要的,从项目管理的角度出发,需要的是沟通和计划的能力,细节决定成败,风险往往在我们最看不到的地方。

5.RAC

我们的数据库架构从pc server上的单数据库到RAC,再到现在的小型机。未来由于PC server的大量引入,我们可能又要重新回到RAC的道路上来,由RAC来提供高可用性和有限的性能扩展能力。

6.Greenplum,Hadoop

这两个东西,其实我都不懂。但是他们都很火,都使用了MapReduce技术。MapReduce是google的一个计算模型,用来进行大规模的并行计算。

Greenplum可以理解为SQL+MapReduce,DBA也可以体会到并行计算的快感了。而且很可能明年会在数据仓库部门使用,从测试的结果上来看,用普通PC server搭建的集群比ORACLE的性能要高出很多。

Hadoop是MapReduce的一个JAVA实现,Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)和MapReduce分布式计算模型。它能够把应用程序分割成许多很小的工作单元,每个单元可以在任何集群节点上执行或重复执行。它有以下的特点:

  • 扩容能力(Scalable):能可靠地(reliably)存储和处理千兆字节(PB)数据。
  • 成本低(Economical):可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。
  • 高效率(Efficient):通过分发数据,hadoop可以在数据所在的节点上并行地(parallel)处理它们,这使得处理非常的快速。
  • 可靠性(Reliable):hadoop能自动地维护数据的多份复制,并且在任务失败后能自动地重新部署(redeploy)计算任务。

7.me

最后一个关键词就是“我”。2009年,我要如何发展?继续在某个技术领域深耕细作,还是主动求变向新的方向扩展;继续走技术道路,还是逐步向管理转移,或者有机会走向其他领域(比如演艺界或者专业摄影师);怎么样炒作自己,出书,写博,还是裸奔?

每一年都是这样,来临前给我们很多想象,过去后往往又觉得平淡乏味,我们一起期待吧。

–EOF–

标签: ,
  1. 谭理想
    11 13th, 200813:18

    2009让我们拭目以待啊!!!

  2. 谭理想
    11 13th, 200813:26

    山寨,应该是性价比最高的机器了,不必什么东西非要玩最专业的。
    MYSQL,知道,一直在用,分布式,不知道,到现在还不知道具体是在说什么?难道只可意会乎?
    数据同步,这块是很值得探索的技术,但是太专业,咱不懂。
    镜像,我在大学时代,做垃圾站基本就是靠这技术,镜像但不同步的那种!
    RAC,太技术了,不知道。
    Greenplum,Hadoop,太技术了的平方,太太技术了!
    me,人生时刻在变,俺就只有期待的份了!

  3. vogts
    11 13th, 200813:58

    很深刻

  4. jacky
    11 13th, 200814:49

    杭州的“谭理想”邢硕同志(见楼上),他也是位资深的网站开发和管理人士,目前管理着一个大型的网站。
    我从google上搜的,是你吧。

  5. 谭理想
    11 13th, 200816:39

    这都被你发现了,哈哈不过没顾迅他说的那么厉害。数据库方面的对俺来说真的是一窍不通……

本文的评论功能被关闭了.