大商店都有如何开源项目~~~Ali,百度,腾讯,360,新浪,天涯论坛,Samsung等科技美学

丙申革命字体是近年来相比火的


奇虎360** https://github.com/Qihoo360**

科技美学 1

1.MySQL中间层
Atlas

Atlas是由 Qihoo 360, 
Web平台部基础架构团队开发敬服的贰个依照MySQL协议的数目中间层项目。它在MySQL官方推出的MySQL-Proxy
0.八.2版本的根底上,修改了多量bug,添加了很多意义特色。近年来该品种在360铺面里面获得了广泛应用,很多MySQL业务已经接入了Atlas平台,每日承载的读写请求数达几10亿条。

重在职能:
* 读写分离
* 从库负载均衡
* IP过滤
* SQL语句黑白名单
* 自动分表

更加多内容:https://github.com/Qihoo360/Atlas

 

style=”font-size: 14pt; color: #00ccff;”>2.360黑科技=》DroidPlugin 

​DroidPlugin 是360手提式有线电话机帮手在 Android
系统上落实了1种新的插件机制:它能够在无需安装、修改的情状下运维APK文件,此机制对改进大型应用程式的架构,达成多组织合营开发具有自然的利益。

特点:

  1. 支撑Androd 2.三之上系统

  2. 插件APK完全不需做此外改动,能够独立设置运营、也能够做插件运维。要以插件情势运维有个别APK,你无需重复编写翻译、无需通晓其源码。

  3. 插件的四大组件完全不必要在Host程序中登记,扶助Service、Activity、布罗兹castReceiver、ContentProvider第四次全国代表大会组件

  4. 插件之间、Host程序与插件之间会互相认为对方已经”安装”在系统上了。

  5. API低侵入性:极少的API。HOST程序只是急需1行代码即可集成Droid
    Plugin

  6. 超强隔开分离:插件之间、插件与Host之间完全的代码级其余割裂:不可能互相调用对方的代码。通讯只好采用Android系统级别的报纸发表方式。

  7. 协助具有系统API

  8. 财富完全割裂:插件之间、与Host之间达成了能源完全隔开分离,不会出现能源窜用的情况。

  9. 福寿无疆了经过管理,插件的空进度会被及时回收,占用内部存款和储蓄器低。

  10. 插件的静态广播会被作为动态处理,如若插件未有运维(即未有插件进度运营),其静态广播也永远不回被触发。

越来越多查看:https://github.com/Qihoo360/DroidPlugin/

 

style=”font-size: 1四pt;”>3.高质量分布式存款和储蓄服务
HustStore

huststore 是贰个高质量的分布式存款和储蓄服务,不但提供了 10w QPS 级别的kv 存款和储蓄的效果,还提供了 hash、set
等壹密密麻麻数据结构的帮衬,并且扶助 二进制 的 kv 存储,能够完全代替
Redis 的效率。别的,huststore 还整合特有的 HA
模块达成了分布式消息队列的功能,包涵音信的流式推送,以及音讯的
公布-订阅 等效果,能够完全代表 RabbitMQ 的职能。

特性

huststore 分为 hustdb 以及 HA 模块两大学一年级部分。hustdb
(存款和储蓄引擎)的平底设计使用了自主开发的 fastdb,通过1套特种的 md5 db
将QPS 升高至 十w 级其他水平(含网络层的费用)。HA 以 nginx
模块的法子开发。nginx 是工业级的 http server 标准,得益于此,huststore
具备以下特点:

  • 高吞吐量
    hustdb 的网络层选择了开源的 libevhtp 来促成,结合自主研究开发的高品质fastdb 存储引擎,性能测试 QPS 在 10w 以上。

  • 高并发
    参考 nginx 的面世能力。

  • 高可用性
    huststore 整体架构援助 Replication (master-master),援救 load
    balance 。
    HA 的可用性由nginx 的 master-worker 架构所保障。当某三个 worker
    意外挂掉时, master 会自动再开发银行四个 worker 进度,而且八个 worker
    之间是互为独立的,从而确定保证了 HA 的高可用性。
    huststore 的高可用性由其完整框架结构特点保险。由于 hustdb
    的存款和储蓄节点选择了 master-master 的构造,当某二个仓库储存节点挂掉时,HA
    会自动将呼吁打到其余1台 master,同时 HA
    会依照活动实行负荷均衡,将数据分布存款和储蓄在多个hustdb节点上,由此储存引擎不设有单点限制。
    还要 HA 集群自己也是分布式的筹划,而且每一种 HA
    节点都以独自的,当某1台 HA 挂掉时, LVS
    会自动将呼吁打到其余可用的 HA 节点,从而解决了 HA 得单点限制。

  • 通用性的接口
    huststore 使用 http 作为通用协议,由此客户端的达成不限量于言语。

  • 支撑二进制的 key-value

更多查看:https://github.com/Qihoo360/huststore

 

四.分布式配置管理工科具
QConf

QConf 是奇虎 360
内部分布式配置管理工科具。用来代表守旧的陈设文件,使得配置音信和程序代码分离,同时配备变化能够实时同步到客户端,而且保险用户火速读取配置,那使的工程师从零星的配置修改、代码提交、配置上线流程中解放出来,很大地简化了布署管理工科作。

特点

  • 1处修改,全部机器实时同步立异

  • 迅猛读取配置

  • 设置配备方便,使用简易

  • 服务器宕机、互联网中断、集群迁移等分外景况对用户透明

  • 支持c/c++、shell、php、python、lua 等语言

更加多查看:https://github.com/Qihoo360/QConf

 

style=”color: #00ccff; font-size: 1四pt;”>5.开源类Redis存款和储蓄系统 Pika

Pika 是 360 DBA 和基本功架构组联合开发的类 Redis 存款和储蓄系统,完全辅助Redis 协和式飞机,用户不须求修改任何代码,就能够将劳动员搬迁移至 Pika。有保卫安全Redis 经验的 DBA 维护 Pika 不须求学习费用。

Pika 首要化解的是用户使用 Redis 的内部存储器大小超过 50G、80G
等等那样的情事,会碰到运转恢复生机时间长,壹主多从代价大,硬件开销贵,缓冲区不难写满等题材。Pika
正是本着那几个场景的1个缓解方案。

特点

  • 体量大,辅助百G数据量的仓库储存

  • 兼容redis,不用修改代码即可平滑从redis迁移到pika

  • 补助中央(slaveof)

  • 健全的运行命令

越多内容:https://github.com/Qihoo360/pika

 

style=”color: #00ccff;”>陆.对象缓存服务器 kmemcache

分布式linux内核内存对象缓存服务器,实现基于memcached v壹.四.1五,基本匹配memcached的拥有操作。经初阶测试,内存数据操作比memcached快一倍,互连网并发量比memcached的也大过多,近来处于阿尔法版本。

可取:由于在基本的socket层实现,全部拍卖网络事件性质比epoll机制快,此外无需内部存款和储蓄器由用户空间到根本空间的正片。

缺点:不提议在3贰bits下利用。

愈多内容: https://github.com/Qihoo360/kmemcache

 

style=”color: #00ccff; font-size: 14pt;”>7.ngx_http_subrange_module

当Nginx作为文件下载服务的反向代理,用户请求1个越发大的文件的时候,它会直接占满反向代理服务器与后端主机之间的带宽。因为nginx三遍获得整个文件,缓冲获取到的文本,导致客户端不能够立时读取到。带宽使用和iowait会很高。

ngx_http_subrange_module正是为了缓解这几个题材,它能分开HTTP
requests。将时局据量的HTTP请求切分为八个子请求,当下载两个壹G的文件,subrange将从后端主机中下载文件块,比如先获得伍 M,然后再取得5M,直到客户端下载完全体文件。

越多查看:https://github.com/Qihoo360/ngx_http_subrange_module

 

八.协办到异步的类库
马里奥

马里奥是一个让编写从一道到异步的类库,它的线程安全较大,易于使用。马里奥的最宗旨的想法正是为着削减人口的布局,下降本钱和时间投入。但是有了这么些类库,操作职员就足以抽出精力做别的作业了。所以
马里奥 类库能够很自由的缓解你的题材,你只须要您自个儿的音信效能。

引擎类型:

  • memory,那系列型正是将数据缓冲存款和储蓄器留在内部存款和储蓄器里。

  • file,这连串型就是能够在地头日志路径里创设做出四个 write二file。

越多查看:https://github.com/Qihoo360/Mario

 

别的一体系请去360github库观看

 —————————————————————————————————————-

百度
Baidu**
 https://github.com/fex-team/**

科技美学 2

https://github.com/ecomfe

 

1.UEditor
编辑器

U艾德itor是由百度web前端研究开发部开发所见即所得富文本web编辑器,具有轻量,可定制,注重用户体验等特点。

要害特色:

轻量级:代码精简,加载高效。

定制化:
全新的分段理念,满足多元化的必要。
接纳叁层架构:

  1. 大旨层: 为命令层提供底层API,如range/selection/domUtils类。
  2. 指令插件层: 基于核心层开发command命令,命令之间互相独立。
  3. 界面层: 为命令层提供用户使用界面。
    知足不相同层次用户的急需。

https://github.com/fex-team/ueditor

https://github.com/fex-team/umeditor

 

style=”font-size: 14pt;”>2.ECharts 图表库

ECharts开源来自百度商业前端数据可视化团队,基于html伍Canvas,是1个纯Javascript图表库,提供直观,生动,可相互,可本性化定制的多寡可视化图表。立异的拖拽重计算、数据视图、值域漫游等特色大大加强了用户体验,赋予了用户对数据开展开挖、整合的能力。提供商业产品常用图表,底层基于ZRender(3个崭新的轻量级canvas类库),创立了坐标系,图例,提示,工具箱等基础零部件,并在此上创设出折线图(区域图)、柱状图(条状图)、散点图(气泡图)、饼图(环形图)、K线图、地图、力导向布局图以及和弦图,同时协助任意维度的堆积和多图表混合表现。

更多:https://github.com/ecomfe/echarts

 

ECharts-X是 ECharts 团队生产的全新 3D 可视化库,它是依照 ECharts
的壮大,底层深度结合了 WebGL 库QTEK和 Canvas2D 库ZRender。

扩展:https://github.com/ecomfe/echarts-x

 

3.WebUploader
上传控件

WebUploader 是由Baidu
WebFE(FEX)团队开销的多个简易的以HTML五为主,FLASH为辅的现世文件上传组件。在现代的浏览器里面能丰裕发挥HTML5的优势,同时又不撤销主流IE浏览器,延用原来的FLASH运营时,包容IE6+,Andorid
四+,IOS
陆+。两套运行时,同样的调用情势,可供用户自由选取。选择大文件分片并发上传,非常的大的升高了文本上传效能。

https://github.com/fex-team/webuploader

 

style=”font-size: 14pt; color: #00ccff;”>4.百度脑图 KityMinder

KityMinder
是百度FEX团队的f-cube小组(原U艾德itor小组)的又一大手笔。作为壹款在线的脑图编辑工具,它装有众多Native编辑工具的互相体验。KM与UE有着相同的主题,正是正视最后用户的采纳体验。同时,它丰盛发挥了Web云存款和储蓄的优势,能够间接将编辑中的脑图同步到云端。别的,借由独创的
“云盘分享”功能,用户能够1键将方今编写制定的脑图直接生成在线链接共享给其余用户,完结无缝沟通。
KM是遵照SVG技术达成,使用JavaScript+html完结。帮助绝超越53%的主流浏览器。
扶助列表如下

  1. chrome
  2. firefox
  3. safari
  4. ie9-11

https://github.com/fex-team/kityminder

 

5.人造智能种类WAENCOREP-CTC

WAEnclaveP-CTC 基于 CTC 方法,当前可用的有个别 CTC
达成通常须要大批量的内存仍旧是慢十到几百倍。

百度切磋所首席物农学家 Andrew Ng
称他的钻研重大是人工神经互联网怎么样在图形处理单元 (GPUs) 上运转,让
WALANDP-CTC 完结对 GPUs 和 x八陆 CPUs 的支撑。

connectionist temporal classification (CTC) 方法能够追溯到 200六 年,在
Swiss AI 斟酌所 IDSIA 随想上有记录。 百度研讨所开发的 WASportageP-CTC 就依据CTC 方案,但是革新了其自个儿的口音识别成效

https://github.com/baidu-research/warp-ctc

 

任何1类别请去baidu github库观看

 —————————————————————————————————————-

腾讯 QQ http://alloyteam.github.io/

科技美学 3

https://github.com/AlloyTeam/Mars

https://github.com/tencent-wechat

style=”font-size: 14pt; color: #ed0727;”>一.WeUI 为微信Web服务量身设计

WeUI
是1套同微信原生视觉感受一致的根底样式库,由微信官方布署团队为微信 Web
开发量身设计,可以令用户的采纳感知特别统一。包罗buttoncelldialog、 progress、 toastarticleactionsheeticon等各式成分。

https://github.com/weui/weui

 

style=”font-size: 14pt; color: #ed0727;”>二.手提式有线电话机前端开发调节和测试利器
vConsole

小编们在付动手提式有线电话机版网页的时候,经常会见世上面的面貌:

 (一)
开发时,在祥和电脑上运营得卓越的,在手提式有线电话机上开拓就挂了,不过手机上又看不到error
log; 

 (二)
上线后,某用户表示页面失灵,但大家和好又重现不出来,看不到用户侧的失误信息。

要是说(一)还是能够透过电脑一而再手提式有线话机以查看log来消除,那(2)在尚未完善的前端上报连串时就格外低沉了。

用作开发者,大家的诉讼要求很简单:有未有神速的措施在手提式有线电话机前端页面来看log日志?vConsole就如此出现了!

https://github.com/WechatFE/vConsole

 

style=”font-size: 14pt; color: #ed0727;”>叁.标准级Web图像处理引擎
AlloyImage

AlloyImage是三个应用Javascript语言开发的,基于Web的在线图像处理引擎,除了主导底层图像处理引擎,还同时并入了1些方便急速的图像处理API,您能够将它回顾高效的引用到你的Web网页中,做出与PhotoShop1样的天生丽质效果。甚至,你能够用AlloyImage来开发一个Web在线图像处理软件。

https://github.com/AlloyTeam/AlloyImage

https://github.com/AlloyTeam/AlloyPhoto 

 

style=”color: #00ccff;”>四. GoPng 图片合并并生成CSS

Css
Coca Cola,有时也叫做Sprite图、精灵图,是各类前端开都会蒙受的题材,也是广大的小图片加载优化手段。 

在线版本:https://alloyteam.github.io/gopng/

源码地址:https://github.com/AlloyTeam/gopng

style=”line-height: 壹.伍; background-color: initial;”>合成分解: style=”line-height: 壹.伍; background-color: initial;”>https://github.com/luyongfugx/hcSpriteCuter
(一个由多张小图合并而成的Sprite图中抠出在那之中一张大概几张图纸)

 

style=”color: #00ccff;”>伍.可视化Web创设工具
AlloyDesigner

AlloyDesigner
是壹款致力于抓牢前端生产功能的浏览器内运维工具,AlloyDesigner + Chrome
F1二(Especially with WorkSpace)  构建前端新的支出和测试方式

https://github.com/AlloyTeam/AlloyDesigner

 

style=”font-size: 14pt; color: #ed0727;”>6.Koala跨平台图形编写翻译工具

Koala是1款预处理器语言图形编译工具,帮衬Less、Sass、CoffeeScript、Compass
framework 的即时编写翻译。
无需手动输入指令去编写翻译,后台监听文件是还是不是有改观,如有修改会自动实行编写翻译。能够大大升级 Web 开发中的工作作用。

意义特色

  • 多语言扶助 支持Less、Sass、CoffeeScript 和 Compass Framework。

  • 实时编写翻译 监听文件,当文件改变时自动执行编写翻译,这一切都在后台运营,无需人工操作。

  • 编译选项 能够安装种种语言的编译选项。

  • 种类布局 协理为品种开创三个大局配置,为文件设置统一编写翻译选项。

  • 错误提醒 在编写翻译时假如遇上语法的错误,koala将在右下角弹出错误消息,方便开发者定位代码错误地点。

  • 跨平台 Windows、Linux、Mac都能完美运转。

系统协助及供给

Koala支持跨平台运维,完美包容Windows、Linux与Mac 。
Linux系统下需安装好ruby运营条件, e.g. $ sudo apt-get install ruby.

https://github.com/oklai/koala

 

style=”font-size: 14pt;”>7.轻量级 CSS3 动画库
JX.Animate

JX.Animate
是贰个开源的轻量级的CSS3动画库。动画能够应用正式的CSS三重点帧动画(KeyFrame)制作,也得以选拔JavaScript制作,而且还能支撑在JavaScript中动态变化动画关键帧。

https://github.com/AlloyTeam/JXAnimate

 

style=”color: #00ccff;”>8.Fanvas swf转为html5 canvas

Fanvas是3个把swf转为html5canvas动画的系统,由两有的组成:Actionscript完结的解析器、js运维库。Flash做动画是最成熟最高效的办法,但由于终端基本不支持Flash播放,那给终端的动画片制作带来了许多烦劳。Fanvas是Flash和Canvas的圆满组合,能够把swf(包涵矢量和位图)完美地转化为canvas动画.

https://github.com/TencentOpen/Fanvas

 

玖.随身调测平台
GT

GT(随身调)是应用程式的身上调测平台,它是一向运转在手提式有线电话机上的“集成调测环境”(IDTE,
Integrated Debug
Environment)。利用GT,仅凭一部无绳话机,无需再三再四电脑,您即可对应用程式进行快捷的性质测试(CPU、内部存储器、流量、电量、帧率/流畅度等等)、
开发日志的查看、Crash日志查看、网络数据包的抓取、应用软件内部参数的调剂、真机代码耗费时间计算等。若是您觉得GT提供的功力还不够满意你的内需,您还是能应用GT提供的基础API自行开发有越发效用的GT插件,援救你消除越发扑朔迷离的APP调节和测试难题。

https://github.com/TencentOpen/GT

 

10.Frozen
UI 移动端UI框架

Frozen
UI是二个开源的简约易用,轻量快速的活动端UI框架。基于手Q样式规范,选择最常用的零件,做成手Q公用离线包减弱请求,升级格局友好,文档完善,近日宏观使用在腾讯手Q增值业务中。

https://github.com/frozenui/frozenui

 

1一.LivePool  Web
开发调节和测试工具

LivePool 是三个基于 NodeJS,类似 Fiddler 扶助抓包和地面替换的 Web
开发调节和测试工具,是 Tencent AlloyTeam 在支付实践进程总计出的1套的省事的
WorkFlow 以及调节方案。

特性

  • 基于 NodeJS, 跨平台

  • 支持 http 抓包和本土替换调节和测试,Https/WebSockets
    直接代理转载(暂不援救本地替换)

  • 便利的 UI 管理界面,跟 Fiddler 类似,下降学习开支

  • 可以脱离 UI
    后台运营,适应于某个不供给抓包,只需求使用替换和不难路由的情景

  • 据他们说项指标轮换规则管理,方便高效,规则支持拖曳排序

  • 支撑基于请求路径的本土文件替换,协助基于请求路径的路由转载(host
    配置)

  • 轮换类型匡助:文件/文件夹替换,combo合并替换,qzmin替换(批量combo),delay延时等

  • 支撑自动安装系统代理

  • 支撑规则过滤,只体现关注的乞请

  • 提供营造 http get/post 请求界面,方便接口调节和测试

  • 脾拳术效:模拟gprs/三g等低网速(mac only)

  • 特点效益:帮忙离线站点到本地,并活动代码格式化

https://github.com/rehorn/livepool

 

style=”color: #00ccff; font-size: 14pt;”>**12.KNVProtoEngine 高品质树型协议处理引擎**

KNV是3个格局自由的高品质树型协议处理引擎,是对Key-Value的叁个通用结构化扩张。

利用天性

正如NoSQL对SQL的到底变革1样,KNV是对Key-Value的到底变革!

世家都很熟悉Key-Value系统,但KV操作极不方便:

您不得不本身做乐观锁(读再次来到seq->修改->带seq写->seq变化则重头先导);
— 你只可以拉取一群数据,然后再领取你想要的某个;
— 为了修改五个bit,你只好把1串数据拉取修改后再1起交给更新
然近来后有KNV,1切都化解了。KNV时期来了,你还在迟疑吗?

采纳场景

KNV是尤其针对以Protocol
Buffers(或近乎树型结构)存储的储存系统开发的,有3个应用场景:

  1. 存款和储蓄系统 处理用户请求的通用消除方法(Get/Set/Delete),能够适配任意用户自定义的数据结构。

  2. 代办/通用逻辑层 服务器处理Protocol Buffers协议的通用方法 –
    比如通用Proxy,透传八个体协会议,
    对请求包实行鉴权、限频、总括等等操作,还援救对包体内容展开始审讯计,使用KNV协议,
    那种艺术就有相当大希望还要很简短。

  3. 原生态 Protocol Buffers打解包库 的高质量代替品。

https://github.com/TencentOpen/KNVProtoEngine

 

13.Behaviac
游戏AI的支出框架组件

Behaviac是游玩AI的支出框架组件,也是娱乐原型的飞跃设计工具。辅助作为树BT,状态机FSM,HTN等两种范式,方便的编写制定和调节。支持全平台,适用于客户端和服务器,助力游戏高速迭代开发。编辑器能够运转在PC上,操作方便直观可信赖,支持实时和离线调节和测试;编辑器能够导出xml,bson等七种格式,更可以导出C++,C#源码,提供最高功用。运维时扶助全平台,有C++和C#四个版本,原生扶助Unity。

已被《每一天炫斗》、《QQ飞车》、《全体公民突击》、《全体公民夺宝》、《九龙战》等游戏及其余更多预备性研商项目应用。

https://github.com/TencentOpen/behaviac

 

style=”color: #00ccff;”>1四.现代营造系统 Typhoon Blade

Blade首要定位于linux下的特大型C++项目,密切合作研究开发流程,比如单元测试,持续集成,覆盖率总结等。但像unix下的文书过滤程序一样,保持相对的独立性,能够独立运维。方今重大辅助i386/x86_64Linux,未来得以思量帮忙任何的类Unix系统。

特点:

  • 活动分析头文件重视关系,营造受影响的代码。

  • 增量编写翻译和链接,只构建因变更受影响而需求创设的。

  • 自行总计库的直接信赖,库的笔者只须求写出间接注重,营造时自动物检疫查所依靠的库是还是不是供给再行营造。

  • 在随机代码树的任意子目录下都能创设。

  • 支撑3遍递归创设多少个目录下的享有指标,也接济只营造任意的一定的靶子。

  • 不管构建什么指标,那些指标所信赖的对象也会被机关连坐更新。

  • 置于 debug/release 三种创设类型。

  • 异彩纷呈高亮创设进程中的错误音信。

  • 支持 ccache

  • 支持 distcc

  • 支撑基于创设多平台指标

  • 帮助创设时精选编写翻译器(区别版本的gcc,clang等)

  • 支撑编写翻译 protobuf,lex, yacc, swig

  • 支撑自定义规则

  • 支撑测试,在命令行跑三个测试

  • 支撑相互测试(八个测试进程并发运转)

  • 扶助增量测试(无需再一次运转的测试程序自动跳过)

  • 集成 gperftools,自动物检疫查实验测试程序的内部存储器败露

  • 创设脚本 vim 语法高亮

  • svn 式的子命令命令行接口。

  • 支撑 bash 命令行补全

  • 用 Python 编写,无需编写翻译,直接设置使用。

到底幸免以下难题:

  • 头文件更新,受影响的模块未有再一次构建。

  • 被依赖的库供给立异,而创设时未尝被更新,比如某子目录依赖遥远的某外部目录的代码,笔者在这些目录创设,外部目录的代码会被机关检查是否也亟需重新创设。

https://github.com/chen3feng/typhoon-blade

 

style=”font-size: 14pt; color: #ed0727;”>15.RapidJSON C++的JSON开发包

Rapidjson 是二个 C++ 的急迅 JSON 解析器和生成器,使用 SAX/DOM 风格的
API 设计。

https://github.com/miloyip/rapidjson

 

style=”font-size: 14pt;”>1六. 微信开源PhxSQL

PhxSQL是1个包容MySQL、服务高可用、数据强1致的关系型数据库集群。PhxSQL以单Master多Slave格局地署,在集群内超过二分一机械存活的情状下,可自笔者落成机关Master切换,且保险数据壹致性。

https://github.com/tencent-wechat/phxsql

 

 越来越多请自行查看:http://alloyteam.github.io/ https://github.com/tencent-wechat

 —————————————————————————————————————-

新浪:WeiBo https://github.com/weibocom

科技美学 4

style=”font-size: 1肆pt;”>1.分布式缓存服务器 memcachedb

class=”hilite一”>memcachedb是
二个由博客园网的开发人士开放出来的开源项目,给memcached分布式缓存服务器添加了BerkeleyDB的持久化存款和储蓄机制和异步主辅复制机制,让memcached具备了工作复苏能力、持久化能力和分布式复制能力,非凡适合于需求超高品质读写速度,不过不必要从严业务约束,能够被持久化保存的行使场景,例如 class=”hilite一”>memcachedb被选取在博客园博客上面。

class=”hilite1″> class=”hilite1″>https://github.com/stvchu/memcachedb

2.动态流量管理方案
Upsync

Upsync,天涯论坛开源基于Nginx容器动态流量管理方案 。Nginx
以其超高的性格与安定,在产业界得到了广大的运用,微博的七层就大方运用了
Nginx 。结合 Nginx 的健检模块,以及动态 reload
机制,能够接近无损的劳动的晋级上线与扩大体量。那个时候扩大体量的频次相比低,半数以上景色下是有安排的扩大体量。Upsync,开发了模块
nginx-upsync-module,它的效率是拉取 consul 的后端 server
的列表,并创新 Nginx 的路由音信。此模块不借助于于其余第2方模块。consul
作为 Nginx 的 db,利用 consul 的 KV 服务,每种 Nginx work
进程独立的去拉取各种 upstream 的配备,并更新各自的路由。

https://github.com/weibocom/nginx-upsync-module

三.高质量的基石 Socket
实现 法斯特socket

法斯特socket 是三个高增添性的 Socket 以及 Linux
内核的最底层网络达成。可以在多核机器上提供极好的品质,此外使用和保证还分外简单。近日该项目曾经在今日头条的生产条件中应用。该类型由浙大东军大学和新浪网球联合会师组成的
法斯特os 共青团和少先队开发,该协会的职责是升格 Linux 内核的频率。法斯特socket
近日一度选取在天涯论坛今日头条的生产条件上,主要用于提供负载均衡服务的
HAProxy,线上实在质量提高1倍,从201四年7月份安生运营于今,推测2014年初完结负载均衡全体集群的
法斯特socket 升级。法斯特socket 完全协作 BSD Socket API,现有各样基于
Socket 的网络采纳能够平昔运用
法斯特sockt。 近日通过十分测试的常用服务软件有:HAProxy、Nginx、Lighttpd、Redis
和 Memcached。

https://github.com/fastos/fastsocket

4.轻量级 RPC 框架
Motan

Motan 是1套高品质、易于使用的分布式远程服务调用(福睿斯PC)框架。

功能

  • 支撑通过spring配置情势集成,无需额外编写代码即可为劳动提供分布式调用能力。

  • 帮助集成consul、zookeeper等配备服务组件,提供集群环境的劳务意识及治理能力。

  • 支撑动态自定义负载均衡、跨机房流量调整等高级服务调度能力。

  • 听新闻说高并发、高负载场景进行优化,保证生产条件下逍客PC服务高可用。

https://github.com/weibocom/motan

5.TCP
性质剖析工具 Tcpdive

Tcpdive 是 TCP 质量剖析工具,首要特征:

  • 越多 TCP 内部品质音讯

  • 定量评估 TCP 品质革新

  • 描述在 TCP 层的 HTTP 处理,依赖于 HTTP Apps

  • 简单布置,使用自个儿

Tcpdive 已经在果壳网的生产条件上配置使用:

  • 拉长和讯图片服务质量

  • 抓牢博客园录制服务品质

  • 在有线和有线互联网中比较 TCP 品质

  • 笔录不相同应用的 TCP 流量

https://github.com/fastos/tcpdive

style=”font-size: 14pt;”>6.PHP框架 Yaf

Yaf是二个C语言编写的PHP框架,Yaf 的表征:

  1. 用C语言开发的PHP框架, 相比较原生的PHP, 大约不会拉动十分的天性开支.

  2. 享有的框架类, 不供给编写翻译, 在PHP运行的时候加载, 并常驻内部存款和储蓄器.

  3. 更短的内部存款和储蓄器周转周期, 升高内部存款和储蓄器利用率, 降低内部存储器占用率.

  4. 利落的活动加载. 补助全局和1些二种加载规则, 方便类库共享.

  5. 高品质的视图引擎.

  6. 惊人灵活可扩充的框架, 辅助自定义视图引擎, 援救插件,
    帮助自定义路由等等.

  7. 内建种种路由, 可以合营如今大规模的各样路由协议.

  8. 强劲而又中度灵活的安插文件援救. 并帮忙缓存配置文件,
    防止复杂的配备结构带来的天性损失.

  9. 在框架本身,对危险的操作习惯做了禁止.

  10. 更快的施行进度, 更少的内部存款和储蓄器占用.

https://github.com/laruence/yaf


小米:XiaoMi https://github.com/XiaoMi

科技美学 5

style=”color: #00ccff; font-size: 14pt;”>一.分布式的揭示和监督系统
Minos

Minos
是Nokia集团支出的3个分布式的公布和监察和控制系统。最初是华为开发的用来在
Hadoop 和 ZooKeeper 集群上揭露和治本的工具。Minos
可轻松扩张来协助别的的系统,近年来曾经支撑包含 HDFS、YA君越N 和 Impala 。

https://github.com/XiaoMi/minos

 

style=”color: #ed0727; font-size: 14pt;”>二.网络公司级监督系统
OpenFalcon

Open-Falcon 是Nokia运营部开源的一款网络商家级督查种类缓解方案.

监察系统是漫天运营环节,乃至整个产品生命周期中最重大的一环,事前立马预先警告发现故障,事后提供翔实的数量用于追查定位难点。监察和控制种类作为二个发短心长的运行产品,产业界有那些开源的贯彻可供选取。当公司正好起步,业务规模较小,运营团队也刚刚创建的初期,选择一款开源的监察和控制种类,是3个省时省力,效能最高的方案。之后,随着业务规模的趋之若鹜快捷增进,监控的指标也越加多,越来越复杂,监察和控制系统的运用对象也从中期少数的几个SRE,扩张为更加多的DEVS,SRE。这时候,监控种类的体量和用户的“使用功能”成了相当特出的题材。

监理系统产业界有不少特出的开源监察和控制连串。大家在先前时代,一向在用zabbix,然而随着业务的连忙前进,以及网络集团有意的局地急需,现有的开源的监督系统在性质、扩充性、和用户的运用效用方面,已经黔驴技穷支撑了。

因而,我们在过去的一年里,从互连网集团的一部分须求出发,从各位SRE、SA、DEVS的行使经验和反馈出发,结合产业界的一些大的网络公司做监察和控制,用监督的部分构思出发,设计开发了魅族的监察系统:Open-Falcon。

Highlights and features

  • 多少收集免布局:agent自发现、帮衬Plugin、主动推送方式
  • 容积水平扩大:生产条件每秒50万次数据搜集、告警、存款和储蓄、绘图,可不断水平扩大。
  • 报告警察方策略自发现:Web界面、帮衬政策模板、模板继承和覆盖、三种报告警察方格局、帮忙回调动作。
  • 报告警察方设置人性化:援助最大告警次数、告警级别设置、告警恢复通告、告警暂停、分化时段不一样阈值、帮忙珍贵周期,辅助告警合并。
  • 历史数据火速查询:秒级重返上百个目的一年的历史数据。
  • Dashboard人性化:多维度的多少呈现,用户自定义Dashboard等职能。
  • 架构划设想计高可用:整个体系无主旨单点,易运营,易计划。

https://github.com/XiaoMi/open-falcon

 

3.物联网框架
IoT.js

IoT.js 目的在于为物联网提供1个基于 Web 技术的可相互操作的服务平台。IoT.js
的靶子是要在财富受限的配备上得天独厚运营,例如唯有几 KB 的
RAM。所以它援助广大的物联。

https://github.com/Samsung/iotjs


豆瓣 DouBan https://github.com/douban

科技美学 6

 

一.分布式总计框架
DPark

DPark 是 斯Parker 的 Python
克隆,是二个Python完毕的分布式计算框架,可以非凡便于地贯彻广大数据处理和迭代划算。
DPark 由豆瓣完结,近来豆瓣内部的大部数额解析都选取DPark
达成,正日趋完善。

https://github.com/douban/dpark

 

style=”color: #00ccff;”>贰.iOS/Mac 音频播放器
DOU奥迪(Audi)oStreamer

DOU奥迪(Audi)oStreamer 是 iOS 和 Mac 的依照宗旨音频的流媒体音频播放器。

https://github.com/douban/DOUAudioStreamer

 

三.CODE
豆类代码托管种类

Douban CODE 是豆类开发的贰个遵照 git 版本控制系统的合营平台。

CODE —— C: Community O: Original D: Developer E: Eldamar

时下 CODE 仅开放了多少个框架,支持:

  • clone & push project

  • create project

  • create user

准备条件

  • MySQL

  • Memcached

  • Python >= 2.7

  • pip >= 1.4.1

  • virtualenv

  • git

https://github.com/douban/code

 


网易
NetEase
 https://github.com/netease

 科技美学 7

style=”font-size: 14pt; color: #ed0727;”>一.分布式TCP压力测试工具
tcpcopy

tcpcopy是一种选取请求复制(基于tcp的packets)工具,其应用领域较广,如今早就运用于国内各大互连网商行。

完全说来,tcpcopy主要有如下效果:

一)分布式压力测试工具,利用在线数据,能够测试系统能够经受的压力大小(远比ab压力测试工具真实地多),也得以提前意识某些bug
二)普通上线测试,可以窥见新系列是或不是平安,提前发现上线进度中会出现的多多标题,让开发者有信念上线
3)相比较试验,同样请求,针对区别或不一样版本程序,能够做品质相比较等考试
四)利用多种招数,构造Infiniti在线压力,满意中型小型网址压力测试必要
五)实战演习(架构师必备)

https://github.com/session-replay-tools/tcpcopy

 

style=”color: #ff0000; font-size: 1四pt;”>二.桌面利用软件的跨平台化解方案
heX

heX
是和讯有道搜索部门开发的四个同意你选择前端技术(HTML,CSS,JavaScript)开发桌面应用程式的跨平台解决方案,基于HTML伍+ node.js,类似appjs。是你付出桌面应用的一种新的抉择,意在消除守旧桌面应用开发中繁琐的UI和互相开发工作,使其变的归纳而快捷。尤其符合重UI,重交互的桌面APP。

https://github.com/netease-youdao/hex

https://github.com/netease-youdao/hex-samples

 

三.Android质量测试工具
埃玛gee

艾玛gee是监察和控制钦定被测应用在运用进度中据为己有机器的CPU、内部存款和储蓄器、流量财富的天性测试小工具。

协助SDK:Android贰.2以及上述版本

埃玛gee效率介绍

一、检查测试当前岁月被测应用占用的CPU使用率以及完整CPU使用量

二、检测当前光阴被测应用占用的内部存储器量,以及占用的完全内部存款和储蓄器百分比,剩余内部存储器量

3、检验采纳从运行上马到当前光阴消耗的流量数

四、测试数据写入到CSV文件中,同时储存在手提式有线电话机中

5、能够采纳开启浮窗作用,浮窗中实时彰显被测应用占用质量数据消息

陆、在浮窗中可以一点也不慢运维大概关闭手机的wifi互联网

https://github.com/NetEase/Emmagee

 

style=”font-size: 1四pt; color: #00ccff;”>肆.基于udp的哀告复制工具
udpcopy

udpcopy用来消除udp应用的一个开源软件,与tcpcopy同属于xcopy种类,能够导入udp流量到测试系统中去,这样就足以有效地对系统实行各类测试,比如压力测试,冒烟测试等等。

https://github.com/wangbin579/udpcopy

 

style=”font-size: 14pt;”>伍.实时编辑刷新的前端服务器 Puer style=”font-size: 18px; color: #000000;”>( style=”color: #ff6600;”>推荐: style=”color: #ff6600;”>browser-sync  style=”font-size: 15px;”>https://github.com/BrowserSync/browser-sync

简言之,Puer是1个方可实时编辑刷新的前端服务器科技美学,。本性一览:

  • 提供三个当下或钦定路线的静态服务器

  • 怀有浏览器的实时刷新:编辑css实时更新(update)页面样式,别的文件则重载(reload)页面

  • 提供简单熟知的mock请求的配备效用,并且配备也是自动更新。

  • 可用作代理服务器,调试开发既有服务器的页面,可与mock成效同盟使用

  • 合龙了weinre,并提供二维码地址,方便移动端的调节和测试

  • 能够作为connect中间件使用(前提是后端为nodejs,不然请使用代理情势)

https://github.com/leeluolee/puer

————————–阿里Baba(Alibaba)开源的好软件太多,请自行采取所需,笔者列多少个大家用的————————-

阿里Baba(Alibaba)阿里Baba(Alibaba)(Alibaba) https://github.com/alibaba/ https://github.com/thx

科技美学 8

style=”font-size: 1四pt;”>一.分布式key/value存款和储蓄系统
Tair

Tair是由Tmall网自主开发的Key/Value结构数据存款和储蓄系统,在Tmall网有着广大的施用。您在登录天猫、查看商品详情页面或许在淘江湖和挚友“捣浆糊”的时候,都在直接或直接地和Tair交互。Tair是二个Key/Value结构数据的消除方案,它暗中认可匡助基于内部存款和储蓄器和文书的二种存款和储蓄方式,分别和我们司空眼惯所说的缓存和持久化存款和储蓄对应。

Tair除了常见Key/Value系统提供的成效,比如get、put、delete以及批量接口外,还有部分附加的实用功效,使得其有更广的适用场景,包蕴:

  • Version支持

  • 原子计数器

  • Item支持

https://github.com/alibaba/tair

 

style=”font-size: 14pt; color: #ff0000;”>二.TFS 分布式文件系统

TFS(TaobaoFileSystem)是三个高可扩充、高可用、高品质、面向网络服务的分布式文件系统,其设计目的是帮忙海量的非结构化数据。

时下,国内自主研究开发的文件系统可谓凤毛麟角。Tmall在那1天地做了实惠的探讨和施行,天猫File
System(TFS)作为天猫商城内部使用的分布式文件系统,针对海量小文件的任性读写访问质量做了超过常规规优化,承载着Taobao主站全数图片、商品描述等数据存款和储蓄。

https://github.com/alibaba/tfs

 

叁.新闻中间件
罗克etMQ

style=”font-size: 14pt; color: #ff0000;”>科技美学 9

https://github.com/alibaba/RocketMQ

https://github.com/alibaba/RocketMQ-docs

 

style=”font-size: 14pt; color: #ff0000;”>肆.分布式计算种类 JStorm

 Jstorm是参照storm的实时流式计算框架,在网络IO、线程模型、财富调度、可用性及稳定上做了无休止立异,已被进一步多公司接纳

https://github.com/alibaba/jstorm

 

5.淘宝Web服务器
Tengine

Tengine是由Tmall网发起的Web服务器项目。它在Nginx的基本功上,针对大访问量网址的急需,添加了重重高等功能和特点。Tengine的质量和安居已经在巨型的网址如天猫网,Taobao等取得了很好的检测。它的最后目的是制作一个便捷、稳定、安全、易用的Web平台。

 

以下沿引项目主页上的特点介绍:

 

  • 接轨Nginx-壹.2.8的具有性格,百分百男才女貌Nginx的配备;

  • 动态模块加载(DSO)协助。加入3个模块不再须求再行编写翻译整个Tengine;

  • 越来越多负载均衡算法帮忙。如会话保持,①致性hash等;

  • 输入过滤器机制辅助。通过运用那种体制Web应用防火墙的编写制定更为便利;

  • 动态脚本语言Lua协助。增加效率卓殊迅猛简明;

  • 支撑管道(pipe)和syslog(本地和远端)方式的日志以及日志抽样;

  • 整合八个CSS、JavaScript文件的造访请求变成二个呼吁;

  • 能够对后端的服务器进行主动健检,依据服务器状态自动上线下线;

  • 机关依照CPU数目设置进度个数和绑定CPU亲缘性;

  • 督察种类的负载和能源占用从而对系统举行维护;

  • 来得对运转职员更温馨的失误音信,便于定位出错机器;

  • 更强大的防攻击(访问速度限制)模块;

  • 更便利的命令行参数,如列出编写翻译的模块列表、协助的一声令下等;

  • 能够依照访问文件类型设置过期时间;

https://github.com/alibaba/tengine

  

6.SeaJS
模块加载框架

Sea.JS
是2个根据 CommonJS 规范的模块加载框架,可用来轻松欢愉地加载任意
JavaScript 模块。SeaJS 援救的正经模块遵从 Modules/Wrappings 规范的
define 方式,可运营于 Web 浏览器以及 node.JS 等条件中。

https://github.com/seajs/seajs

 

style=”font-size: 14pt; color: #00ccff;”>七.阿里Baba(Alibaba)分布式数据库同步系统
otter

otter
基于数据库增量日志解析,准实时壹并到本机房或异地机房的mysql/oracle数据库.
2个分布式数据库同步系统。

https://github.com/alibaba/otter

 

8.Taobao Open API
客户端 TOP
(有Net版)

TOP 是 Taobao Open API 客户端。

APIs

User

  • taobao.user.buyer.get 查询买家消息API

  • taobao.user.get 获取单个用户音信

  • taobao.user.seller.get 查询商家用户信息

  • taobao.users.get 获取五个用户消息

Category (Working)

  • taobao.itemcats.authorize.get 查询商户被授权品牌列表和类目列表

  • taobao.itemcats.get 获取后台供商户发布商品的专业商品类目

  • taobao.itemcats.increment.get 增量获取后台类目数据

  • taobao.itemprops.get 获取标准商品类目属性

  • taobao.itempropvalues.get 获取标准类目属性值

  • taobao.topats.itemcats.get 全量获取后台类目数据

Shop

  • taobao.shop.get (白名单用户才能调用)

style=”color: #00ccff;”>玖.模拟数据生成器 Mock.js

Mock.js
是壹款仿照数据生成器,目的在于帮忙前端攻城师独立于后端举办付出,协理理编辑写单元测试。提供了以下模拟成效:

  • 传说数据模板生成模拟数据

  • 效仿 Ajax 请求,生成并回到模拟数据

  • 遵照 HTML 模板生成模拟数据

https://github.com/nuysoft/Mock

 

style=”font-size: 1四pt;”>10.服务框架 Dubbo

Dubbo
是阿里Baba公司开源的三个高质量优良的劳动框架,使得应用可通过高品质的
SportagePC 达成劳务的出口和输入作用,能够和 Spring框架无缝集成。

重中之重大旨部件:

  • Remoting: 互联网通讯框架,实现了 sync-over-async 和
    request-response 新闻机制.

  • RPC: 一个远道进程调用的抽象,扶助负载均衡、容灾和集群效应

  • Registry: 服务目录框架用于服务的登记和劳动事件揭露和订阅

https://github.com/alibaba/dubbo

 

1一.接口文档管理工科具
RAP

 

RAP通过GUI工具帮助WEB工程师更连忙的管住接口文书档案,同时经过分析接口结构自动生成Mock数据、校验真实接口的不易,使接口文书档案成为花费流程中的强重视。有了结构化的API数据,RAP可以做的越来越多,而作者辈得以免止愈来愈多重复劳动。

 

https://github.com/thx/RAP

 

Nginx7天入门:https://github.com/taobao/nginx-book

 


其余门类:

style=”color: #ff6600;”>1.去哪儿:

style=”color: #00ccff;”>MySQL自动化运营工具
Inception

MySQL语句的审查批准,在产业界都已经主导被认可了,实际上也是对MySQL语句写法的统一化,标准化,而此前的人工核查,针对专业那个难题莫过于是很
吃力的,标准越来越多,DBA越累,开发也越累。
那么在这么些都追求自动化运营的时期,审核也务要求跟上步履,因而英斯ption诞生了。而英斯ption能够做的办事远不止是一个自动化审核工
具,同时还富有实施,生成对影响多少的回滚语句(类似闪回的成效),那样一条龙服务的工具,将会给DBA的做事推动颠覆的扭转,DBA从此就从繁重的
审核、登上去执行,出错了很难回滚(假使提前未有备份的话)的被动局面解放了出去,突然意识,做DBA原来能够这样轻松,工作能够不饱和了,那就有更多的
自由时间读书、进一步向自动化运转平台的贯彻等更智能化的样子去发展,是有所里程碑意义的。

https://github.com/mysql-inception/inception

style=”color: #ff6600; font-size: 14pt;”>二.民众点评

实时应用监察和控制平台
CAT

CAT 由群众点评开发的,基于 Java
的实时应用监察和控制平台,包涵实时应用监察和控制,业务监察和控制。

CAT 协助的监察音信类型包罗:

  • Transaction 适合记录跨越系统边界的次序访问行为,比如远程调用,数据库调用,也切合施行时间较长的事务逻辑监察和控制,Transaction用来记录壹段代码的施行时间和次数。

  • Event 用来记录一件事发生的次数,比如记录系统卓殊,它和transaction比较贫乏了光阴的总计,开支比transaction要小。

  • Heartbeat   代表程序钦赐期发生的总括消息, 如CPU%, MEM%,
    连接池状态, 系统负荷等。

  • Metric 用于记录业务目标、目的只怕带有对3个目标记录次数、记录平均值、记录总和,业务指标最低计算粒度为1分钟。

  • Trace 用于记录基本的trace新闻,类似于log4j的info新闻,那几个音讯仅用于查看一些连锁新闻

消息树

CAT监察和控制系统将每便U哈弗L、Service的央浼内部推市场价格况都打包为一个完好的音信树、新闻树恐怕包涵Transaction、伊夫nt、Heartbeat、Metric和Trace音信。

https://github.com/dianping/cat

 

style=”font-size: 14pt;”>3.搜狐:

Redis云管理平台
CacheCloud

CacheCloud提供一个Redis云管理平台:完结多样类型(Redis
Standalone
Redis SentinelRedis
Cluster
)自动安插、解决Redis实例碎片化现象、提供完善总结、监察和控制、运营功效、减弱开发人士的运营花费和误操作,升高机器的利用率,提供灵活的紧缩性,提供方便的联网客户端。

https://github.com/sohutv/cachecloud

基于
MySQL 的数据库中间件 SOHU-DBProxy

SOHU-DBProxy 是由 今日头条数据库团队开发保护的1个基于MySQL协议的数目中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.三本子的根底上,
修改了多量bug,添加了无数效应特色。以往早就在sohu的多少个业务线上运用

DBProxy 首要功能:

一 尽管在同贰个连连(只要不在同二个政工中)也能连续复用

二 负载均衡升高读质量,援助动态扩张

3动态拉长的SQL审核和过滤。能够总结的SQL长日子运作影响属性,并且阻止其运作

四 用户连接限制

五 自动摘除宕机的DB

陆 读写分离(当前版本未有,代码和测试已经实现,未有统1到最近版本)

https://github.com/SOHUDBA/SOHU-DBProxy

 

style=”font-size: 18px;”>58https://github.com/58code

style=”font-size: 18px;”>公众点评https://github.com/dianping

style=”font-size: 18px;”>豌豆荚https://github.com/wandoulabs

style=”font-size: 18px;”>华为https://github.com/HuaweiBigData