网络应用安全系统发展方向之我见
作者 appleleaf | 2009-12-27 17:01 | 类型 网络安全, 行业动感 | 43条用户评论 »
|
这是一个同事前几天和我提到的话题，看似比较大。我思考了一阵，有一些想法。这些想法应该大都是已有的，且都是我自己比较认同的。欢迎大家探讨。 首先看看应用安全功能本身的发展。我觉得还是那两个字：Visibility and Control。大家可以体会一下FW，AntiVirus，IDS/IPS，DLP，URL过滤，NAC, P2P等应用识别以及APP QOS…，其功能是否就是一直在按照这个要求发展。有读者可能会提出，那私密性呢？VPN呢？VPN不属于应用安全，无论VPN的承载协议位于哪个层次，其实质还是隧道协议，是在公用隧道上的私密性的保护，而且终结之后还是要走我们提到的安全控制流程。其他安全要求，在不同场合也许更重要，但从整体来看笔者认为还是Visibility and Control。 有关Visibiliy，尤其是应用层安全识别技术近年大热，我关注过下述一些公司的产品，这些公司通过研发和并购都在最近一两年内强化了其FW的应用识别功能，支持数百乃至上千种应用协议的识别（其中很多是所谓Web2.0应用）。 1.CheckPoint 2.MaCfee 3.Fortinet 4.Palo Alto …… 竞争必将Visibility推向极致。并且我断言应用安全识别技术不远的将来也会是国内厂商FW的标准配置。 从应用安全的设备发展来看，我觉得也是两个方面：Integration and High Performance。 1. Integraion 自从VPN加到FW之后，这个趋势就一直没有停止过。不仅仅是UTM这样的边缘用设备具有了多种安全特性，核心网大安全设备也在不停的堆积新的特性，将多种功能的盒子合并为一个。甚至Router和Switch也在融合网络安全设备特性，未来即使router吃掉FW，我也不会觉得奇怪。这个没有办法，用户需求推动使然。一来用户需要简洁的网络部署，二来需要节省银子。 应用功能的合并，并非简单的像堆积木，仅仅是代码的合并。其对于架构和开发人员是很大的考验，实际往往是功能之间相互影响制约，按下葫芦起了瓢，有各种问题，尤其是性能方面。其中的TCP子系统又是关键，没有对于多种安全特性的相关研发经验是设计不好的。 2. High Perfomance 这个也由来于用户需求推动，宽带接入的普及以及带宽的提高是不可阻挡的历史潮流。像香港，新加坡这样的发达地区，都在规划未来GBit入户，对比可见想见带宽提高未来还有多大的空间。从华赛的80G FW到Juniper的120 G FW，这绝对仅仅是是飙车的开始。对于像WAF这样的产品，我看到的报道往往都是用户对于性能的抱怨，如果能够横空出世几款高性能低价格的产品，必然大卖，有时安全功能本身反而退化为用户的第二需求了。 一家之言，欢迎大家讨论。 弯曲给我的最大的感受是有争论，没有谩骂，是一片净土，感谢首席，杰夫和幕后的维护人员。 | |
 (4个打分， 平均：5.00 / 5) |
雁过留声
“网络应用安全系统发展方向之我见”有43个回复
自古英雄出少年呀。不知苹果叶子在哪里不求闻达于诸侯。人才呀。从文章来看，似乎不是华为或者华赛的部队。欣慰。如果是个人才就是任家军，方为我大汉之不幸了。
中国什么都缺，就是不缺人才。I believe it。
Application Identification的需求，更多的是控制出的流量，而不是入的流量。这个控制，往往是针对合法用户，而不是非法用户。对于非法用户，直接一个block就可以了，而对和法用户，需要控制，比如流量，比如访问权限等等。需要控制得更细，更精确，避免误伤或者误杀。
谢谢首席，本人一工程师，目前已是青年:-)
华系是不能上网的，否则弯曲更热闹了。
还是涉及到两个关键问题：
1、高吞吐。关键问题还是带宽。
2、精细控制。关键问题还是跨包查找。
当然如果有体系结构的大变化，另说了。
netscreen 炒 asic FW
fortinet 炒 anti-x
该轮到 Palo Alto 炒 协议识别 了
不知道这个能否被炒熟?
如果cloud大行其道,host安全更为重要,做安全设备的个人不是很看好.
云安全正在发展，但并非所有应用都可以和很容易地迁移到云平台上，这需要一个相当长的时间，host安全在能看到的若干年内仍将是网络安全的主要关注点
安全设备比host安全软件有先天优势，这个优势主要体现在管理和成本控制上，对于企业和网管来说，能“管理一个设备就控制好网络”的想法简直妙不可言（尽管不太可行），所以网络安全设备只要能解决目前60%-70%的问题，这个市场就将一直发展下去，why?管理成本低！
后生可畏!
能显著降低成本技术的发展一个主要驱动力，融合网关应用是一个可能变大的趋势，但在DC等大型的重要的场景中，独立网关的空间应该不会被替代，但是在中小企业网、小运营商、分布式方案等场景中会比较容易被扩展，当然这部分的market margin其实很大。技术上，融合网关在可靠性、功能扩展性等方面对独立网关可能是有问题的
向各位牛牛请教一个问题:IPv6阶段，倘若数据包被ESP封装起来，安全设备怎么进行应用识别呢？
加密数据一般无法识别，除非根据流量轮廓进行估计。另ESP同IPv6还是v4无关，二者都有。
IPv6最后到底怎么样不好说。
ipv6强制要求ipsec，这个大家能不能承受是个问题。部署成本太高了吧，最好可能就是目前ipv4的解决方案，网关上部署，内部还是明文。应用场景太多了，ipsec不一定好使。
不是很赞同，
个人觉得这么多年来，安全界基本没有什么新的产品面世的主要原因是没有新的安全理论支撑，
现有的FW,Anti-Virus, IDS, IPS,Anit-Spam等作的所有内容都是以前很早就有的东西，
首先完整的安全不只是技术还有人，管理等等其他因素，这也是为什么安全如此难做的一个原因，安全需要的是万无一失，否则就不安全。
其次安全的技术很分散，都很专，就拿最简单的认证，授权，加密来说，都是涉及很多东西，这也是造成没有任何安全的Top Ten,因为基本所有的安全公司都只在几个领域涉猎，安全的蛋糕看着很大，其实吃起来没有什么， 除非有理论和体系的创新，否则安全产品仍然会继续update但却是新瓶装老酒。
Visibiliy很好听，这里基本看作是App ID吧。Palo Alto的东西从发布的内容看主要还是semantic parsing和signature detection。这两个东西研究的确实比较多了。传统些的比如Juniper，应该是应用的基于Regular expression的处理，当然也可能事先做了些协议分析。
Sementic的目的一方面提高准确性，另一方面也是减少signature匹配的代价。即使用最好的XEON，光做Regular就至多100Mbps；换IXP，差不多的；16core的OCTEON做小规模的可以上1G。
如果APP-ID和IPS同时做，一般机器都受不了，因为APP-ID一旦ID出来了，后续的packet可以bypass。IPS做完备的话，那么理论上每个packet都要scan。不过IPS在scan good traffic的时候，代价不大，一个XEON可以跑到1G Snort。
呵呵，的确需要创新。要么我们不再scan signature，要么我们不能让传统的multi-core来干这个。Virtex6已经有了几十M的Block ram，ok，不如把regular expression都直接写进去，这样会有超然的速度（USC，2002）。如果海思的芯片也考虑了这些，那想必会有不错的性能吧。
大家都在往前走，肯定不会新瓶装老醋了。
阿土仔，你在App ID或者Engine方面是专家了，你多多谈谈看法。
“ipv6强制要求ipsec，这个大家能不能承受是个问题。”.
droplet兄,这个概念是错误的，ipv6没有强制要求IPSEC,我以前看到国内有报道这样说，其实是以讹传讹.
×创新是必要条件，但不是充要条件；因为创新往往意味着破坏，这种破坏有时所带来的成本不是一个小团队或者说一个小公司能够承载的；所以专利毫无例外的被诸多大公司所垄断，而规避专利并持续进行创新的成本可能会更高…华为的预研院虽然成立的时间不长，但给诸多二线阵营的压力想必不会小吧？！…
×XEON跑一个G的snort并不难，Tilera平台上跑10g的snort也不难…如果是跑40g，估计也跑的起来…Snort的规则数相对于AV的规则数来说，仍然要少很多（有效规则数千量级）…所以跑百万条规则以上的AV流量是有很大压力的…
土著兄，工业界常用正则表达式做signature detection。semantic parsing我还是头一次听到，请问业界一般使用何种算法实现这个功能。
# appleleaf 于 2009-12-28 12:49 am
加密数据一般无法识别，除非根据流量轮廓进行估计。另ESP同IPv6还是v4无关，二者都有。
————————————–
现在有一些识别加密数据流的方法，一些厂家也已经做了这个功能了
semantic parsing用IPS的观点看应该就是协议解码吧？
目前看不做协议解码的设备几乎没有，包括IPS/FW/UTM/AVW……只是一个支持协议多和少的问题，还有解码程度深浅的问题
# appleleaf 于 2009-12-28 5:35 pm
土著兄，工业界常用正则表达式做signature detection。semantic parsing我还是头一次听到，请问业界一般使用何种算法实现这个功能。
—————————
同问。同时请教下，有些设备的自学习一些东西是否属于这个概念？语义分析会不会涉及到人工智能？
加密数据流也是可以成功检测的，只要开动脑筋，工程师们总可以找出一种非完备的可工程化方案来处理这种问题
Tuslan兄是否了解大概的算法。加密流无法解密是定论了。我个人的理解相关识别算法应该是根据流量的profile来进行判断。
原来的signature和加密后的signature，只要加密算法定了，基本上是一一对应的，所以还不是很难。Ipsec是ipv6强制要求实现的，但不是强制要求使用，这个有点绕。
to A: semantic的东西可以参考paxson的bro（性能不好，但思想能代表相当一部分真正用着的方法：），paxson在学术界似乎曲高和寡，但确实是高手，小弟仰慕。
To B: 大多数专利对大公司只是为了赢得诉讼上你来我往的兵刃。好的专利，真的希望能多起来啊！AV确实难，真的很难，Juniper的箱子8G到不了，国内似乎也没见过快的。但IPS也不轻松。虽然XEON跑多个G也可以，但前提看traffic和网卡驱动。Snort由于用了signiture做预过滤，因此真正进行regular expression的流量很少。如果触发RegEx匹配，无论什么平台，都很难办（自己的经验+参考：http://www.arl.wustl.edu/~mbecchi/files/becchi_ancs2009.pdf）。Snort有什么好的加速办法还请赐教！
To C: 切不可以专家相称，没打过仗的士兵基本不是好士兵。济济一堂，讨论一番而已。
收藏并感谢土著兄的分享。Bro我也听说过，做的也很早，只是没有后继维护，没有snort的影响力大。
没有仔细看IPV6的协议，我理解是协议本身要求必须有加密，但是否使用谁用谁说了算，有点像客户招标要求供应商必须实现XX功能，但我没说你实现了我就一定用。从实际应用看，IPV6加密应该不是普遍必须的
语义这个东西比较fancy。值得看看。问题是即使在语义分析上有可能，但string based的扫描如何能做到scalable和高性能？另外，拿模式识别来做类比，什么时候算法认为是收敛了，从而做出对一个session流的ID判断？
对于加密数据流的识别，也会辅助以其他识别技术，如对加密算法中的标准的公有密钥的识别和匹配技术等
由于不同类型应用的流量模型存在差异，会话连接或数据流的状态存在不同，即使采用加密传输，这种特征也不会改变，因此这一技术能够有效识别加密数据流
窃以为，不太准。除非匹配算法够AI。
scalability确实是个大问题，signature几百的时候应该可以有算法很快实现匹配。但AV这样signature上million确实算法是个问题，快的算法往往空间要求很大，实际不可用。
不知道大家有没有看到过理论与工程兼备的模式识别专家的文章，给推荐两篇？
QUOTE：”拿模式识别来做类比，什么时候算法认为是收敛了，从而做出对一个session流的ID判断？“
这个是世界难题，理论上不看到每一个byte不能说这个session就是ok的，因此需要继续的reassembly，继续的pattern matching，乃至继续的regular expression matching。数学上这个复杂度是无解的，看个厂家的tradeoff了。不过并行芯片给regular expression带来了可能的契机，因为可以同时搜索多个状态，这有可能从指数级降低搜索复杂度，从而使得tradeoff又变得可行了。目前诸多推xxx core的商家应该没少在这方面下工夫，最终还是数学游戏。
QUOTE: ”signature几百的时候应该可以有算法很快实现匹配。但AV这样signature上million确实算法是个问题“
这个还真不一定，不能光看signature个数。signature少了，你能排除掉的就少；多了反而容易让你排除掉。主要看signature的统计特性和所采用的算法了。如果用DFA，有时候一条Regular规则就能让系统崩溃的。因此，关键还是signature的制定（主流厂家都有自己的IPS team），还有就是实现的方法（自己人的signature，总会有好办法来处理的）。博弈之间。
“这个是世界难题，理论上不看到每一个byte不能说这个session就是ok的，因此需要继续的reassembly，继续的pattern matching，乃至继续的regular expression matching。”
工程上可以做一些，前提是你对Traffice的了解不仅仅是Session-based，这样你无法定界，必然无解。但是如果你在App层了解traffic，就可以在App层定界了。
“自己人的signature，总会有好办法来处理的”
本人深表赞同，最好是各大厂商的engine研发人员汇聚一堂，共同share一下，世界就太平了。
只是这不太可能。所以我觉得称为这方面工程与理论兼具的超级工程师太难了。
强烈要求土著兄发文，介绍一下模式匹配相关知识。
怎么没人谈谈neteye呢？呵呵
Router吃掉防火墙.. 好玩的提议. 的确也快了:)
router厂商吃security厂商可以，但是router包含完整的security功能，估计很难。比较设计思路不一样，router简单多了，把security带上，搞不好要崩溃。
是，security太复杂。routing和security最佳会合的地方就是Edge。
To droplet: 一点都不难, Edge上反正service需求很大. 有NP就有FW, 额呵呵
防火墙是不是应该理解为按状态检测建立表项，按流(5-tuple)转发的一个三层路由交换机或交换路由器比较合适？
Visibility是一个很大的方向，很难量化。要看到一个通信流所有信息，涉及到的方向非常多，信息也在不断发展变化。所以安全产业应该是生生不息的。
router厂商吃security，完全吃掉是不可能的。一些跟不上时代的安全厂商被淘汰是可能的。当router中具有状态检测的时候，状态检测已经不是流行安全设备的重点功能了。
to george: 关键是当route承载了安全功能的时候，CPU还跑得过来么？