

结合Jupyter和SQL编辑器的力量进行数据分析
在Meta,内部数据工具是数据科学家到生产工程师的主要渠道。因此,对我们来说,让我们的科学家和工程师不仅能够利用数据做出决策,而且能够以安全和合规的方式做出决策,这一点非常重要。 我们已经开发了SQL Notebooks,一个结合了SQL IDEs和Jupyter Notebooks的力量的新工具。它允许基于SQL的分析以比传统笔记本更可扩展和安全的方式进行,同时仍然提供来自笔记本和基本[SQL编辑]的功能,如多个相互依赖的单元和Python后处理。 在推出后的一年里,SQL笔记本已经被Meta公司的大多数数据科学家和数据工程师内部采用。以下是我们如何将两个普遍存在的工具结合起来,创造出比其各部分之和更大的东西。 SQL+Python效果就像“槟榔加烟,法力无边”, 当然不会有那么大的毒害。 SQL的优势..
更多

(技)现代工业物联网(IIoT)大数据+AI场景实战-风力发电机优化
工业物联网(IIoT)在过去的几年里,从一个主要在石油和天然气行业进行试点的草根技术栈,如今发展到在制造、化工、公用事业、运输和能源行业广泛采用和生产使用。传统的物联网系统,如Scada、Historians甚至Hadoop,由于以下因素,无法提供大多数组织所需的大数据分析能力,无法对工业资产进行预测性优化。 挑战 所需能力 数据量显著增大且更加频繁 从物联网设备中可靠地采集和存储亚秒级颗粒读数的能力,且成本效益要高,每天的数据流为TB级。 数据处理需求更加复杂 符合ACID标准的数据处理–基于时间的窗口、聚合、枢轴、回填、移动,并能轻松地重新处理旧数据。 更多的用户角色希望访问数据 数据是一种开放的格式,易于与运营工程师、数据分析师、数据工程师和数据科学家共享,而不会形成孤岛。 决..
更多

数据体系要简单直接,BI应该叫商业情报
对非技术行业公司(非IT,DT公司),千万不要太过痴迷于数据技术本身,能cloud的绝不OP,也不要把自己的数据体系搞得各种技术术语堆叠。这是非常错位的举动。 数据意图本质是为了洞悉数据背后所暗含的的商业规律和现象,并对进一步的商业运作决策给予依据。 很可惜,看到了太多只玩技术,忽略商业目标的事情。醒醒吧, 花那么多钱买的资源,浪费那么多算力和电力得到一堆不知所云的东西,不如去挖矿。建议做数据的人先把手上的《21天精通Hadoop》《万事不求人掌握spark》先放放,静心回顾一遍《情报学》《军事情报学》。 还是不明白,就品品“经管之家” 和“CSDN”的区别, 你品,你细品。避免技术很先进, 业务不成功。 情报学课本中讲到过,情报的转化需要经历data—information—intelligence(数..
更多

数据分析团队培养是数字化转型关键一环
数字化转型不是上一堆系统!不少企业都嚷嚷着要数字转型,还有一些挂牌已经转型成功,毕竟人家有一面电视墙的dashboard,还新上了标签还热乎乎的各类IT系统,这些新瓶装旧酒的做法本质还是皇帝新衣。 关于数字化转型不想多说,说多会被扔砖头。(白菜,西红柿,鸡蛋疫情期间不会有人扔的)。今天只谈谈数字化转型中很重要一个环节,也是决定做数字化转型初期就要考虑的事情—组建专业的数据分析团队。 这个队伍很难建,人不好找,还挺贵, 一问薪资基本都会疑惑:现在工资这么高了吗? 同时人员也良莠不齐, 有些玩Excel玩得好的这时候也转行了,有些代码写的不太好的,测试做烦的也纷纷想转, 网上各路的Python培训也来了,大标签(学会Python就如何如何), 连潘石屹都开始学python,老潘,你学这个到底想干啥! 难,贵, ..
更多