结合Jupyter和SQL编辑器的力量进行数据分析
在Meta，内部数据工具是数据科学家到生产工程师的主要渠道。因此，对我们来说，让我们的科学家和工程师不仅能够利用数据做出决策，而且能够以安全和合规的方式做出决策，这一点非常重要。 我们已经开发了SQL Notebooks，一个结合了SQL IDEs和Jupyter Notebooks的力量的新工具。它允许基于SQL的分析以比传统笔记本更可扩展和安全的方式进行，同时仍然提供来自笔记本和基本[SQL编辑]的功能，如多个相互依赖的单元和Python后处理。 在推出后的一年里，SQL笔记本已经被Meta公司的大多数数据科学家和数据工程师内部采用。以下是我们如何将两个普遍存在的工具结合起来，创造出比其各部分之和更大的东西。 SQL+Python效果就像“槟榔加烟，法力无边”， 当然不会有那么大的毒害。 SQL的优势..
更多
（技）现代工业物联网(IIoT)大数据+AI场景实战-风力发电机优化
工业物联网(IIoT)在过去的几年里，从一个主要在石油和天然气行业进行试点的草根技术栈，如今发展到在制造、化工、公用事业、运输和能源行业广泛采用和生产使用。传统的物联网系统，如Scada、Historians甚至Hadoop，由于以下因素，无法提供大多数组织所需的大数据分析能力，无法对工业资产进行预测性优化。 挑战 所需能力 数据量显著增大且更加频繁 从物联网设备中可靠地采集和存储亚秒级颗粒读数的能力，且成本效益要高，每天的数据流为TB级。 数据处理需求更加复杂 符合ACID标准的数据处理–基于时间的窗口、聚合、枢轴、回填、移动，并能轻松地重新处理旧数据。 更多的用户角色希望访问数据 数据是一种开放的格式，易于与运营工程师、数据分析师、数据工程师和数据科学家共享，而不会形成孤岛。 决..
更多
数据体系要简单直接，BI应该叫商业情报
对非技术行业公司（非IT，DT公司），千万不要太过痴迷于数据技术本身，能cloud的绝不OP，也不要把自己的数据体系搞得各种技术术语堆叠。这是非常错位的举动。 数据意图本质是为了洞悉数据背后所暗含的的商业规律和现象，并对进一步的商业运作决策给予依据。 很可惜，看到了太多只玩技术，忽略商业目标的事情。醒醒吧， 花那么多钱买的资源，浪费那么多算力和电力得到一堆不知所云的东西，不如去挖矿。建议做数据的人先把手上的《21天精通Hadoop》《万事不求人掌握spark》先放放，静心回顾一遍《情报学》《军事情报学》。 还是不明白，就品品“经管之家” 和“CSDN”的区别， 你品，你细品。避免技术很先进， 业务不成功。 情报学课本中讲到过，情报的转化需要经历data—information—intelligence（数..
更多
数据分析团队培养是数字化转型关键一环
数字化转型不是上一堆系统！不少企业都嚷嚷着要数字转型，还有一些挂牌已经转型成功，毕竟人家有一面电视墙的dashboard，还新上了标签还热乎乎的各类IT系统，这些新瓶装旧酒的做法本质还是皇帝新衣。 关于数字化转型不想多说，说多会被扔砖头。（白菜，西红柿，鸡蛋疫情期间不会有人扔的）。今天只谈谈数字化转型中很重要一个环节，也是决定做数字化转型初期就要考虑的事情—组建专业的数据分析团队。 这个队伍很难建，人不好找，还挺贵， 一问薪资基本都会疑惑：现在工资这么高了吗？ 同时人员也良莠不齐， 有些玩Excel玩得好的这时候也转行了，有些代码写的不太好的，测试做烦的也纷纷想转， 网上各路的Python培训也来了，大标签（学会Python就如何如何）， 连潘石屹都开始学python，老潘，你学这个到底想干啥！ 难，贵， ..
更多