Hsql中使用python的UDF

Author：杜七

邗江網(wǎng)站建設公司成都創(chuàng)新互聯(lián)公司,邗江網(wǎng)站設計制作，有大型網(wǎng)站制作公司豐富經(jīng)驗。已為邗江上1000+提供企業(yè)網(wǎng)站建設服務。企業(yè)網(wǎng)站搭建\外貿網(wǎng)站建設要多少錢，請找那個售后服務好的邗江做網(wǎng)站的公司定做！

先寫一個處理數(shù)據(jù)的腳本，如下：

保存到test.py中，放在本地的任何地方，比如/home/duqi.yc/scripts/python/

excel直接輸入Filter公式可以，用python寫進去，打開文件就報錯？

前面那個賬號沒有財富值了。換個賬號交流。

試了一下，最簡單的。

ws['A3'].value = '=A1:D1'

打開文件不報錯，但單元格公式前面自動加了@，內容只顯示A1內容。

我用xlwings寫入FILTER函數(shù)不報錯，但也同樣現(xiàn)象(公式前自動加@，只顯示第一個單元格內容)。

順著這個一路找下去，這應該就是python庫是否支持處理動態(tài)數(shù)組問題了。

按我理解，

1）用xlwings或許可以，但得用UDF(自己定義函數(shù)功能)，前提還得把xlwings插件安裝到excel里(這就不友好了，我還需要把最后做好的軟件分享給別人用，不能讓人家電腦上也得裝xlwings插件吧)。

2）用xlsxwriter確定可以，可問題是xlsxwriter不支持打開已有的excel文件，只能新建寫入，

所以我本來的想法是，先選擇一個區(qū)域單元格為整體，然后寫入試試，但沒找到具體代碼方法。

python寫hive的UDF問題

你把print寫在try里面當然會少數(shù)據(jù)。你應該try訪問fields數(shù)組并更新fields[2]的值。另一方面，從功能點上來說，使用SQL函數(shù)nvl或coalesce就能實現(xiàn)，沒必要寫個UDF來實現(xiàn)，你這樣做增加額外的IO消耗和工作量。如果一定要寫UDF，建議少用print,改用標準輸出實現(xiàn)：sys.stdout.write()。

hive自定義UDF函數(shù)，步驟詳解

UDF函數(shù)是一進一出函數(shù),如hive中的substr、date_add、date_sub都是UDF函數(shù)。

hive的udf有 兩種 實現(xiàn)方式或者實現(xiàn)的API，一種是 udf 比較簡單，一種是 GenericUDF 比較復雜

注意繼承UDF類時，不會報錯、不需要實現(xiàn)抽象方法，這時需要我們重寫evaluate()方法，而且方法名必須是evaluate。

編寫一個UDF，關鍵在于自定義Java類需要繼承UDF類并實現(xiàn)evaluate()函數(shù)。

因為在hive客戶端執(zhí)行查詢時，對于 每行輸入 都會調用evaluate()函數(shù)，evaluate()函數(shù)處理后的值會返回給hive。

在hive客戶端，將 xxx HiveUDF.jar 文件加載到類路徑：

1) 創(chuàng)建臨時函數(shù)語法：

2）創(chuàng)建永久函數(shù)語法

參考文章：hive自定義函數(shù)UDF的使用方法

計算圓面積的函數(shù)

udf(int r)

{

float s;

s=3.1415926*r*r;

return(s);

}

main()

{

int r;

for(r=10;r=20;r++)

printf("%d:%f\n",r,udf(r));

}

udaf可以用python寫嗎

Java來實現(xiàn)Hive的寫法

package jsl.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;

import org.apache.hadoop.io.Text;

public final class DomainRoot extends UDF {

public Text evaluate(Text s) {

if (s == null) {return null;}

String tmp = s.toString();

tmp = this.getDomainRoot(tmp);

return new Text(tmp);

}

private String getDomainRoot(String domain) {

throw NoneImplementException("xxxx");

}

}

如果Java的UDF需要當成常用的，不用每次add可以注冊到Hive中，

ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java中加入

registerUDF("domain_root", UDFParseUrl.class, false);并重新編譯hive即可

下面來說說重點，通過Streaming用Python來寫處理。

關于Streaming的基礎內容：

約束：首先必須add file到hive中（當python中引用了其他如自己寫的模塊時，也需要一并add進去）

其次非常不幸,在單獨的一個查詢中，不能夠使用UDAF的函數(shù)如sum()

再次不得為中間結果數(shù)據(jù)使用cluster by或distribute by

注意：對于優(yōu)化查詢，使用cluster by或distribute by 和sort by一起非常重要

新聞標題：python寫udf函數(shù) python odf
文章地址：http://chinadenli.net/article14/dodeoge.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站內鏈、移動網(wǎng)站建設、面包屑導航、手機網(wǎng)站建設、電子商務、微信小程序

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)