Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

自定义镜像appimage读取隐语算子的输出,并输出自定义镜像处理的结果 #510

Open
sasfc opened this issue Feb 21, 2025 · 4 comments

Comments

@sasfc
Copy link

sasfc commented Feb 21, 2025

在自定义镜像之中,我想读取隐语算子的输出,并且输出自定义镜像处理之后的结果,我有以下思路不知道是否可行?
1.自定义镜像读取上一步隐语算子在/home/kuscia/var/storage/data路径下的输出文件,因为好像隐语算子的输出文件都在/home/kuscia/var/storage/data路径下;
2.自定义镜像处理之后的结果,同样写到/home/kuscia/var/storage/data路径之下,以供下一个隐语算子读取并利用。

@wangzul
Copy link
Contributor

wangzul commented Feb 21, 2025

第二步 数据输出至/home/kuscia/var/storage/data 需要配置domainData、DomainDataGrant

Image

Image

kuscia api
https://www.secretflow.org.cn/zh-CN/docs/kuscia/v0.14.0b0/reference/apis/domaindata_cn#create-domain-data-request

@sasfc
Copy link
Author

sasfc commented Feb 21, 2025

好的,感谢,那是不是这样的流程:
1.第一步:自定义镜像先把输出文件写入到/home/kuscia/var/storage/data
2.第二步:自定义镜像利用kuscia api创建domainData、DomainDataGrant
3.第三步:隐语算子读取上面的输出文件,进一步进行相应处理

@UniqueMarvin
Copy link
Collaborator

好的,感谢,那是不是这样的流程: 1.第一步:自定义镜像先把输出文件写入到/home/kuscia/var/storage/data 2.第二步:自定义镜像利用kuscia api创建domainData、DomainDataGrant 3.第三步:隐语算子读取上面的输出文件,进一步进行相应处理

这里自定义应用输出的结果是 表格类数据么 且是垂直拆分的么 (即是一张联合表)?如果是的话,
建议参考这段代码https://github.com/secretflow/secretflow/blob/main/secretflow/kuscia/datamesh.py 对接 DataMesh 完成输出结果的 IO 与 Metadata 的创建与查询。

@sasfc
Copy link
Author

sasfc commented Feb 21, 2025

多谢

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants